阶跃星辰推出万亿参数MoE模型Step-2

在AI领域,打造能够模拟人类思维和理解能力的语言模型一直是研究的重点和难点。大语言模型(LLMs)的发展面临着如何在计算效率和多功能性之间找到平衡的问题。一方面,为了捕捉更复杂的语义关系,模型的规模不断扩大,导致计算成本急剧上升;另一方面,这些模型需要应对多种任务,如指令执行、编程和逻辑推理等,但往往难以在所有方面都达到理想的性能水平。这些问题构成了向人工通用智能(AGI)迈进的主要障碍。

Step-2:迈向AGI的新一步

上海的AI初创公司阶跃星辰推出了一款名为Step-2的万亿参数专家混合(MoE)语言模型,成功地在国际知名评测平台Livebench上取得了第5名的成绩。这一成就标志着Step-2不仅是国内首个达到万亿参数级别的MoE模型,也是迄今为止中国表现最好的大语言模型之一。它紧随OpenAI和Google等国际巨头的步伐,展现了中国公司在这一前沿科技领域的竞争力。

技术解析:MoE架构的力量

Step-2采用了先进的专家混合(MoE)架构,这种设计允许模型根据任务需求动态选择和激活特定的“专家”模块,而不是像传统模型那样全面激活所有参数。这种方法不仅有效地控制了计算资源的消耗,还能更好地适应不同类型的任务需求,实现了参数规模与计算效率之间的良好平衡。凭借万亿参数的庞大体量,Step-2能够在指令理解、逻辑推理等方面展现出更强的能力,并支持最长可达16,000个token的上下文长度,非常适合处理长文档分析或复杂的对话场景。

性能表现与未来发展

Step-2在多项关键指标上均取得了优异成绩,特别是在指令遵循方面获得了86.57的高分,显示出强大的指令理解和执行能力。此外,它在推理和数据分析方面也有不错的表现,分别获得了58.67和54.86的评分。尽管如此,Step-2在编程和数学等领域还有待提升,当前得分为46.87和48.88。这些数据表明,尽管存在改进空间,但Step-2已经在多个方面达到了业界领先的水平。

开放与共享:推动AI生态的发展

Step-2的成功不仅在于其技术上的突破,更在于它对AI生态系统建设的贡献。阶跃星辰公司通过API接口开放了Step-2的功能,让更多的开发者和研究者能够利用这一强大的工具。同时,Step-2也被整合到了消费级应用“跃问”中,让更多普通用户有机会体验到最先进的语言处理技术。这一举措有助于打破技术壁垒,促进AI技术的普及和发展。

我们将24小时内回复。
取消