文章目录[隐藏]
近期，OpenAI及其竞争对手谷歌和Anthropic在开发新一代大型人工智能模型时遇到了性能停滞的挑战。这些公司在过去几年中以极快速度推出越来越复杂的人工智能产品，但现在发现，新模型的性能提升并没有达到预期，高昂的研发成本也带来了巨大的财务压力。
OpenAI的Orion模型
- 内部代号：Orion
- 初步训练：OpenAI在9月份完成了Orion模型的初步训练，但该模型并未达到公司的预期性能。
- 编码问题表现不佳：截至夏末，Orion在回答未经训练的编码问题时表现不佳。
- 性能提升有限：总体而言，Orion目前被认为不如GPT-4从GPT-3.5的提升那么大。
- 后训练过程：OpenAI正在对Orion进行为期数月的后训练过程，包括纳入人类反馈以改进响应，但仍未达到公司希望的水平。
- 发布时间：公司不太可能在明年初之前推出该系统。
谷歌的Gemini模型
- 内部代号：Gemini
- 性能未达预期：谷歌即将推出的Gemini软件迭代未能达到内部预期。
- 渐进更新：谷歌已经发布了对其旗舰AI模型Gemini的更新，但这些更新主要集中在功能改进上，而非底层模型的重大突破。
Anthropic的Claude模型
- 内部代号：Claude 3.5 Opus
- 发布时间推迟：Anthropic对其备受期待的Claude 3.5 Opus模型的发布时间表有所推迟。
- 性能提升有限：尽管3.5 Opus在评估中表现优于旧版本，但没有达到预期的水平，考虑到模型的大小和成本。
面临的挑战
- 高质量训练数据稀缺：
- 编码数据不足：Orion不满意的编码性能部分是由于缺乏足够的编码数据进行训练。
- 合成数据的局限性：科技公司转向合成数据，但这些数据在质量和多样性上仍然有限。
- 高昂的研发成本：
- 计算成本：OpenAI首席执行官Sam Altman表示，公司今年将花费1亿美元训练一个前沿模型，未来几年的总成本可能达到1000亿美元。
- 资源限制：科技公司面临着将过多宝贵计算资源用于开发和运行可能不会显著更好的大型模型的权衡。
- 性能提升放缓：
- 规模法则的局限性：一些AI专家认为，所谓的“规模法则”（即更多的计算能力、数据和更大的模型将不可避免地带来更大的性能提升）可能已经达到了极限。
- 改进速度放缓：尽管AI模型将继续改进，但这种改进的速度可能不再像过去几年那样快速。
未来方向
- 新的训练方法：
- 多样化数据源：寻找新的、高质量的训练数据源，以提高模型的性能。
- 合成数据优化：优化合成数据的质量和多样性，以弥补真实数据的不足。
- 新用例开发：
- 代理工具：OpenAI和其他公司正在转向新的用例，如代理工具，这些工具可以为用户执行特定任务，如预订航班或发送电子邮件。
- 功能改进：专注于现有模型的功能改进，而不是单纯追求模型的规模和复杂度。
- 可持续发展：
- 成本效益：寻找更具成本效益的方法来开发和维护AI模型。
- 长期规划：制定长期规划，平衡技术创新和财务可持续性。
行业反应
- Hugging Face首席伦理科学家Margaret Mitchell：认为“AGI泡沫正在破裂一点”，并表示需要不同的训练方法来使AI模型在各种任务上真正表现出色。
- OpenAI首席执行官Sam Altman：表示公司今年晚些时候将有一些“非常好的发布”，但不会包括GPT-5。
- 谷歌DeepMind发言人：表示公司对Gemini的进展感到满意，并将在准备就绪时分享更多信息。
OpenAI、谷歌和Anthropic等公司在开发新一代AI模型时面临的性能停滞和高昂成本挑战，反映了AI领域正在经历的转型期。这些公司需要寻找新的训练方法和用例，以实现可持续的性能提升和技术创新。尽管面临挑战，但这些公司仍然对未来的AI发展持乐观态度，并将继续探索新的解决方案。