近年来，AI领域经历了飞速的发展，尤其是大语言模型（LLM）的崛起，如 OpenAI 的 ChatGPT 和 GPT-4。然而，随着模型规模的不断扩大，研究人员开始面临一系列挑战，包括训练成本高昂、数据稀缺和能源消耗巨大等问题。在这种背景下，一些顶尖的AI科学家和实验室正在探索新的方法，试图通过更智能的训练技术来克服这些障碍。
扩展的局限性
多位AI科学家、研究人员和投资者在接受路透社采访时指出，通过增加更多数据和计算能力来“扩大”模型的方法已经达到了瓶颈。OpenAI 的联合创始人 Ilya Sutskever 表示，通过扩大预训练获得的收益已经趋于平缓。Sutskever 曾是“越大越好”哲学的早期倡导者，但现在他认为“现在扩展正确的事物比以往任何时候都更重要”。
新的训练技术
为了应对这些挑战，研究人员正在探索“测试时计算”技术，即在模型的“推理”阶段（即模型被使用时）增强现有 AI 模型的能力。这种方法允许模型在面对复杂任务时，如数学问题、编程任务或需要类似人类推理的任务时，能够实时生成和评估多种可能性，最终选择最佳方案。
OpenAI 的 o1 模型
- 技术特点：o1 模型采用了“测试时计算”技术，能够在推理阶段进行多步骤思考，类似于人类的推理过程。
- 数据来源：o1 模型使用了从博士和行业专家那里策划的数据和反馈，以提高其在特定任务上的表现。
- 训练方法：o1 模型在 GPT-4 等基础模型之上进行了额外的训练，以进一步优化其性能。
其他实验室的努力
- Anthropic：正在开发类似的推理技术，以提高模型的推理能力和效率。
- xAI：探索新的训练方法，以减少对大规模数据和计算资源的依赖。
- Google DeepMind：也在研究类似的优化技术，以提高模型的性能和能效。
影响与展望
硬件市场的变化
- 推理芯片的需求增长：随着“测试时计算”技术的应用，对高性能推理芯片的需求将增加。这可能会影响当前由 Nvidia 主导的训练芯片市场。
- 分布式推理云：未来的趋势可能是从大规模预训练集群转向分布式、基于云的推理服务器，这将改变AI硬件的竞争格局。
投资方向的调整
- 风险投资的关注点：著名风险投资机构如红杉资本和 Andreessen Horowitz 正在密切关注这一变化，并重新评估他们在AI领域的投资策略。
英伟达的应对
- 增加推理芯片的供应：英伟达已经意识到这一趋势，并开始增加其高性能推理芯片的供应，以满足不断增长的需求。
总之，AI领域的这场范式转变不仅将推动技术的进一步创新，还将对整个行业的生态产生深远影响。通过更智能的训练和推理技术，研究人员希望能够开发出更加高效、灵活和可持续的AI模型，为未来的科学研究和应用提供强大的支持。（来源）