根据《华尔街日报》的最新报道，OpenAI 的下一代主要模型 GPT-5（代号为 Orion）的开发进度落后于计划，且初步成果尚未达到预期的巨大飞跃。这与早先《信息报》的报道相呼应，后者指出 OpenAI 正在寻求新的策略，因为 GPT-5 可能不会像之前的模型那样实现显著的进步。WSJ 的报道提供了更多关于 GPT-5 18 个月开发周期的细节，揭示了 OpenAI 在训练和数据生成方面的挑战。
开发进度与挑战
- 训练运行缓慢：
- OpenAI 已经完成了至少两次大规模的训练运行，旨在通过在大量数据上训练模型来改进其性能。然而，初步的训练运行比预期要慢，暗示更大规模的训练将既耗时又昂贵。 - 这种延迟不仅影响了开发进度，还增加了维持模型运行的成本，使得 OpenAI 面临更大的经济压力。
- 成本与收益不成正比：
- 尽管 GPT-5 报告中显示其性能优于前代模型，但它尚未进步到足以证明维持模型运行的巨额成本是合理的。这意味着 OpenAI 需要在未来的开发中找到更有效的途径来提升模型的表现，同时控制成本。
- 数据来源多样化：
- OpenAI 并不完全依赖公开数据和许可协议，还雇佣人员通过编写代码、解决数学问题等方式创建新数据。此外，OpenAI 使用其另一个模型 o1 生成合成数据，以丰富训练数据集。
- 这种多样化的数据来源有助于提高模型的泛化能力和应对不同领域的任务，但也增加了数据生成和处理的复杂性。
策略调整与未来方向
- 寻求新策略：
- 由于 GPT-5 的开发进度和成果未能达到预期，OpenAI 正在考虑调整其开发策略。公司可能需要重新评估模型的架构、训练方法以及数据生成的方式，以确保未来的版本能够实现更大的突破。
- OpenAI 可能会探索更高效的训练算法或硬件加速技术，以缩短训练时间并降低成本。
- 发布计划推迟：
- OpenAI 之前已经表示，今年不会发布代号为 Orion 的 GPT-5 模型。这一决定可能是为了给开发团队更多时间来优化模型性能，并确保最终发布的版本能够满足用户的期望。
- 市场竞争加剧：
- 随着其他公司（如 Google、Meta 和Anthropic）也在积极开发类似的大型语言模型，OpenAI 面临的竞争压力越来越大。如果 GPT-5 不能实现预期的飞跃，OpenAI 可能需要寻找其他创新点来保持其市场领先地位。
行业影响
- 技术进步的不确定性：GPT-5 的开发进展不如预期，可能会引发对大型语言模型未来发展速度的质疑。尽管这些模型已经在多个领域展示了强大的能力，但它们的进一步提升可能面临技术瓶颈和成本限制。
- 资源分配的挑战：OpenAI 需要在技术研发和商业运营之间找到平衡。高昂的训练成本和不确定的回报使得公司在资源分配上面临更大的挑战，尤其是在竞争激烈的市场环境中。