大语言模型（LLMs）如GPT-4等，因其在多种任务上的出色表现而备受关注。这些模型可以通过预测文本中的下一个单词来完成复杂的任务，如写诗、生成计算机程序等。然而，这些模型是否真的理解了世界的运作机制，一直是学术界和工业界关注的焦点。
新研究发现
最近，一项由麻省理工学院和其他机构的研究人员进行的新研究表明，即使某些生成式AI模型在特定任务上表现出色，它们也不一定具备准确的世界模型。具体来说，研究团队发现，一个流行的生成式AI模型在提供纽约市的逐向驾驶导航时表现近乎完美，但当道路网络发生变化时，其性能急剧下降。
实验设计
为了验证这一点，研究人员开发了两个新的指标来评估生成式AI模型的世界模型：
- 序列区分：如果模型能够识别两个不同状态之间的差异，例如两个不同的Othello棋盘，则认为模型形成了连贯的世界模型。
- 序列压缩：如果模型能够识别两个相同状态之间的相似性，例如两个相同的Othello棋盘，并生成相同的下一步行动，则认为模型具有连贯的世界模型。
实验结果
研究团队选择了两个任务来测试这些指标：
- 纽约市街道导航：模型需要生成从一个地点到另一个地点的导航指令。
- Othello棋盘游戏：模型需要生成有效的棋盘移动。
结果显示，尽管模型在生成导航指令和Othello移动时表现优秀，但在某些情况下，它们并没有形成连贯的世界模型。例如，当研究人员关闭一些街道并增加绕行路线时，导航模型的性能急剧下降。此外，模型生成的纽约市地图中存在许多不存在的街道，这些街道在网格之间弯曲并连接遥远的交叉口。
结论
这项研究揭示了生成式AI模型的一个重要局限性：它们可以在不了解任务规则的情况下完成特定任务，但这并不意味着它们真正理解了这些任务背后的逻辑。这一发现对将LLMs应用于现实世界任务具有重要意义，特别是在任务或环境发生变化时，模型的表现可能会显著下降。
资深作者Ashesh Rambachan，麻省理工学院信息与决策系统实验室（LIDS）的经济学助理教授，指出：“一个希望是，因为LLMs可以在语言中完成所有这些令人惊叹的事情，也许我们也可以在科学的其他部分使用这些相同的工具。但如果我们想使用这些技术来做出新的发现，LLMs是否在学习连贯的世界模型是一个非常重要的问题。”
未来展望
研究人员希望在未来的工作中解决更多样化的问题，例如某些规则部分已知的任务。他们还计划将这些评估指标应用于现实世界的科学问题，以更好地理解和改进生成式AI模型。