视觉语言模型（Vision Language Models，简称VLMs）在多模态任务中表现出色，但其推理能力，尤其是“思维链”（Chain-of-Thought，简称CoT）推理，仍有待提高。CoT推理是指模型在解决问题时，能够展现出类似人类的逐步思考过程，这对于提高模型的可解释性和可信度至关重要。然而，当前的训练方法缺乏强大的CoT推理数据，依赖于由短注释和最小理由主导的数据集。这导致在短答案上训练的VLM不能很好地推广到需要更详细响应的推理任务。
问题识别
缺乏详细理由
- 现有数据集：当前的训练数据集主要包含短注释和最小理由，缺乏详细的推理过程。
- 泛化能力：在短答案上训练的VLM在需要详细推理的任务上表现不佳。
解决方案
为了解决这些问题，卡内基·梅隆大学语言技术研究所和苹果的研究人员提出了一种双管齐下的方法：
- 数据增强：从GPT-4模型中提取理由来丰富训练数据并微调VLM，从而提高其CoT性能。
- 强化学习：应用强化学习进一步校准推理质量。
数据增强
方法
- 理由提取：从GPT-4模型中提取详细的推理理由，这些理由可以补充现有的短注释数据。
- 数据丰富：将提取的理由添加到训练数据集中，生成包含详细推理过程的数据。
效果
- 提高CoT性能：通过丰富的训练数据，微调后的VLM在CoT推理任务上表现出更高的准确性和可解释性。
强化学习
方法
- 成对数据构建：通过将模型生成的推理链的预测与注释的短答案进行比较，构建正（正确）和负（错误）的模型生成推理链对。
- 直接偏好优化：使用成对数据，应用直接偏好优化算法来改进模型的推理能力。
效果
- 推理质量校准：通过强化学习，模型的推理质量得到进一步校准，提高了在复杂任务上的表现。
主要功能和特点
- 数据增强：通过从GPT-4o模型中提取理由（rationales）来丰富训练数据，提升VLMs的CoT性能。
- 监督式微调（Supervised Fine-Tuning，简称SFT）：使用包含详细推理步骤的数据进行训练，以增强模型的CoT推理能力。
- 强化学习（Reinforcement Learning，简称RL）：通过直接偏好优化（Direct Preference Optimization，简称DPO）算法，进一步校准模型的推理质量。
- 跨任务应用：涵盖了多种需要不同推理技能的任务，如常识推理、图表解读、文档信息定位、现实世界文本提取、科学推理和数学推理。
工作原理
- 理由提取：使用GPT-4o模型从短答案中生成详细的推理路径，以弥补高质量CoT推理数据的不足。
- SFT：在包含详细推理步骤的数据集上进行微调，以提升VLMs的CoT推理性能。
- RL与DPO：通过比较模型生成的推理链与标注的短答案，构建正负样本对，然后应用DPO算法优化模型的推理能力。
实验结果
基准数据集上的表现
- 显著改进：实验结果显示，经过数据增强和强化学习优化的VLM在基准数据集上的CoT推理能力显著提升。
- 泛化能力：优化后的VLM在需要详细推理的任务上表现出更好的泛化能力，能够更好地推广到直接答案预测。
结论
这项工作强调了在训练中加入详细理由的重要性，并利用强化学习来增强VLMs的推理能力。通过从GPT-4模型中提取理由来丰富训练数据，并应用强化学习进一步校准推理质量，研究人员成功提高了VLMs在CoT推理任务上的表现。这不仅提升了模型的可解释性和可信度，还为未来的多模态任务提供了新的研究方向。
未来展望
进一步研究
- 多模态任务：将这种方法应用于更多的多模态任务，如图像描述生成和视觉问答。
- 数据集扩展：进一步扩大训练数据集，包含更多详细推理过程的数据。
- 模型架构优化：探索更高效的模型架构，以更好地支持CoT推理任务。
总之，通过数据增强和强化学习，研究人员为提升VLMs的CoT推理能力提供了新的解决方案，为多模态任务的进一步发展奠定了基础。