智子引擎和中国人民大学高岭人工智能学院的研究人员推出一个名为Awaker2.5-VL的模型，这是一个为多模态大语言模型（MLLMs）设计的混合专家（Mixture of Experts，MoE）架构。该模型旨在解决多任务学习中常见的“多任务冲突”问题，即不同任务的数据混合在一起训练时可能导致的性能下降问题。Awaker2.5-VL通过多个稀疏激活的专家（experts）来获取特定任务的能力，并通过一个门控网络（gating network）自动控制专家的激活和停用。
- 官网：https://www.metabrainagi.com
- GitHub：https://github.com/MetabrainAGI/Awaker
- 模型：https://huggingface.co/MetabrainAGI/Awaker2.5-VL
例如，在实际应用中，一个多模态大型语言模型可能需要同时处理图像描述（需要模型理解整个图像并生成描述性文本）、目标检测（需要模型定位图像中的具体对象并输出其精确位置）等任务。由于这些任务在数据表示和分布上存在显著差异，简单地将所有任务的数据混合在一起训练会导致性能下降。Awaker2.5-VL通过MoE架构，为每个任务分配专门的专家进行处理，从而提高模型的整体性能。
主要功能和特点
主要功能：
- 多任务处理： 同时处理多种文本和视觉任务，如视觉问答（VQA）、目标检测、光学字符识别（OCR）等。
- 参数高效： 通过低秩适应（LoRA）结构的专家，提高模型训练和推理的速度。
- 门控网络控制： 自动控制哪些专家在数据通过模型时被激活。
主要特点：
- 稳定性： 在扩展MLLMs时保持性能稳定。
- 专家多样性： 包含多个专家以处理不同任务，提高模型的多任务能力。
- 全局专家： 始终激活的全局专家确保模型的通用性和泛化能力。
工作原理
Awaker2.5-VL的工作原理基于以下几个步骤：
- 输入数据处理： 输入数据被送入模型，门控网络决定哪些专家被激活。
- 专家处理： 激活的专家处理其分配的数据部分，每个专家都可以专注于处理其特定的输入数据。
- 输出整合： 所有专家的输出结果被整合，形成最终的模型输出。
- 训练过程： 模型通过三个阶段进行训练：初始化训练（仅训练LoRA参数）、MoE训练（训练MoE模块，包括门控层和所有专家）和指令微调（仅训练专家）。
具体应用场景
- 自动驾驶： 在自动驾驶领域，模型需要处理来自摄像头的图像数据，进行目标检测和场景理解。
- 远程监控： 在视频监控中，模型可以用于识别和定位特定对象，以及理解场景中的活动。
- 金融图表分析： 在金融领域，模型可以分析图表和文本数据，提供市场趋势的洞察。
- 新闻媒体： 在新闻媒体中，模型可以处理新闻图片和文章，自动生成新闻摘要或标签。