知识蒸馏（Knowledge Distillation，简称KD）是一种常用的技术，用于训练小型、高性能的学生语言模型（LMs），利用大型教师LMs的知识。尽管KD在微调中表现出色，但在预训练过程中面临效率、灵活性和有效性的挑战。现有方法要么因为在线教师推理导致高计算成本，要么需要教师和学生LMs之间的标记匹配，或者冒着丢失教师生成的训练数据的难度和多样性的风险。
MINIPLM：解决问题的新框架
为了解决这些问题，清华大学CoAI团队和微信AI的研究人员提出了MINIPLM，这是一个通过用教师的知识细化训练数据分布来预训练LMs的KD框架。
- GitHub：https://github.com/thu-coai/MiniPLM
- 模型：https://huggingface.co/collections/MiniLLM/miniplm-6712c0fdf09ef7e8da7d39bd
主要特点
效率
- 离线教师推理：MINIPLM通过离线方式进行教师LM推理，允许对多个学生LMs进行KD，而不会增加训练时间成本。
灵活性
- 操作训练语料库：MINIPLM仅在训练语料库上操作，不需要教师和学生LMs之间的标记匹配，因此可以在不同的模型家族之间进行KD。
效果
- 增强训练数据：MINIPLM利用大型和小型LMs之间的差异来增强训练数据的难度和多样性，帮助学生LMs获得更广泛和复杂的知识。
工作原理
MINIPLM的工作原理基于“差异采样”（Difference Sampling），具体步骤如下：
- 减少简单和常见模式的样本：这些是大型和小型模型都能轻松处理的，因此它们的价值不大。
- 增加困难和多样化实例的样本：这些是大型模型能处理，但小型模型处理起来有难度的，对小型模型的学习更有帮助。
- 过滤掉噪声或有害数据点：这些是大型模型认为不重要的数据，小型模型也不应该在上面浪费时间。
实验结果
大量的实验证明，MINIPLM提高了学生LMs在9个广泛使用的下游任务上的性能，改善了语言建模能力，并减少了预训练计算。MINIPLM的好处延伸到了大规模预训练，这一点从规模曲线的外推得到了证明。进一步的分析揭示，MINIPLM支持跨模型家族的KD，并提高了预训练数据的使用率。
具体应用场景
预训练小型语言模型
- 资源有限：在资源有限的情况下，使用MINIPLM可以训练出性能接近大型模型的小型模型，用于各种NLP任务，如文本分类、情感分析、问答系统等。
跨模型家族的知识蒸馏
- 不同架构：不同的NLP模型可能有不同的架构和标记化方法，MINIPLM可以帮助这些模型之间传递知识。
数据受限的情况
- 数据量有限：在数据量有限或者获取数据成本较高的情况下，MINIPLM可以提高数据的利用效率，减少对新数据的需求。
结论
MINIPLM作为一个高效的预训练语言模型知识蒸馏框架，通过离线教师推理、操作训练语料库和增强训练数据，解决了现有方法的效率、灵活性和有效性问题。MINIPLM不仅提高了学生LMs的性能，还在多个应用场景中展现出显著的优势。总的来说，MINIPLM像是一个桥梁，连接了大型和小型语言模型，让小型模型站在大型模型的肩膀上，看得更远，学得更多。
发表回复