从DeepSeek到GPT：揭秘AI大模型Distillation“蒸馏术”

近年来，大语言模型（Large Language Models，LLMs）的发展速度远超许多人的预期。从 GPT 系列模型到 DeepSeek、Llama、Gemini 等新一代模型，人工智能系统的能力不断提升，在知识问答、内容创作、代码生成、复杂推理等领域展现出惊人的表现。

然而，在模型能力快速增长的同时，一个现实问题也越来越突出：模型越强大，规模往往越庞大，而部署和使用成本也随之急剧上升。

例如，现代先进大模型往往拥有数百亿甚至数万亿参数，需要大量 GPU 资源支持推理和训练。这种规模虽然带来了更强的性能，却限制了模型在移动设备、边缘计算设备以及中小企业场景中的广泛应用。

因此，一个重要问题摆在研究人员面前：是否能够让体积更小、成本更低的模型，尽可能继承大型模型的能力？为了解决这一问题，人工智能领域提出了一项极具价值的技术——模型蒸馏（Distillation）。

尤其是在 DeepSeek-R1 发布之后，蒸馏技术再次成为业界关注的焦点。许多开源社区和企业开始利用蒸馏方法，将大型推理模型的能力迁移到更小规模的模型中，从而获得兼顾性能与效率的解决方案。

本文将系统介绍大模型蒸馏技术的发展背景、核心原理、关键方法以及其在大语言模型时代的重要意义。
如果你想了解更多关于LLM的相关内容，可以阅读以下这些文章：
大语言模型的工资出乎你的想象
大语言模型在金融品交易中的应用
六个月转行大语言模型开发工程师
大语言模型在生物学中的应用

什么是模型蒸馏？

模型蒸馏（Model Distillation）最早并不是为大语言模型设计的技术。

早在深度学习快速发展的阶段，研究人员就已经开始思考一个问题：如何将大型神经网络学到的知识迁移给较小的神经网络？

2015年，深度学习先驱 Geoffrey Hinton 等研究者正式提出知识蒸馏（Knowledge Distillation）的概念，为这一方向奠定了理论基础。

蒸馏技术的核心思想非常简单：

让一个性能优秀的大模型充当“老师（Teacher）”，再训练一个规模较小的“学生模型（Student）”，使学生模型学习老师模型的行为模式，而不仅仅学习原始训练数据。

这里需要特别强调的是：

蒸馏并不是复制老师模型的参数，而是学习老师模型所体现出的知识和决策能力。

换句话说，蒸馏的目标是迁移能力，而不是迁移结构。

为什么需要蒸馏？

随着大模型规模不断扩张，部署成本成为产业落地的重要瓶颈。主要体现在三个方面。

推理成本不断上升

· 现代大模型在生成每一个 Token 时，都需要进行复杂的神经网络计算。
· 参数规模越大，计算量越高。
· 企业每一次调用模型都会产生实际成本。
· 当用户规模达到数百万甚至数千万级别时，推理成本会迅速增长。

响应速度受到影响

· 大型模型虽然能力强，但推理延迟也相对较高。
· 对于智能客服、实时助手、搜索系统等场景而言，响应速度直接影响用户体验。
· 因此很多企业希望在保证性能的同时降低延迟。

硬件资源限制

· 许多先进模型需要高性能 GPU 集群运行。
· 然而在实际应用中，大量场景并不具备如此强大的硬件条件。

例如：

手机端 AI 助手；
智能眼镜；
机器人；
车载系统；
边缘计算设备。

这些场景更需要轻量化模型。因此，蒸馏技术本质上是在回答一个关键问题：如何用更少的计算资源，获得接近大型模型的能力。

蒸馏的核心思想：学习行为，而不是学习参数

很多人第一次接触蒸馏时容易产生误解。他们认为蒸馏就是把老师模型的参数压缩到学生模型里。事实上并非如此。研究人员发现：真正有价值的并不是参数本身，而是参数所表达出的行为模式（Behavior）。

因此蒸馏强调：Transfer Behavior, Not Weights。即：迁移行为，而非迁移权重。老师模型经过海量数据训练后，已经形成了复杂的知识表示能力。蒸馏的目标就是让学生模型学习这种知识表示方式。这类似于教育过程中的师生关系。学生并不需要拥有老师同样的大脑结构，但可以通过学习老师的思考方式获得类似能力。

什么是“暗知识”？

知识蒸馏最重要的理论贡献之一，是提出了“暗知识（Dark Knowledge）”的概念。

传统监督学习通常采用标准标签训练模型。

例如：

当模型识别图片时，输入是一张狗的图片。标签可能只有一个结果：“狗”。这种训练方式告诉模型什么是正确答案。

但没有告诉模型：
狗和狼有多相似；
狗和狐狸有多接近；
狗和汽车有多不同。

而老师模型的输出则包含了更丰富的信息。

例如：
狗：90%
狼：7%
狐狸：2%
汽车：1%

虽然最终答案仍然是“狗”，但这些概率分布实际上揭示了老师模型对世界的理解。

这种隐藏在概率分布中的信息，就是所谓的“暗知识”。学生模型如果能够学习这些信息，就能够获得更丰富的认知能力。这也是蒸馏优于直接训练的重要原因之一。

温度参数与软标签

在蒸馏过程中，一个重要概念是“软标签（Soft Label）”。普通监督学习通常使用硬标签（Hard Label）。

例如：
正确答案是狗。
那么标签就是：
狗 = 1
其他类别 = 0
这种表示方式过于绝对。
而蒸馏会使用老师模型产生的概率分布作为训练目标。
为了让这种概率分布更加丰富，研究人员引入了温度参数（Temperature）。
温度越高：
概率分布越平滑。
更多类别的信息会被保留下来。
更多类别的信息会被保留下来。
温度越低：
概率分布越尖锐。
结果更接近传统硬标签。
通过调节温度参数，研究人员可以控制学生模型学习多少“暗知识”。
这也是经典知识蒸馏方法的核心机制。
蒸馏中的损失函数设计
学生模型训练时通常同时参考两种信号。

• 第一种信号来自真实标签。保证学生模型不会偏离正确答案。
• 第二种信号来自老师模型输出。帮助学生学习老师的知识结构。

因此训练目标通常由两部分组成：一部分负责学习真实答案；另一部分负责模仿老师模型。

研究人员通过权重参数平衡两者关系。如果过度依赖老师模型，学生可能继承老师的错误。如果过度依赖真实标签，则无法充分利用蒸馏优势。因此二者之间需要合理权衡。

三种主流蒸馏方法

随着研究不断深入，蒸馏技术逐渐形成三种主流路线。
基于输出的蒸馏（Response-Based Distillation）
这是最经典的方法。
学生模型直接学习老师模型的最终输出。

例如：
学习概率分布、预测结果或生成内容。
优点是简单高效。
缺点是获得的信息相对有限。
基于特征的蒸馏（Feature-Based Distillation）
这种方法进一步深入模型内部。
学生不仅学习最终输出，还学习老师模型隐藏层的中间表示。
这样可以获得更丰富的训练信号。
但实施复杂度也显著提高。
因为需要访问模型内部结构。
基于关系的蒸馏（Relation-Based Distillation）
这种方法不直接模仿具体数值。
而是学习数据之间的关系。

例如：
样本之间的距离关系；
隐藏层之间的关联关系。
这种方法更关注知识结构的保持。
近年来受到越来越多研究关注。
大语言模型时代的蒸馏挑战
蒸馏最初主要应用于分类任务。
而大语言模型带来了全新的挑战。
首先，大模型属于生成式模型。
输出不再是固定类别。
而是长度不确定的文本序列。
其次，大语言模型具有自回归特性。
每个 Token 的生成都会影响后续输出。
早期逐 Token 蒸馏容易造成误差累积。
因此研究人员提出序列级蒸馏（Sequence-Level Distillation）。

其核心思想是：

• 不再学习单个 Token。
• 而是学习老师模型生成的完整回答。
• 这样能够更好地保留语言生成能力。
• 这一思想后来成为大语言模型蒸馏的重要基础。

白盒蒸馏与黑盒蒸馏

随着商业模型大量出现，蒸馏技术进一步分化为两种路线。

白盒蒸馏（White-Box Distillation）

当研究人员能够访问老师模型内部结构时：

• 可以获得：
• 权重信息；
• 隐藏层状态；
• Logits 输出；
• 中间特征。

此时蒸馏效果通常更好。因为学生模型能够获得更多训练信号。许多开源模型蒸馏采用这种方式。

黑盒蒸馏（Black-Box Distillation）

如果老师模型是闭源系统，例如部分商业模型。

研究人员只能看到最终文本输出。此时流程通常是：

• 构建大量提示词；
• 调用老师模型生成答案；
• 对答案进行质量筛选；
• 用高质量问答数据训练学生模型。

虽然无法访问内部信息，但依然能够实现有效知识迁移。如今许多商业化蒸馏项目都采用这种路线。

DeepSeek-R1 如何利用蒸馏？

2025年，DeepSeek 发布推理模型 DeepSeek-R1，引发全球关注。

除了强化学习带来的推理能力突破之外，蒸馏也是其重要技术路线之一。

DeepSeek-R1 首先生成大量高质量推理数据。

其中包含：

• 推理轨迹；
• 思维链；
• 问答样本；
• 普通指令数据。

随后利用这些数据训练较小规模模型。

例如：
1.5B 参数模型；
7B 参数模型；
32B 参数模型等。

这些学生模型虽然远小于原始模型规模，却能够保留相当比例的推理能力。

这一成果充分展示了蒸馏技术在大模型时代的重要价值。

蒸馏技术的未来

随着 AI 系统不断发展，蒸馏已经不再局限于模型压缩。

越来越多研究开始探索：

• 推理能力蒸馏；
• Agent 技能蒸馏；
• 多智能体经验蒸馏；
• 工具调用能力蒸馏；
• 工作流蒸馏。

未来蒸馏的对象可能不只是知识。而是完整的智能行为。这意味着大型模型学会的规划能力、推理能力、工具使用能力乃至 Agent 工作流程，都有可能被迁移到更轻量级模型中。

结语

从早期深度学习时代的模型压缩技术，到今天支撑大语言模型生态的重要方法，蒸馏技术已经成为人工智能工程体系中的关键组成部分。

其本质思想十分优雅：不是简单复制一个更大的模型，而是让更小的模型学会更大的智慧。对于产业界而言，蒸馏解决了成本、速度与部署难题；对于研究领域而言，蒸馏则提供了一条将先进能力普及到更广泛场景的重要路径。

从GPT到 DeepSeek，从知识迁移到推理能力迁移，蒸馏技术正在推动人工智能从“更大”走向“更高效”。而在未来的大模型时代，如何让有限资源承载无限智能，或许正是蒸馏技术持续发展的核心价值所在。

感谢阅读！你还可以订阅我们的YouTube频道，观看大量大数据行业相关公开课：https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ；在LinkedIn上关注我们，扩展你的人际网络！https://www.linkedin.com/company/dataapplab/。