大模型知识蒸馏(Knowledge Distillation):从 Teacher 分布学习到 Student 能力迁移
知识蒸馏用 Teacher 的预测或生成结果监督 Student,在目标任务上转移能力。选择蒸馏方式时,既要看能获得什么监督信号,也要算清生成、训练和上线服务各要花多少钱。
假设已有一个 70B Teacher,目标是训练一个 7B Student 处理 Kubernetes 运维问答。只拿到 Teacher 的一条回答,可以把它做成 SFT 样本。拿到完整的下一个 token 分布,还可以让 Student 学习 Teacher 对其他候选的判断。两者需要的数据、训练目标和基础设施都不同。
1. 蒸馏可以放在训练的哪个环节?
蒸馏描述监督信号如何从 Teacher 传给 Student。预训练时,可以让两者读同一段语料,在选定位置匹配下一个 token 的分布,并混合原语料的语言建模目标。后训练时,可以让 Teacher 回答指令,把通过校验的响应或解题轨迹用于 SFT。若还要用奖励优化 Student,可以把蒸馏用作起点,也可以按训练设计和其他目标组合。
1 | 一种常见的 Student 训练路线 |
SFT 按给定目标序列计算监督损失,标签可以来自人、程序或 Teacher。RL 依据奖励优化 Student 的策略,奖励可来自答案验证器、测试用例或奖励模型。实践中可以先用验证过的 Teacher 解法做 SFT,再用答案正确性奖励继续训练。哪一段带来收益,应分别用消融对照检验。
2. 一条回答和整个词表的分布有什么差别?
自回归语言模型在每个输入位置输出一个长度为词表大小的 logits 向量。在 teacher forcing 中,输入是已知序列。在读到第 个 token 后,该位置输出的 logits 用来预测第 个 token。批量实现中,通常将 logits[:, :-1, :] 对齐到 labels[:, 1:]。模型用同一给定前缀预测下一 token,无须为序列中的每个位置单独启动一次生成。响应 SFT 通常只在响应目标上计损失,padding 和其他未监督位置需要遮掉。
1 | 同一前缀「中国的首都是」 → Teacher logits → Teacher 概率 |
下面的概率仅作示意。假设前三项恰好对应单个 token,“其他”合计剩余词表的概率质量。真实 tokenizer 可能把「北京」切成多个 token。
| 候选 | Teacher 概率 | 蒸馏前 Student 概率 |
|---|---|---|
| 北京 | 85% | 40% |
| 上海 | 8% | 30% |
| 南京 | 4% | 20% |
| 其他 | 3% | 10% |
若训练标签为「北京」,硬标签交叉熵直接提高该目标的概率。若目标是 Teacher 的完整分布,Student 还会受到「上海相对南京更可能」这类候选关系的监督。Hinton 等人用软目标描述这项信息,有时也称为“暗知识”。生成响应时,贪心解码选择概率最高的 token,采样则可能从候选中选出其他 token。解码和筛选策略因此会改变响应数据的分布。经典知识蒸馏
3. Logits 蒸馏的损失从哪里来?
温度、正向 KL 与软标签交叉熵
将训练上下文记为 。Teacher 和 Student 的 logits 分别为 与 。两者都用相同的温度 做 softmax。略去上下文记号后,有
是标准 softmax。固定一组非恒定 logits 时, 会平滑分布, 会使分布更尖锐。这里的温度用于构造训练目标,Teacher 生成响应时的采样温度是另一项设置。
用 nats 表示,单个位置的经典正向 KL 可以写成
其中 是软标签交叉熵, 是 Teacher 分布的熵。Teacher 固定时,熵项对 Student 参数是常数,因此两个目标给 Student 的梯度相同。在目标前缀分布上,训练优化的是正向 KL 的期望。
公式中的前缀分布需要随训练方法一起说明。上式的常见用法是离线选定前缀、在逐 token 的条件分布上做正向 KL。MiniLLM 从序列级反向 KL 出发,用 Student 在线生成的轨迹优化,并引入 Teacher 混合采样等方法。这里的对比同时涉及 KL 方向、监督粒度和训练前缀来源,结论应放在各自的训练设定里阅读。经典 KD · MiniLLM 论文
为什么经常给蒸馏项乘 ?
固定 Teacher,令 为缩放前的 Student logit。由 softmax 的导数得到
当温度相对于中心化后的 logits 足够高时,softmax 可以在均匀分布附近做一阶展开。记 为同一位置所有 logits 的均值,对 Teacher 和 Student 分别有近似形式 。这时 大致随 缩小,梯度大致随 缩小。乘 是用这项高温近似补偿梯度尺度的常用做法。一般温度下,实际梯度还取决于两个分布的形状。Hinton 等人的温度推导
若同一批数据还有可靠的硬标签,可以把温度化的蒸馏目标和温度为 1 的硬标签 CE 混合。梯度只更新 Student。
其中 是蒸馏项权重, 是学习率。实现时在词表维求和,在有效监督位置上按约定归一化。下面的 PyTorch 片段假定词表已对齐、两个张量都基于同一给定序列,且批次至少有一个有效监督位置。
1 | import torch.nn.functional as F |
PyTorch 的 KL 接口先接收模型的对数概率,再接收目标分布。例子显式按有效 token 计均值,以便控制 padding 和只监督响应的训练口径。大词表训练还要考虑分块计算、词表并行和归一化所需的通信。PyTorch KLDivLoss 文档
哪些数据才能直接计算全词表 KL?
直接逐位置比较需要两侧具有同一 token 事件空间、相同的条件前缀与对齐的监督位置。相同张量形状只能说明维数一致。还要校验 token ID 到内容的映射、分词边界、BOS/EOS、聊天模板和目标 mask。若 tokenizer 不同,可以优先在文本层做响应蒸馏,让 Student 用自己的 tokenizer 训练。需要分布蒸馏时,应明确共享的事件空间和对齐方法。
Top-k 缓存可以节省传输和存储。直接丢掉尾部会移除它对损失的贡献,在保留项上归一化则变成比较截断后的分布。也可以显式保留一个“其余 token”桶和它的概率质量,但桶内各 token 的相对信息仍会丢失。要记录近似方式,并通过同一评测检查质量损失。
4. 只有 Teacher 文本时,怎么蒸馏?
| 监督信号 | Student 怎么训练 | 主要约束 |
|---|---|---|
| 完整 logits 或软概率 | 对齐词表与前缀后,匹配逐 token 分布 | 要访问分布,并承担 Teacher 前向、显存及词表维数据成本 |
| 单个硬标签或单条响应 | 把 Teacher 生成的 token 或响应文本作为 SFT 标签 | 只保留实际选择的内容,质量取决于采样和筛选 |
| 可见推理轨迹与答案 | 将经过检查的步骤和答案一起作为监督 | 轨迹可能省略步骤、事后合理化或与答案不一致 |
| 可验证答案 | 生成多个候选,用规则、解题器或测试验证,保留通过的结果 | 验证范围决定监督质量。结果正确仍需单独检查过程 |
例如,请 Teacher 解释 Kubernetes 的 Gang Scheduling,可把校验后的文本作为响应。对于由 8 台节点、每台 8 张 GPU 组成的集群,要调度一个 32 GPU 作业,可以额外保留这样的检查步骤。集群标称共有 64 张卡。调度时还要看当前是否有满足拓扑、配额与并行要求的 32 张卡,并为同组 worker 设置作业需要的最小就绪或准入条件。校验既可检查算术,也可检查答案有没有把集群标称规模误当作当前可分配资源。
Teacher 生成的可见步骤是训练文本,可能有助于 Student 学会显式检查约束。它们的忠实性和质量需要单独评估。对可验证的数学题或代码题,只保留最终答案、保留通过验证的轨迹,或用验证结果构造奖励,都可以设计成独立实验。序列级蒸馏的经典工作展示了如何用 Teacher 生成的序列训练 Student。Kim 与 Rush,序列级知识蒸馏
5. 一个 70B Teacher 到 7B Student 的项目
以技术问答、数学和代码为例,先建立训练基线与冻结的评测集。预留独立题源和任务分布,防止同题改写泄漏到评测集。
1 | 原始问题 → Teacher 生成候选 → 去重、格式检查与答案验证 → 版本化数据集 |
- 准备问题和数据边界。 例如让样本覆盖 Attention、Gang Scheduling、TCP 三次握手和 Python 排序。按领域与难度做采样,预先确定要迁移的技能。
- 生成并筛选响应。 记录 Teacher 版本、模板、采样温度、top-p、输出长度和候选数。对代码跑隔离的测试,对数学做答案校验,对技术问答检查事实。去重、审查长度与格式,并检查过滤后的重要类别是否仍有覆盖。
- 训练并做对照。 先做响应 SFT。能获得对齐 logits 时,再考虑在同一数据上加入软目标。用相同训练预算和评测口径比较基线、响应蒸馏及其扩展。对难题可分组比较仅答案与含验证轨迹的样本。
- 评估能力与服务。 用问答准确率、数学答案匹配、代码 pass@1 和指令遵循率看质量,用相同硬件、上下文长度和并发条件测首 token 延迟、整体延迟、吞吐与显存。记录每项任务的失败类型。
一个 7B Student 只须在目标任务分布上逼近经过筛选的 Teacher 行为,因此窄任务可以比覆盖广泛的能力迁移更容易。结果还取决于 Student 原有能力、数据覆盖、上下文长度和容量。是否达到 Teacher 水平,要结合目标任务评测以及分布外回归来判断。70B 与 7B 是设计场景中的示意规模。
6. AI Infra 预算怎么估?
Teacher 前向与数据规模
响应蒸馏要为 Teacher 的预填充、逐 token 解码和多候选生成付费。并行方式、KV Cache、连续批处理与输入输出长度都会改变吞吐。离线 logits 蒸馏若用已知序列做 teacher forcing,可以批量提取各监督位置的 logits。其输出张量的规模取决于监督位置数和词表大小。
以每条样本 1,000 个监督位置、词表 100,000 项、每项 FP16 两字节为例,单条样本的完整未压缩 logits 为
一百万条同样的样本约为 200 TB。这里用十进制 MB、TB,只统计原始 logits 张量,不计 token ID、mask、元数据、索引、副本与文件格式开销。实际容量还要看长度分布、监督覆盖和存储格式。文本响应的数据量应按实际序列长度抽样估算。
| 方案 | 主要资源开销 | 预算时看什么 |
|---|---|---|
| 离线响应 | Teacher 解码、筛选和验证 | 生成候选总 token 数、通过率、每条合格样本成本 |
| 离线 logits | Teacher 前向、张量存储与重复读取 | 有效位置数、词表大小、格式、读写和跨集群带宽 |
| 在线 Teacher | Teacher 前向、Student 同步和传输 | Teacher/Student 吞吐是否匹配、GPU 空等时间、峰值显存 |
| Top-k 或量化缓存 | 较少的字节和读取开销 | 尾部处理、精度变化及下游评测差异 |
在线计算可以省去持久存储完整 logits,运行时仍要承担 Teacher GPU 开销、等待和数据搬运。离线缓存有利于复用同一批监督信号,代价是写入、读取和版本管理。
训练作业和上线服务分开算
1 | 问题与语料 → Teacher 推理资源池 → 清洗与验证 → 对象存储中的版本化数据 |
在 Kubernetes 上,可以把 Teacher 推理与批量生成、CPU 清洗、Student 分布式训练、评估分别编排。Teacher 侧关心吞吐和显存,清洗侧关心 CPU、内存和 I/O,Student 侧关心反向传播、GPU 互联和 checkpoint。Megatron-LM、FSDP 或 DeepSpeed 等方案可按模型和并行策略选用。Volcano 或 Kueue 可以参与资源队列和准入,数据集与模型版本要随任务记录。资源池大小按序列长度、并行开销与服务目标估算。
训练账包括 Teacher 推理、候选验证、存储与传输、Student 训练和评估。部署账比较两种模型在相同质量门槛与服务目标下的每请求成本,还要计入请求上下文、并发、缓存命中和回退请求。若 Student 每请求能节省成本,可用一次性蒸馏投入除以平均每请求节省额,估算覆盖这笔投入需要的请求量。
如果只能做第一轮实验,先选一个目标任务和一组固定评测题,用少量经验证的 Teacher 响应训练 Student,再看质量和服务成本差异。只有在响应监督不足、且能拿到可对齐的分布时,再为 logits 蒸馏投入更重的数据管道。





