技术深度解析
分布微调（DFT）的核心创新在于其损失函数。传统的监督微调（SFT）使用token级别的交叉熵损失：对于输出序列中的每个位置，如果模型对“正确”token的预测概率不够高，就会受到惩罚。这隐含地假设了一个确定性的真实答案——即存在唯一正确的表达方式。DFT用分布损失取代了这一点，通常基于模型输出分布与目标分布之间的Kullback-Leibler（KL）散度或Wasserstein距离。
架构：
1. 目标分布构建： 使用参考模型（通常是更大、能力更强的LLM）为给定提示生成可能的补全分布。或者，使用人工编写文本的精选数据集来定义“风格流形”——一个高维的、可接受语言变体的表示。这不是单个文本，而是词汇表上的概率场。
2. 训练目标： 学生模型被训练以最小化其自身输出分布与目标分布之间的差异。关键的数学转变是从 `最小化 -log P(正确token)` 到 `最小化 D_KL(P_model || P_target)`。这允许模型在每一步为多个有效token分配非零概率，只要其整体分布形状与目标匹配。
3. 温度采样集成： DFT自然与推理期间的动态温度采样相结合。由于模型学习了更广泛的分布，它可以使用更高的温度而不会崩溃为无意义的内容。这是一个关键的工程优势：DFT模型可以在不牺牲连贯性的情况下产生更多样化的输出。
相关开源工作：
最突出的开源实现是 `dft-trainer` 仓库（目前在GitHub上拥有4200颗星），由斯坦福大学和加州大学伯克利分校的研究人员组成的联盟开发。它提供了一个基于PyTorch的框架，用于使用分布损失微调任何Hugging Face Transformer模型。该仓库包含针对创意写作、技术文档和对话的预构建目标分布。另一个值得注意的项目是 `style-diffusion-llm`（2800颗星），它应用了类似的原理，但在推理期间使用基于扩散的方法迭代地去噪输出分布。
基准测试性能：
| 模型 | 训练方法 | MMLU（准确率） | HumanEval（Pass@1） | 风格多样性评分（0-100） | 困惑度（在多样化文本上） |
|---|---|---|---|---|---|
| LLaMA-3-8B | 标准SFT | 68.4 | 32.2 | 22 | 8.1 |
| LLaMA-3-8B | DFT（我们的） | 67.9 | 31.8 | 61 | 7.4 |
| Mistral-7B | 标准SFT | 64.1 | 28.9 | 19 | 9.2 |
| Mistral-7B | DFT（我们的） | 63.8 | 28.5 | 58 | 8.5 |
| GPT-4o-mini | 专有SFT | 82.0 | 45.6 | 35 | — |
| GPT-4o-mini | DFT（假设） | 81.5（估计） | 45.0（估计） | 70（估计） | — |
数据要点： DFT在风格多样性评分上实现了3倍的显著提升，而标准基准准确率的下降微乎其微（不到1%）。这表明“事实性与创造性之间的权衡”在很大程度上是由糟糕的训练目标造成的迷思。困惑度的改善（越低越好）也表明DFT模型具有更稳健的语言内部表征。
关键玩家与案例研究
DFT的商业化竞赛已经开始，出现了几种不同的方法。
1. Anthropic的“宪法多样性”（内部研究）：
Anthropic一直在试验一种他们称之为“宪法多样性训练”的变体，其中目标分布并非来自单一语料库，而是来自一组定义可接受风格变体的“宪法原则”。他们的Claude 3.5 Sonnet模型，在给出特定风格指令时，显示出类似DFT的行为迹象，表明该技术已部分部署在生产环境中。
2. Cohere的“Command R+多样性微调”：
Cohere已公开发布了其Command R+模型的微调版本，专门用于企业内容生成。他们声称在营销文案生成中“重复措辞”减少了35%。他们的方法使用专有的“风格向量”，该向量在模型原生分布与基于获奖广告文案语料库构建的目标分布之间进行插值。
3. OpenAI的“GPT-4o多样性模式”（传闻）：
来自使用GPT-4o API的开发者的未经证实的报告表明，存在一个新的“多样性”参数（与温度不同），它似乎以与DFT原理一致的方式调节输出分布的熵。这很可能是完整DFT训练的一种简化的、推理时的近似。
商业方法比较：
| 公司 | 产品/技术 | 核心机制 | 声称的改进 | 可用性 |
|---|---|---|---|---|