技术深度解析
这份新数据基础指南的核心洞见是：LLM性能现在受限于训练数据的信噪比，而不仅仅是数据量。该指南勾勒出一个远超基础网页抓取的多阶段管线。
大规模去重： 简单的精确匹配去重已不够用。指南推荐基于MinHash的近似去重，以及更关键的——使用`all-MiniLM-L6-v2`等模型的嵌入进行语义去重。这不仅能移除完全相同的副本，还能剔除那些不增加新信息的改写变体。一个关键发现：移除最冗余的10%语义重复文档，可将下游任务性能提升3-5%，同时降低相近比例的训练成本。
信号提取与质量过滤： 原始文本包含大量低价值内容——模板文本、垃圾信息、SEO优化废话以及有害材料。指南详细描述了一种分层过滤方法：首先，启发式规则（如字符重复率、标点密度）；其次，基于分类器的过滤，使用在人工标注质量分数上训练的快速轻量模型（如蒸馏版BERT变体）；第三，针对参考模型（如小型GPT-2）的困惑度过滤，以标记分布外或低质量文本。这种多轮方法可将“高质量token”的密度提升40-60%，直接增强模型学习连贯推理和事实知识的能力。
数据混合与课程学习： 指南强调，数据集组成是一个超参数。它推荐一种基于期望模型能力来混合领域（如代码、科学论文、小说、网页文本）的结构化方法。课程学习计划——先让模型接触更干净、更简单的数据，再引入更嘈杂、更复杂的数据——被证明可将标准基准测试的最终困惑度提升1.5-2个点。
合成数据生成： 这是前沿领域。指南涵盖了使用强教师模型（如GPT-4或Claude）生成高质量训练样本的技术，尤其针对推理、指令遵循和代码生成。一个关键警告：必须仔细过滤合成数据以避免“模型崩溃”——即模型在其自身输出上训练后性能退化。推荐的缓解措施是，在最终混合数据中保持合成数据与人工生成数据的严格比例（例如，合成数据不超过30%），并使用拒绝采样丢弃低置信度生成。
相关开源仓库：
- `text-dedup`（GitHub，约5000星）：一个使用MinHash和SimHash进行近似去重的库。指南推荐用于初始去重阶段。
- `datatrove`（GitHub，约3000星）：来自Hugging Face的数据处理库，专为大规模过滤和去重设计。指南强调其模块化管线架构。
- `llm-data-quality`（GitHub，约1500星）：一个较新的仓库，专注于使用困惑度和基于分类器的方法进行质量评分。指南建议将其作为自定义质量过滤器的起点。
| 模型 | 训练数据大小（Token） | 数据质量管线 | MMLU得分 | 幻觉率（TruthfulQA） |
|---|---|---|---|---|
| GPT-4（估计） | ~13T | 多阶段去重 + 困惑度过滤 + RLHF | 86.4 | 22% |
| Llama 3 70B | ~15T | 激进去重 + 质量过滤 + 代码/数据混合 | 82.0 | 28% |
| Mistral 7B | ~8T | 最小去重，原始网页数据 | 64.2 | 38% |
| FineWeb（开放数据集） | ~15T | 去重 + 质量过滤（类似C4） | — | — |
数据启示： 该表格展示了一个清晰的关联：在激进筛选的数据上训练的模型（GPT-4、Llama 3），其MMLU得分显著更高，幻觉率显著更低，而训练在最小处理数据上的模型（Mistral 7B）则表现较差，即使在控制参数数量的情况下也是如此。差距不仅在于规模——更在于信号质量。
关键玩家与案例研究
该指南的原则已被关键玩家付诸实践，尽管透明度各不相同。
OpenAI 长期以来对其数据管线最为保密，但指南的建议与其可观察到的模式相符。他们使用RLHF和指令微调，本质上需要高质量的人类反馈数据。最近，他们使用GPT-4生成的合成数据来训练较小模型（如GPT-4o mini）的报告，证实了合成数据策略。对他们而言，关键挑战是在扩大合成生成规模的同时保持数据多样性。
Meta 及其Llama 3系列则更为开放。他们公布了数据筛选的细节，包括激进的去重以及对代码和多语言数据的侧重。他们决定在15T token上训练，并高度重视质量而非数量，这在强劲的基准测试表现上得到了回报。指南中关于课程学习的建议直接反映在他们的训练计划中。