技术深度解析
层一致性评分的工作原理与传统的不确定性度量指标（如词元概率或熵）有着根本性的不同。一个模型可以为一个完全虚构的下一个词元分配很高的概率，但其内部生成该词元的“旅程”可能充满混乱。LCS探究的正是这段旅程。
架构与算法： 该技术主要应用于仅解码器架构的Transformer模型（例如GPT、LLaMA）。在生成某个特定词元时，模型会跨越其`n`个层级产生一系列隐藏状态向量（h₁, h₂, ..., hₙ）。将一个一致性函数`C`应用于该序列。一种主流方法（受*表征工程*研究启发）涉及计算相邻或策略性选择的层之间归一化隐藏状态的成对余弦相似度，或一种专门的散度度量（如中心核对齐）。较高的平均相似度表明高度一致性。
一项未公开的研究中提及了一种更复杂的变体，它使用一个在已知正确与错误模型生成的小型数据集上训练的轻量级探针网络。该探针以给定生成过程的各层激活序列作为输入，学习预测底层生成是否可信。探针的输出即成为置信度分数。关键在于，这种训练只需进行一次，且该探针在推理过程中增加的开销微乎其微。
关键的GitHub代码库与基准测试：
尽管LCS核心研究仍处于学术实验室的萌芽阶段，但相关的基础性工作已在开源领域可见。`inseq`库提供了用于解释Transformer中序列生成的工具，可被适配用于层分析。更直接的是，Google研究人员的`uncertainty-baselines`代码库包含了各种置信度估计方法的基准测试，不过LCS尚未成为标准条目。
实证结果表明，在幻觉检测任务上，LCS的表现优于序列概率和熵等基线方法。例如，在测试模型模仿人类错误倾向的TruthfulQA基准上，基于LCS的过滤器能够以比基于概率的过滤高得多的精确度，识别并拦截低置信度的错误答案。
| 置信度估计方法 | 检测准确率 (TruthfulQA) | 计算开销 | 是否需要多次采样 |
|---|---|---|---|
| 最大词元概率 | 62% | 无 | 否 |
| 序列熵 | 65% | 低 | 否 |
| 蒙特卡洛 Dropout | 71% | 高 (10-20倍) | 是 |
| 层一致性评分 (LCS) | 78% | 极低 (1.05倍) | 否 |
数据要点： 上表揭示了LCS独特的价值主张：它在实现最先进的模型幻觉检测准确率的同时，保持了近乎为零的推理开销，并且仅需单次前向传播。这使其比依赖大量采样的方法更适用于生产环境部署。
关键参与者与案例研究
内部表征分析技术的发展是领先AI实验室的战略前沿。Anthropic在宪法AI和机制可解释性方面的工作直接推动了这一领域。其研究人员已发表了关于在模型层中追踪概念的研究，这是进行一致性分析的前奏。Google DeepMind设有专注于“可靠性”和“安全性”的团队，正在积极研究类似的基于层级的置信度信号，并可能将其整合到Gemini的高级推理层级中。
OpenAI的方法历来更侧重于输出端，使用如人类反馈强化学习等技术来减少幻觉。然而，这种方法的内在局限性正推动他们转向内部诊断。未来的ChatGPT迭代版本很可能会采用某种形式的LCS来为其“置信度提示”或澄清请求提供支持。
一个引人注目的案例研究正在医疗AI领域浮现。像Nabla和Ambient Clinical Intelligence这样的初创公司正在试点AI医疗记录员和诊断助手。对它们而言，高置信度的错误陈述是灾难性的。集成LCS可以让它们的系统为鉴别诊断或治疗建议打上内部置信度标签。例如，如果AI建议了一种罕见的药物相互作用，但其各层激活不一致，系统可以将该建议高亮标记，提示医生立即复核，而不是将其作为确凿事实呈现。
研究员聚焦： 这一概念的基础工作通常归功于Chris Olah和Anthropic团队等研究人员，他们在LLM中的电路和特征方面的工作表明，真实性可能与特定的激活模式相对应。最近，MIT CSAIL和斯坦福大学基础模型研究中心的团队发表了关于逐层一致性度量的明确公式，并在受控实验中证明了其有效性。