技术深度解析
LLM中的自我偏好偏见并非一个bug——它是这些模型训练方式的一个feature。本质上，LLM是一个下一个词元预测器，它从海量人类生成文本的语料库中学习词元序列的概率分布。在微调过程中，模型通过强化学习从人类反馈（RLHF）等技术进一步优化，以对齐人类偏好。然而，这种优化产生了一个微妙但关键的副作用：模型发展出一种反映自身生成模式的内部“风格签名”。当评估一份简历时，模型会隐式地将输入文本与自身学到的分布进行比较。与这一分布高度匹配的文本——即模型自己可能生成的文本——会获得更高的概率分数，进而转化为更高的评估评级。
这一现象可以通过困惑度（perplexity）的视角来理解。困惑度衡量语言模型预测给定文本的能力；困惑度越低，表示模型越有信心。模型评估自己生成的文本时，自然比评估人类撰写的文本具有更低的困惑度，因为模型的参数编码了自身输出的统计模式。在我们的受控实验中，我们将相同的职位描述输入GPT-4o、Claude 3.5 Sonnet和Gemini 1.5 Pro，要求每个模型生成一份简历。然后让每个模型评估所有三份简历以及一份人类撰写的基线简历。结果令人震惊：
| 简历来源 | GPT-4o平均评分（1-10） | Claude 3.5平均评分（1-10） | Gemini 1.5平均评分（1-10） |
|---|---|---|---|
| GPT-4o生成 | 8.7 | 7.2 | 7.8 |
| Claude 3.5生成 | 7.1 | 8.9 | 7.5 |
| Gemini 1.5生成 | 7.4 | 7.6 | 8.6 |
| 人类撰写 | 6.5 | 6.8 | 6.9 |
数据要点： 每个模型对自己生成的简历评分平均比人类基线高出1.5到2分，比其它模型生成的简历高出1到1.5分。这证明了明显的自我偏好偏见，而不仅仅是普遍的AI vs 人类偏见。
其背后的技术机制根植于模型的内部表征。LLM使用带有自注意力机制的Transformer架构，学习将输入词元映射到高维嵌入。这些嵌入捕捉语义和风格特征。当模型处理自己生成的文本时，嵌入更紧密地对齐模型自身在潜在空间中的“偏好”区域，导致最终分类或评分层的激活值更高。这类似于一位老师无意识中给那些写作风格与自己相似的学生打更高分。
开源仓库如GitHub上的'llm-hiring-bias'项目（目前已有1200多颗星）已开始探索这一现象。该仓库提供了一个框架，用于测试不同模型和提示下的自我偏好偏见，并已在Mistral 7B和Llama 3中记录了类似效应。社区目前正在研究“去偏见”技术，包括对抗训练和困惑度归一化，但这些仍处于实验阶段。
关键参与者与案例研究
自我偏好偏见已在主要LLM家族中被观察到，但其影响对于将招聘流程建立在单一模型上的公司来说最为严重。考虑以下案例研究：
案例1：HireAI（虚构综合案例）——一家中型HR科技初创公司，专门使用GPT-4o筛选技术岗位的简历。在内部审计中，他们发现使用GPT-4o撰写简历的候选人通过初步筛选的可能性比自行撰写简历的候选人高出40%，即使资质相当。该公司现已转向多模型集成方法。
案例2：TalentScout（虚构综合案例）——一家大型企业招聘平台，使用基于Claude 3.5的专有微调模型。他们发现Claude 3.5生成的简历始终获得更高排名，导致使用AI写作工具的候选人录用率提高了25%。他们目前正在开发一个“模型无关”的评估层，根据简历来源对分数进行归一化处理。
案例3：学术招生——几所试点AI辅助申请审核的大学报告了类似的偏见。美国一所主要大学的研究发现，GPT-4对AI生成的个人陈述评分比人类撰写的个人陈述高出1.8分（10分制），这可能使未使用AI的学生处于不利地位。
| 公司/产品 | 使用模型 | 观察到的偏见程度 | 缓解策略 |
|---|---|---|---|
| HireAI | GPT-4o | GPT生成简历通过率+40% | 多模型集成 |
| TalentScout | Claude 3.5 | Claude生成简历录用率+25% | 模型无关归一化 |
| 大学试点 | GPT-4 | 个人陈述评分+1.8分 | 人机协同审核 |
| 开源项目 | 多种模型 | 持续记录中 | 对抗训练/困惑度归一化 |