技术深潜
AI幻象的技术根源深植于现代深度神经网络的架构与训练范式。从卷积神经网络(CNN)到视觉Transformer(ViT),视觉模型通常通过在ImageNet、COCO或LAION-5B等海量数据集上的监督学习进行训练。其目标是最小化预测标签与真实标签间差异的损失函数。这一过程教会模型识别输入像素分布与输出类别间的统计相关性,但并未灌输物理现实或因果关系的模型。
关键机制在于高维插值。这些模型在数百万维度(参数)的空间中运作。纯粹随机噪声仍占据该高维空间中的一个点。模型的任务是将任何输入点映射到输出点(分类或生成图像)。当输入远离自然图像的「流形」——即包含真实数据的空间区域时,模型会基于其学习权重进行外推。由于训练目标优先要求产生确信度高的输出(通过softmax等函数),网络通常会输出那些在噪声中展现出最高激活模式(尽管是虚假的)的类别特征检测器。
这与对抗样本和愚弄图像密切相关。研究表明,可以合成在视觉上对人类与噪声无异的图像,却被模型以超过99%的置信度分类为特定物体(如「熊猫」)。`cleverhans` GitHub仓库在此类攻击的模型脆弱性基准测试中发挥了重要作用,提供了生成对抗样本和测量鲁棒性的工具库。
近期研究量化了这一现象。研究者系统测试了多种架构对渐进噪声输入的反应,测量了人类感知失效与机器感知错误自信的临界点。
| 模型架构 | 训练数据集 | 假阳性率>80%的噪声阈值 | 最常见幻象类别 |
|---|---|---|---|
| ResNet-50 | ImageNet-1k | 15%高斯噪声 | 「沙狐」(常为纹理模式) |
| Vision Transformer (ViT-B/16) | ImageNet-21k | 12%高斯噪声 | 「迷宫」(网格状模式) |
| CLIP (ViT-L/14) | LAION-400M | 8%高斯噪声 | 「网页」(结构化噪声) |
| DINOv2(自监督) | LVD-142M | 18%高斯噪声 | 变化广泛,置信度较低 |
数据启示: 表格显示,在更广泛数据集(如CLIP)上训练的更大、更强大的模型在更低噪声阈值下即可产生幻象,表明其更丰富的特征空间更容易触发虚假激活。DINOv2等自监督模型表现出稍强的抗噪性,暗示学习目标设计的重要性。
`robust-ml` GitHub组织托管了众多仓库(如`robustness`),提供分析模型决策边界及其对分布外输入敏感性的工具。`foolbox`等库的进展持续提供标准化攻击基准。
关键参与者与案例研究
AI幻象问题不仅限于学术界,更直接影响领先科技公司及其产品。
特斯拉全自动驾驶(FSD) 系统依赖纯视觉「HydraNet」处理视频流,已记录多起「幽灵刹车」案例——车辆对不存在的障碍物做出反应。分析表明,当天气条件、阴影或桥梁接缝产生的视觉噪声以工程师未预料的方式激活物体检测神经元时,就可能发生此现象。特斯拉的策略是通过车队收集海量「边缘案例」数据以重新训练网络,这属于反应性而非根本性修正策略。
谷歌Gemini与Imagen 团队已公开讨论生成模型中「造梦」的挑战。当输入抽象或噪声概念时,这些模型基于统计可能性填充细节,创造连贯但虚构的图像。其缓解策略涉及大量基于人类反馈的强化学习(RLHF)和「红队测试」以识别故障模式,但这主要针对输出症状而非核心感知缺陷。
Paige.AI与PathAI等医疗AI公司 面临最严峻的后果。训练用于检测组织病理切片中癌变组织的模型,可能在染色伪影或图像噪声中幻视出恶性特征,导致假阳性。这些公司正开创混合方法,将深度学习与基于符号规则的系统结合,检查解剖学合理性,相当于在神经网络的原始感知之上构建「现实校验层」。
研究先驱:
* Ian Goodfellow,最早发现对抗样本的研究者