技术深度解析
从基于相似性到基于课程规划的示例选择之技术转变，代表了多模态模型上下文学习流程的根本性重构。传统流程遵循简单的“检索-预测”模式：给定查询图像和问题，检索器（通常是冻结的CLIP模型）将两者嵌入到一个共享空间，在标注示例数据库中进行k-NN搜索，并将前k个最相似的示例作为上下文，输入给GPT-4V、LLaVA或Gemini等大型多模态模型。其关键缺陷在于，对于复杂推理任务，嵌入空间中的相似性与示例的教学价值关联甚微。
新范式引入了一个中间层——示例选择策略，它将选择k个示例视为一个序列决策问题。该策略不是独立地为每个示例打分，而是评估候选序列。形式化地说，给定查询q和候选示例集E，目标是选择一个有序序列S = (e₁, e₂, ..., eₖ)，使得LMM在处理S后，在q上的预期性能最大化。这通常被构建为一个马尔可夫决策过程：状态是当前的部分序列，动作是添加新示例，奖励是下游任务的准确率（或其代理指标）。
目前已涌现出多种算法方法。基于强化学习的方法，例如斯坦福大学“TeachSelect”框架所探索的，使用策略梯度方法训练一个轻量级的选择器网络。该选择器以查询和候选示例的嵌入向量为输入，输出选择概率，其奖励信号来自LMM在验证集上的表现。信息论方法则显式地建模添加示例所带来的信息增益，力求在最小化冗余的同时最大化对答案空间的覆盖。诸如多样性促进选择器等工具，使用行列式点过程来确保所选示例既相关又在特征表征上具有多样性。
一个关键的创新是可学习的检索嵌入的开发，其优化目标不是语义相似性，而是教学有效性。研究人员不再使用现成的CLIP嵌入，而是将嵌入模型与选择策略进行端到端联合训练，使得表征空间能够被专门“扭曲”，以支持最优教学。GitHub上的开源仓库`VISTA` (Visual Instruction Selection via Teaching Algorithms) 提供了一个模块化框架，用于实验这些方法，它实现了基于RL和基于多样性的选择器，并支持可插拔的骨干模型。该项目已获得超过1.2k星标，成为这一新兴研究社群的枢纽。
性能提升是显著的。在用于组合视觉推理的GQA基准测试中，一个基于课程规划的选择器仅使用4个示例就达到了62.1%的准确率，而k-NN选择方法的准确率为48.7%——相对提升了27%。效率提升更为惊人：课程规划方法通常仅用2-3个精心挑选的示例，就能达到k-NN使用8个示例时的性能。
| 选择方法 | 使用示例数 | VQAv2 准确率 | GQA 准确率 | 推理延迟 (ms) |
|---|---|---|---|---|
| CLIP k-NN (基线) | 8 | 68.3% | 48.7% | 120 |
| 多样性 (DPP) | 8 | 71.1% | 55.2% | 145 |
| 基于RL (TeachSelect) | 4 | 70.8% | 62.1% | 180 |
| Oracle (理论上限) | 8 | 75.4% | 66.9% | N/A |
数据启示： 表格揭示了一个清晰的权衡：更复杂的选择方法（基于RL）能用更少的示例实现显著更高的准确率，但会在选择过程中引入计算开销。在GQA上，用一半的示例实现27%的提升，证明了该范式的核心承诺：事半功倍。
关键参与者与案例研究
向教学式示例选择的转变，正由学术研究实验室和行业研发团队共同推动，各自有着不同的动机和方法。
学术先驱： 斯坦福大学的HAI（以人为本人工智能研究所） 通过Chelsea Finn教授领导的TeachSelect项目，在界定该问题上发挥了关键作用。他们的工作强调强化学习框架，并产出了一些最具说服力的基准测试。与此同时，MIT的CSAIL专注于信息论基础，为课程选择开发了关于覆盖率和收敛速度的形式化保证。研究员Antonio Torralba的团队探索了这些方法如何使模型对分布偏移更具鲁棒性。UC Berkeley的团队，包括Trevor Darrell和Alexei Efros，已将课程选择与自监督学习相结合，创建了能够从未标记视频数据中自举生成教学课程的系统。
行业实践： Google DeepMind一直在将类似概念低调地整合到Gemini的少样本能力中。