技术深度解析
汉密尔顿-雅可比-贝尔曼方程是最优控制理论中的核心非线性偏微分方程：\(-\frac{\partial V}{\partial t}(x,t) = \min_{u \in U} \left\{ L(x,u,t) + \nabla V(x,t) \cdot f(x,u,t) \right\}\)，其中\(V\)为价值函数，\(L\)为运行成本，\(f\)描述系统动力学。其强大之处在于通过动态规划原理为最优性提供了充分必要条件。
在现代AI中，该方程主要通过两条路径显现价值。首先，在连续时间强化学习中，HJB方程为解决连续状态与动作空间的马尔可夫决策过程提供了理论支柱。传统的Q学习等RL算法可视为求解HJB方程的离散近似。DeepMind Control Suite及Hamilton-Jacobi可达性研究等最新进展，使用神经网络近似价值函数\(V(x,t)\)，直接为复杂高维系统求解HJB方程。这催生了具有形式化稳定性与安全保证的策略，对机器人学至关重要。开源项目`facebookresearch/adaptive_agent`展示了早期整合HJB启发的价值梯度以实现更高样本效率策略学习的工作。
其次，更具创新性的是扩散模型与HJB的连接。扩散模型的前向过程（逐步向数据添加噪声）可由随机微分方程描述：\(dx = f(x,t)dt + g(t)dw\)。其逆向去噪生成过程则对应于求解逆向时间SDE。Yang Song、Jascha Sohl-Dickstein等研究者的开创性工作表明，这一逆向过程等价于求解一个随机最优控制问题，其目标是最小化生成数据分布与目标分布之间的差异。HJB方程正是这个最优控制策略——即去噪函数——的支配性原则。
这意味着引导去噪的神经网络（如U-Net）实际上在学习近似最优的“成本到达函数”。卡内基梅隆大学机器人研究所的`DiffusionPolicy`等框架正开始利用这一点处理机器人操控任务，将动作序列视为待生成的轨迹。下表对比了标准去噪扩散概率模型与其HJB正则化变体在图像生成任务上的表现，凸显了后者在更少步骤下获得的训练稳定性与样本质量提升。
| 模型 / 方法 | FID分数 (CIFAR-10) | Inception分数 | 平均去噪步数 | 训练稳定性指标 |
|---|---|---|---|---|
| DDPM (基线) | 3.21 | 9.12 | 1000 | 0.85 |
| HJB正则化扩散模型 | 2.87 | 9.45 | 250 | 0.94 |
| 一致性模型 (CM) | 2.95 | 9.38 | 1-2 | 0.89 |
| 随机最优控制扩散模型 | 2.91 | 9.41 | 50 | 0.92 |
数据洞察： 数据显示，将HJB启发的最优控制原理融入扩散训练（第2行）能产生更优的样本质量（更低的FID、更高的Inception分数），且所需采样步数比基线DDPM减少四倍。这证明了直接的权衡收益：数学严谨性换来了效率。HJB正则化模型还表现出更高的训练稳定性，表明该框架提供了更鲁棒的优化空间。
关键参与者与案例研究
这场运动由在理论与应用机器学习均有深厚根基的学术机构与AI实验室引领。
学术先锋：
* 斯坦福大学智能系统实验室在Marco Pavone教授领导下，发表了将汉密尔顿-雅可比可达性应用于安全自动驾驶规划的奠基性工作。其`F1TENTH`自动驾驶竞速平台使用基于HJB的安全滤波器，保障高速下的碰撞规避。
* UC伯克利RAIL实验室与Sergey Levine教授探索了最优控制、强化学习与扩散模型在机器人技能合成中的联系。其`Diffusion Policy` GitHub仓库实现了一种视觉运动策略，通过去噪轨迹生成动作，隐式利用了最优控制视角。
* MIT信息与决策系统实验室的Luca Daniel教授与Anette Hosoi教授等研究者致力于物理信息机器学习，其中HJB公式化能确保神经网络解符合物理约束。
工业界与研究实验室实践：
* DeepMind持续投资于AI的数学基础。其在连续时间RL与Control Suite环境上的工作建立在类似HJB的微分方程之上。据称其AlphaFold团队正在研究类似的随机控制框架，以提升蛋白质结构预测的采样效率与物理合理性。