技术深度解析
这场变革的核心在于延迟分布形态的变化。在传统 CPS 设计中，最坏情况下的网络延迟是头号敌人。但现代网络，尤其是 5G URLLC 和 Time-Sensitive Networking（TSN），已大幅收紧了延迟分布的尾部。对于自动驾驶汽车中的关键控制回路，99.9 百分位延迟从 50 毫秒降至 10 毫秒，意味着从不可接受的安全风险变为可控风险。
模型分区策略： 关键不在于将整个模型发送到云端，而在于拆分。这通常在 DNN 的瓶颈层进行，此时特征图尺寸最小。本地设备运行前几层（"头部"），压缩中间特征向量并传输，云端运行剩余层（"尾部"）。与发送原始传感器数据相比，这可将带宽需求降低数个数量级。例如，一个 1080p 视频帧约 6 MB，而来自 ResNet-50 瓶颈层的中间特征向量可能仅为 100-200 KB。
动态调度算法： 真正的创新在于调度器。开源项目 "Neurosurgeon"（GitHub 上约 2.5k 星）率先提出了运行时分析器的概念，实时测量本地计算延迟、网络带宽和云端计算延迟，然后选择最优分区点。更先进的系统，如 密歇根大学实时计算实验室 正在开发的系统，使用强化学习根据当前能量预算和网络状况调整分区点甚至模型大小（通过早期退出）。
权衡基准测试：
| 场景 | 纯本地延迟 (ms) | 纯云端延迟 (ms) | 混合（最优分区）延迟 (ms) | 能耗节省（混合 vs 本地） |
|---|---|---|---|---|
| 自动驾驶汽车（摄像头） | 25 | 40 (5G) | 18 | 35% |
| 工业机械臂（接近传感器） | 15 | 30 (WiFi 6) | 12 | 40% |
| 无人机（目标检测） | 50 | 55 (4G LTE) | 35 | 55% |
| 智能摄像头（人脸识别） | 100 | 120 (WiFi 5) | 70 | 60% |
*数据要点：混合架构在延迟上持续优于纯本地和纯云端方案，同时带来显著的能耗节省。在无人机和智能摄像头等能量受限设备上，优势最为明显。*
早期退出的作用： 另一项强大技术是使用早期退出网络（例如 BranchyNet、DeeBERT）。这些模型在不同深度设有多个分类头。在网络状况良好时，完整模型在云端运行；在网络状况不佳时，本地设备可以提前退出，以较低精度但更快的速度做出预测。这提供了一种对安全性至关重要的优雅降级机制。
关键玩家与案例研究
特斯拉的做法： 特斯拉历来是自动驾驶领域纯本地推理的最强倡导者，使用其定制的 FSD 芯片。然而，近期的专利文件和技术演讲表明，他们正在探索一种混合方法，用于路线规划和地图更新等非安全关键任务，将这些任务卸载到云端模型，同时将控制回路保留在本地。这是一种务实的承认：即使是最强大的车载计算也有其极限。
NVIDIA 的 Drive AGX 平台： NVIDIA 正将其 Drive AGX 平台定位为混合系统的编排者。该平台包含专用的深度学习加速器（DLA）用于本地推理，同时与 NVIDIA 基于云的仿真和训练基础设施紧密集成。关键洞察在于：同一模型可以以量化形式部署在边缘，以全精度形式部署在云端，从而实现无缝故障切换。
Amazon Web Services（AWS）IoT Greengrass： AWS 提供了一个成熟的混合推理框架。Greengrass 允许开发者将模型部署到边缘设备，在本地运行推理，然后异步将数据发送到云端进行模型再训练或更复杂的分析。最新增加的“预测性数据路由”功能使用轻量级本地模型来判断数据样本是否异常到需要云端处理，从而大幅降低带宽成本。
开源生态系统： GitHub 上的 "Open Edge Inference" 项目（约 4k 星）提供了一个标准化的 API，用于跨异构设备进行动态模型分区。它支持 TensorFlow Lite、ONNX Runtime 和 PyTorch Mobile，并包含一个网络感知调度器。
| 平台 | 本地推理硬件 | 云端集成 | 动态分区 | 延迟保证 |
|---|---|---|---|---|
| Tesla FSD | 定制 SoC（144 TOPS） | 专有云 | 有限（非关键任务） | 硬实时（本地） |
| NVIDIA Drive AGX | Orin/Thor（254-2000 TOPS） | NVIDIA DGX Cloud | 是（通过 DLA） | 软实时（混合） |
| AWS IoT Greengrass | 任意 ARM/x86 | AWS SageMaker | 是（预测性数据路由） | 尽力而为 |