技术深度解析
Google AI Edge Gallery 构建于分层架构之上，将模型部署在异构硬件上的复杂性进行了抽象。其核心是 MediaPipe Solutions，一个为常见 ML 任务提供预构建管道的框架。该画廊在此基础上进行了扩展，添加了一套精心策划的 TensorFlow Lite 模型，其中许多模型已通过训练后量化 (PTQ) 或量化感知训练 (QAT) 进行了量化，以减小模型大小并提高推理速度。
关键工程组件：
- 模型动物园： 该画廊包含用于分类的 MobileNetV3、用于目标检测的 YOLOX 以及用于文本生成的 Gemma 蒸馏版（2B 参数）等模型。这些模型以 `.tflite` 格式存储，该格式针对端侧执行进行了优化。
- 硬件委托： 该框架利用特定于硬件的委托——GPU 委托 (OpenCL/Metal)、NNAPI 委托 (Android) 和 Core ML 委托 (iOS)——来加速推理。该画廊提供了基准测试脚本，可自动为设备选择最佳委托。
- 性能分析： 每个演示都包含一个内置分析器，可报告延迟（毫秒）、内存使用情况（峰值和平均值）以及功耗（通过 Android BatteryManager API 估算）。这些数据对于开发者理解权衡至关重要。
来自画廊的基准测试数据（在 Pixel 8 Pro、Snapdragon 8 Gen 3 上测试）：
| 模型 | 任务 | 量化 | 延迟 (ms) | 峰值内存 (MB) | 模型大小 (MB) |
|---|---|---|---|---|---|
| MobileNetV3-Small | 图像分类 | INT8 | 12 | 45 | 4.2 |
| YOLOX-Nano | 目标检测 | FP16 | 28 | 120 | 8.5 |
| Gemma 2B (蒸馏版) | 文本生成 (1 token) | INT4 | 350 | 1800 | 1200 |
| Whisper Tiny | 语音转文字 | FP16 | 45 | 90 | 75 |
数据要点： 该表格揭示了一个明显的鸿沟：轻量级视觉模型延迟低于 50 毫秒且内存占用极小，使其适用于实时应用。然而，Gemma 2B 语言模型消耗 1.8GB 内存，每个 token 耗时 350 毫秒，对于当前手机上的交互式使用而言，这处于临界状态。这表明，虽然小型 LLM 可以在端侧运行，但对于对话式延迟来说尚不实用——仅适用于后台或批处理。
该画廊还引入了 WebGPU 支持，用于基于浏览器的推理，使用了 `@mediapipe/tasks-vision` 和 `@mediapipe/tasks-text` JavaScript 包。这是一个重大举措，因为它允许开发者直接在网页浏览器中运行模型，无需安装任何应用，尽管性能低于原生方案。
开源参考： 该画廊的代码完全在 GitHub 上可用（Google AI Edge Gallery，22k+ 星标）。开发者可以复刻该仓库，替换自定义模型，并运行相同的基准测试管道。该仓库包含一个 `model_converter` 脚本，该脚本使用 TensorFlow Lite Converter 来量化和优化自定义模型。
关键参与者与案例研究
Google 是主要推动者，但该画廊也突出了来自 MediaPipe（框架团队）、TensorFlow Lite（运行时团队）和 Google Research（提供 Gemma 模型）的贡献。该画廊是以下产品的直接竞争对手：
- Apple Core ML + Create ML： Apple 的生态系统更为封闭，但通过 Neural Engine 提供了更紧密的硬件集成。Apple 的端侧 LLM（Apple Intelligence）在 A17 Pro 和 M 系列芯片上运行，具有类似的延迟限制。
- Qualcomm AI Engine + SNPE： Qualcomm 为 Snapdragon 设备提供了一个模型动物园，但对独立开发者来说可访问性较低，并且需要专有 SDK。
- Hugging Face Optimum + ONNX Runtime： 开源社区一直在通过 ONNX 推动端侧推理，但缺乏同等水平的精心策划的演示。
端侧 AI 框架对比表：
| 特性 | Google AI Edge Gallery | Apple Core ML | Qualcomm SNPE | Hugging Face Optimum |
|---|---|---|---|---|
| 模型格式 | TFLite | .mlpackage | DLC | ONNX |
| 硬件支持 | Android, iOS, Web | iOS, macOS | Android (Snapdragon) | 跨平台 |
| LLM 支持 | Gemma 2B, Phi-2 | Apple Intelligence (3B) | Llama 2 7B (量化版) | Llama, Mistral 等 |
| 易用性 | 高（预构建演示） | 中等（需要 Xcode） | 低（专有工具） | 中等（以 Python 为中心） |
| 社区规模 | 22k+ 星标 (GitHub) | 大（Apple 开发者） | 小 | 非常大 (Hugging Face) |
数据要点： Google 的画廊在易用性和跨平台覆盖范围上胜出，但 Apple 的解决方案受益于定制芯片（Neural Engine），功耗更低。Qualcomm 的产品较为碎片化，而 Hugging Face 的方法更灵活，但需要更多手动优化。
案例研究：零售应用中的实时目标检测
一位开发者使用画廊的 YOLOX 演示构建了一个可离线工作的条码扫描器。画廊的基准测试显示，在一款中端小米设备（Snapdragon 778G）上，该模型实现了令人满意的实时性能，展示了该画廊在实际场景中的潜力。