技术深度解析
实现低于10MB的功能性语言模型，其突破性进展依赖于三个相互关联的支柱：极端量化、新型训练范式以及为推理优化的运行时架构。
架构与算法： 最为激进的方法体现在由马树铭、韦福如等研究者开创的 BitNet 范式中。BitNet b1.58 使用 三元权重 {-1, 0, +1}，每个参数仅需约1.6比特存储。其训练过程根本不同：并非先训练全精度模型再量化（训练后量化），而是使用 直通估计器（STEs） 从头开始训练。前向传播使用低比特权重和激活值，但在反向传播期间，STE允许梯度流经不可微的量化函数，仿佛该函数是恒等函数一样，从而更新一个全精度的潜在权重，随后该权重被重新量化。这种端到端的低比特训练使模型的学习目标直接与其量化推理状态对齐，避免了在激进量化的传统模型中常见的显著精度下降。
工程与运行时： 执行引擎同样至关重要。由于权重是整数，Transformer的核心计算内核——矩阵乘法——便退化为整数加法和位计数操作。这使得可以使用高效的 二值/三元矩阵乘法内核，并能够用纯JavaScript在浏览器中实现。像具有WebGL和WebGPU后端的 `TensorFlow.js`，以及近期增加了WASM（WebAssembly）和WebGPU支持的 `llama.cpp` 等项目，提供了基础架构。一个为二值模型量身定制的运行时，例如假设的 `BinRT`，将剥离所有浮点逻辑，进一步减小其占用空间。
性能基准测试： 性能指标上的权衡是清晰的。虽然这些模型无法匹配700亿参数模型的推理深度，但它们在其约束范围内实现了显著的实用性。
| 模型 | 规模（参数） | 权重比特数 | 内存占用 | MMLU分数（5-shot） | 推理速度（CPU上 Tokens/秒） |
|---|---|---|---|---|---|
| BitNet b1.58 (3B) | 30亿 | ~1.6 | ~0.6 GB | 42.8 | ~120 |
| FP16 Llama 7B | 70亿 | 16 | ~14 GB | 45.3 | ~15 |
| 二值权重LM（目标） | ~4000万 | 1-2 | ~7 MB | ~35（常识任务估计） | >1000 |
| GPT-4 | ~1.7万亿 | 16 | N/A | 86.4 | N/A（云端） |
数据要点： 与能力相似的FP16模型相比，二值权重模型实现了超过200倍的内存占用减少，同时推理速度提升了一个数量级。精度损失虽然明显，但对于许多目标应用而言仍处于功能可用范围，从而创造了远胜以往的“每字节性能”表现。
相关代码库：
- `microsoft/BitNet`：BitNet研究的官方代码库，包含1比特和三元模型的训练代码与模型架构。已获得超过2.5k星标，显示出研究社区的浓厚兴趣。
- `ggerganov/llama.cpp`：虽然并非专为二值模型设计，但其对CPU上整数量化的不懈优化及其WASM构建目标，使其成为一个关键的支持平台。其近期集成的WebGPU支持，是迈向高效浏览器推理的直接一步。
- `google/mediapipe`：谷歌的跨平台ML管道框架，日益聚焦于 “设备即服务” 模型，包括用于设备端任务的超小型模型，提供了一个可用于生产环境的部署蓝图。
关键参与者与案例研究
争夺边缘AI运行时主导权的竞赛正在升温，策略在开源民主化与生态系统锁定之间分化。
微软： 通过其研究部门，微软凭借BitNet成为知识领袖。其与 Azure AI 和 Windows Copilot Runtime 的战略协同是清晰的。微软可以将超高效模型作为Windows底层的一部分部署，在每台PC上实现系统级智能，甚至离线运行。其 Phi系列 小型语言模型（SLMs）也展示了另一条并行路径：打造高质量、数据高效的模型，这些模型是进行二值压缩的绝佳候选者。
谷歌： 谷歌的方法是多方面的。Gemini Nano，其Gemini模型的设备端变体，便是这一理念的直接产物，尽管目前规模较大（约18亿参数，需要数GB内存）。其对 TensorFlow Lite for Microcontrollers 和 Chrome内置ML能力（通过 `ML` API）的深度投入，使其成为浏览器AI的守门人。谷歌的优势在于从研究（例如 Prune, Quantize, Distill 技术）到在数十亿Chrome实例中部署的垂直整合。
初创公司与研究实验室：
- Replicate / OctoAI： 虽然目前以云为中心，但这些公司提供的模型优化与部署平台，很可能迅速集成对超小型浏览器模型的托管与分发服务，降低开发者的采用门槛。
- Hugging Face： 作为开源AI模型的事实中心，Hugging Face的生态系统对于二值权重模型的传播至关重要。其 `transformers` 库对量化模型的支持，以及潜在的专用 `bitsandbytes` 集成，将加速社区实验与采用。
- 学术实验室： 斯坦福、MIT、伯克利等机构的研究人员持续在边缘高效AI领域探索前沿，例如神经架构搜索（NAS）与二值训练的交叉，可能催生更高效的混合精度架构。
未来展望与挑战
尽管前景广阔，挑战依然存在。二值模型的表达能力上限、在复杂推理或多轮对话任务上的性能，以及如何有效训练这些模型（需要大量调整训练策略和超参数）都是待解难题。此外，建立一个围绕超高效模型的健壮工具链、优化编译器以及跨平台标准化运行时，对于广泛采用至关重要。
然而，趋势已不可逆转。随着硬件向更节能的设计发展，软件也必须适应。7MB的浏览器AI模型不仅仅是一个技术奇观；它预示着计算本质的转变：智能将变得无处不在、即时可用且本质上私密，最终实现“智能即功能”的愿景，如同今天的算术或图形渲染一样，成为计算设备的基础能力。