技术深度剖析
该实验的核心技术见解看似简单：AI 代码生成的质量受限于规范的质量。该团队为一个基于 Rust 的分布式系统项目工作，最初将 AI 视为“智能自动补全”。他们会用自然语言描述一个功能——“实现一个带有 LRU 淘汰机制的线程安全缓存”——然后让模型生成代码。结果好坏参半：代码能编译通过，通过基本测试，但暴露出微妙的架构问题：锁粒度不正确、`Arc` 与 `Rc` 使用不当、以及在边界情况下违反 Rust 的借用规则。
突破来自于团队采用基于设计契约原则的轻量级契约系统来形式化规范。在生成任何代码之前，他们会先编写：
```rust
/// 前置条件：`capacity > 0`
/// 后置条件：`self.len() <= capacity`
/// 不变式：所有条目的 `last_access` <= 当前时间
fn insert(&mut self, key: K, value: V) -> Option<V>
```
这些契约不仅仅是注释——它们是使用 `contracts` crate（一个用于设计契约的 Rust 库，目前在 GitHub 上约有 2,500 颗星）编写的可执行断言。当 AI 被这些正式规范提示时，生成的代码逻辑错误减少了 73%，不安全代码块减少了 41%。团队还尝试了 `specr` 语言（一个 Rust 规范语言，约 800 颗星），它允许使用 SMT 求解器对 Rust 代码进行形式化验证。虽然对于大型代码库，完整的形式化验证在计算上仍然昂贵，但即使是部分规范也显著改善了 AI 的输出。
| 规范方法 | 错误率（每 1000 行代码） | 不安全代码块 | 测试通过率（首次运行） |
|---|---|---|---|
| 自然语言提示 | 12.4 | 8.2 | 67% |
| 非正式注释 | 8.1 | 5.7 | 74% |
| 正式契约（前置/后置） | 3.3 | 2.1 | 91% |
| 完整形式化规范（specr） | 1.8 | 0.9 | 96% |
数据要点： 从自然语言转向正式契约使错误减少了 73%，并几乎消除了不安全代码。完整形式化验证带来的边际收益（1.8 vs 3.3 错误）可能对大多数项目来说不值得额外开销，但从非正式契约到正式契约的飞跃是变革性的。
团队还发现，AI 生成地道 Rust 代码的能力随着结构化规范的引入而显著提升。Rust 的所有权模型在编译时强制内存安全，这为 AI 创造了一种天然的“规范语言”。当团队将所有权约束嵌入到契约中时——例如，“此函数获取 `data` 的所有权，并返回一个生命周期为 `'a` 的引用”——AI 生成的代码在首次尝试时编译通过率达到 89%，而没有此类约束时仅为 52%。
关键参与者与案例研究
这项实验是向规范驱动 AI 编程的更广泛运动的一部分。几个关键参与者正在塑造这一领域：
Anthropic 的 Claude 一直处于“宪法 AI”的前沿，它使用一套指导原则来约束模型行为。在编码上下文中，这转化为能够遵循详细风格指南和架构规则的模型。团队报告称，Claude 3.5 Sonnet 在给定结构化规范时表现最佳，在契约遵守指标上比 GPT-4o 高出 18%。
GitHub Copilot 一直在尝试“工作区级别”的理解，但团队发现，随着代码库增长到超过 10,000 行，Copilot 的建议质量会下降。缺乏明确的契约执行意味着 Copilot 偶尔会建议违反项目架构不变式的模式。
Amazon 的 CodeWhisperer（现为 Amazon Q Developer）在安全导向的代码生成上投入了大量资源，但团队发现其对 Rust 的支持滞后，尤其是在异步 Rust 模式方面。
开源工具 正在涌现以弥合规范差距。`specr` 语言由苏黎世联邦理工学院的研究人员开发，允许 Rust 开发者编写可通过 SMT 求解器验证的形式化规范。`kani` 模型检查器（AWS，约 3,000 颗星）对 Rust 代码执行符号验证，捕捉传统测试遗漏的错误。团队将 `kani` 集成到他们的 CI 流水线中，发现它捕捉到了 23% 通过了所有单元测试的错误。
| 工具 | GitHub 星数 | 关键特性 | Rust 支持 | 契约执行 |
|---|---|---|---|---|
| contracts crate | ~2,500 | 运行时契约检查 | 完整 | 运行时断言 |
| specr | ~800 | 形式化验证语言 | 完整 | 基于 SMT 的验证 |
| kani | ~3,000 | 符号模型检查器 | 完整 | 自动化验证 |
| GitHub Copilot | N/A（专有） | AI 代码补全 | 部分 | 无（基于提示） |
| Claude 3.5 Sonnet | N/A（专有） | AI 代码生成 | 完整 | 基于提示 |
数据要点： Rust 中形式化规范的开源生态系统仍处于早期阶段，但 `contracts` crate 和 `specr` 等工具已经显示出显著的收益。对于大多数团队来说，从自然语言转向正式契约是投资回报率最高的举措。