技术深度解析
Calgacus-MLX项目实现了一种令牌级隐写术,利用了自回归语言模型的概率输出分布。其核心技术原理如下:
1. 上下文编码:发送者向LLM提供一个提示(例如,“写一封关于项目更新的简短邮件”)。
2. 令牌选择:对于生成文本中的每个位置,模型计算词汇表上的概率分布。发送者选择一个子集——通常是top-k或top-p候选——这些令牌在上下文中语义等价(例如,“progress”、“advancement”、“development”)。
3. 比特映射:秘密信息的二进制位被映射到这些候选令牌上。例如,比特'0'可能映射到“progress”,比特'1'映射到“advancement”。发送者强制模型输出与下一个比特对应的令牌。
4. 解码:接收者知道相同的映射,并使用相同的LLM,为每个令牌重新生成候选集,并从所选令牌中读取比特。
关键架构组件:
- Calgacus-MLX(GitHub: `calgacus/calgacus-mlx`)基于Apple的MLX框架构建,针对Apple Silicon优化。它使用一个小型LLM(例如,7B参数模型)的微调变体,并带有自定义解码循环,用隐写采样器替代了标准的贪婪/top-k采样。
- 该项目的GitHub仓库(近期已超过1,200颗星)包含一个`steg_sampler.py`模块,实现比特到令牌的映射,以及一个`steg_encoder.py`用于嵌入消息。
- 容量:该方法大约每生成一个令牌嵌入1比特。对于一封500令牌的邮件,这产生约62字节的隐藏数据——足以容纳一条短消息或加密密钥。
性能基准测试:
| 指标 | Calgacus-MLX (7B) | 传统LSB图像隐写术 | GPT-4o隐写术(理论值) |
|---|---|---|---|
| 嵌入速率 | ~1比特/令牌 | ~3比特/像素(24位图像) | ~1.5比特/令牌(估计) |
| 检测抵抗性 | 高(与正常LLM输出统计上不可区分) | 低(可检测到统计异常) | 非常高(如果使用相同模型) |
| 每100令牌延迟 | 2.3秒(M2 Ultra) | 0.1秒(CPU) | 5.1秒(API调用) |
| 载荷容量(500令牌) | 62.5字节 | ~2.3 MB(1080p图像) | 93.75字节 |
数据要点:虽然容量远低于基于图像的隐写术,但检测抵抗性显著更高,因为LLM生成的文本自然表现出与正常LLM输出相同的统计模式。对于电子邮件或聊天等实时应用,延迟权衡是可以接受的。
底层机制:该方法依赖于LLM输出分布的熵。高熵上下文(例如,创意写作)提供许多候选令牌,从而实现更高的嵌入速率。低熵上下文(例如,事实陈述)限制了选择,降低了容量。该项目包含一个`context_entropy_estimator.py`,根据提示的熵动态调整嵌入速率。
关键参与者与案例研究
主要参与者是Calgacus团队(匿名化名贡献者),他们于2025年初以MIT许可证发布了该项目。他们不隶属于任何主要AI实验室,将自己定位为专注于隐私工具的独立研究人员。
竞争方法:
| 解决方案 | 方法 | 优势 | 劣势 | GitHub星数 |
|---|---|---|---|---|
| Calgacus-MLX | 令牌级选择 | 高检测抵抗性,开源 | 低容量,需要相同LLM | ~1,200 |
| StegaLLM(Meta AI Research) | 使用隐写损失进行微调 | 更高容量,模型无关 | 需要重新训练,可被专门分类器检测 | ~800 |
| TextHide(学术) | 同义词替换 | 简单,无需LLM | 容易被基于NLP的隐写分析检测 | ~300 |
| GPT-Steg(社区) | 提示工程 | 无需代码更改 | 不可靠,低容量 | ~150 |
数据要点:Calgacus-MLX在检测抵抗性方面领先,因为它与LLM采样原生集成,但StegaLLM通过模型微调提供了更高容量。隐蔽性与载荷大小之间的权衡是核心设计张力。
案例研究:威权政权下的记者
一位假设的记者使用Calgacus-MLX将举报人文档哈希嵌入一篇关于园艺的公开博客文章中。该文章通过了审查过滤器,因为它读起来像正常的LLM生成内容。接收者使用相同的模型和共享密钥,提取哈希并验证文档。这展示了保护隐私的潜力。
案例研究:恶意软件C2信道
一个威胁行为者将命令与控制指令嵌入来自合法公司基于LLM的聊天机器人的自动客户服务回复中。隐藏的命令指示受感染的机器窃取数据。文本看起来像正常的支持响应,从而规避了网络监控工具。