技术深度解析
token定价问题的核心在于“token”究竟是什么这一根本性模糊。在自然语言处理中，token并非像千瓦时那样的固定单位。它因分词器、模型架构甚至具体部署配置而异。
分词器差异： OpenAI的GPT-4o使用字节对编码（BPE）分词器，对于英文文本，大约4个字符映射为1个token，但对于常见单词，这一比例可能是1:1，而对于罕见技术术语则可能达到10:1。Anthropic的Claude 3.5使用另一种BPE变体，词汇量更大，这意味着同一句话可能产生多15%或少15%的token。Google的Gemini采用SentencePiece分词器，处理多语言文本的方式不同。结果是：一篇1000词的英文文章在一个平台上可能花费750个token，在另一个平台上则需900个，但两者宣传的“每百万token价格”却相同。
缓存计费差异： 最不透明的领域是缓存定价。OpenAI等供应商对缓存token提供50%折扣，但缓存命中率取决于提示相似度和系统架构。Anthropic的缓存基于上下文窗口——如果对话历史超过阈值，整个历史都会被缓存。Google的缓存基于时间窗口。一家运行客服聊天机器人的企业，在一个供应商处可能看到60%的缓存命中率，在另一个供应商处则只有30%，这会极大地改变实际成本。广告中的基础价格几乎变得毫无意义。
上下文窗口成本嵌入： 一些供应商，尤其是那些提供128K或200K上下文窗口的供应商，将维护该窗口的成本嵌入到基础token价格中。其他供应商则单独对上下文token收费。对于一个使用32K上下文的典型RAG应用，根据上下文计费方式的不同，每次查询的有效成本可能相差40%。
智能体工作流中的隐形token： 这或许是最阴险的问题。在智能体系统（例如AutoGPT、基于LangChain的智能体）中，一个单一用户请求可能触发：1）一个规划步骤（50个token），2）一个工具调用（30个token），3）一次响应生成（200个token），4）一个自我修正循环（100个token），5）一次最终摘要生成（80个token）。对于看似一次查询，这总共是460个token。大多数定价表只显示最终响应的成本。隐形token可能使实际成本增加2到5倍。
GitHub仓库助力透明度： 开源社区正在响应。仓库`token-monitor`（增长迅速，目前拥有4.2k星标）提供了一个中间件层，可拦截API调用并记录跨供应商的实际token使用情况，揭示隐藏成本。另一个项目`pricing-bench`（2.1k星标）对跨供应商的真实工作负载进行基准测试，并发布每项任务的有效成本，而非每token成本。这些工具对于任何严肃的AI采购都至关重要。
数据表：Token定义差异
| 供应商 | 分词器类型 | 每1000英文单词平均Token数 | 缓存折扣模型 | 上下文窗口成本 |
|---|---|---|---|---|
| OpenAI GPT-4o | BPE (cl100k_base) | 750 | 精确提示匹配享50%折扣 | 包含在基础价格中 |
| Anthropic Claude 3.5 | BPE (更大词汇量) | 850 | 上下文窗口缓存享50%折扣 | 超过32K单独收费 |
| Google Gemini 1.5 | SentencePiece | 800 | 时间窗口缓存享30%折扣 | 包含在基础价格中 |
| Meta Llama 3.1 (通过API) | BPE (tiktoken) | 780 | 无缓存折扣 | 单独收费 |
| Mistral Large | BPE (sentencepiece) | 820 | 提示相似度享40%折扣 | 包含在基础价格中 |
数据要点： 一篇1000词的英文文章在不同供应商间的token数量差异可达13%。缓存折扣模型差异巨大，以至于同一工作负载的有效成本可能相差50%或更多。仅比较每百万token基础价格的企业，是在依据不完整的数据做决策。
关键玩家与案例研究
OpenAI 在主要玩家中拥有最透明的定价，但其缓存折扣仅限于精确提示匹配——这在生产环境中很少见。其GPT-4o的每token定价（输入$5.00/1M，输出$15.00/1M）很直接，但缺乏通用缓存折扣意味着提示变化大的企业每次请求都需支付全价。
Anthropic 采用了一种不同的方法，即基于上下文窗口的缓存。如果对话保持在同一个会话中，整个历史记录将以50%的折扣被缓存。这对于聊天应用来说非常出色，但会惩罚无状态微服务架构，因为在这种架构中每个请求都是独立的。其Claude 3.5 Sonnet定价（输入$3.00/1M，输出$15.00/1M）看似比GPT-4o便宜，但对于无状态工作负载，实际成本可能更高。
Google 引入了时间窗口缓存：任何在5分钟窗口内重复的提示可获得30%折扣。这有利于批处理，但对实时交互式应用帮助不大。其Gemini 1.5 Pro定价（输入$3.50/1M，输出$10.50/1M）具有竞争力，但缓存模型增加了复杂性。
Meta 通过其API提供Llama 3.1，目前不提供缓存折扣，这使其在需要大量重复提示的场景中成本较高。然而，其开源性质允许企业自行托管，从而完全规避API定价问题。对于拥有内部部署能力的企业来说，这可能是最具成本效益的选择，但需要权衡基础设施成本。
Mistral AI 凭借其Mistral Large模型，提供基于提示相似度的缓存折扣，在重复模式常见的工作负载中提供了灵活性。其定价（输入$2.00/1M，输出$12.00/1M）具有侵略性，但缓存折扣的透明度不如OpenAI或Anthropic。
编辑评论与行动呼吁
token定价的现状对AI行业构成了系统性风险。企业正在基于不完整、不一致的数据做出数百万美元的采购决策。供应商有动机使定价复杂化，以掩盖更高的有效成本并锁定客户。
我们呼吁：
1. 标准化token定义： 行业机构（如MLCommons或ISO）应建立跨供应商的token计量标准。就像千瓦时或千兆字节一样，token应成为一个可验证的、可比较的单位。
2. 强制缓存透明度： 供应商应披露缓存命中率、缓存失效策略以及缓存折扣的实际应用方式。企业应要求提供“有效每token成本”指标，该指标包含缓存和上下文窗口成本。
3. 智能体工作流审计： 对于任何涉及智能体工作流的部署，企业应要求提供完整的token使用日志，包括规划、工具调用和修正循环。供应商应提供工具来审计这些隐形token。
4. 开源基准测试： 应广泛采用`token-monitor`和`pricing-bench`等工具。企业应要求供应商参与公开基准测试，发布每任务成本而非每token成本。
5. 监管关注： 随着AI成为关键基础设施，token定价的透明度应成为监管问题。误导性的定价比较可能构成反竞争行为。
底线： 当前的token定价体系已经崩溃。它奖励的是混淆视听，而非效率。采用AI的企业必须要求透明度，否则将面临失控的成本。未来属于那些能够以可预测、可审计的方式衡量和管理AI消耗的组织。