技术深度解析
代币,其核心是AI处理的一种计量单位。在基于Transformer的模型中,文本被分解为子词代币(例如BPE分词),图像被分割为补丁,音频被切分为频谱图片段。每个代币代表模型处理所需的固定计算成本。这一技术现实已被抽象为定价单位:1代币 ≈ 每百万代币输入和输出仅需几美分。
然而,技术架构正在演变。混合专家模型(MoE)的兴起,如Mixtral 8x7B,引入了每个代币的可变计算量,挑战了固定费率定价。一些初创公司,如Together AI,正在尝试基于实时GPU利用率的动态代币定价。在开源领域,vLLM仓库(GitHub上超过30k星标)实现了PagedAttention,大幅减少了代币生成过程中的内存浪费,从而降低了每代币成本。另一个关键项目是llama.cpp(超过70k星标),它允许在消费级硬件上运行大型模型,有效降低了代币生成的门槛。
上下文窗口是另一个关键因素。像Gemini 1.5 Pro(200万代币上下文)和GPT-4 Turbo(128k代币)这样的模型意味着,单次交互可能仅上下文就消耗数千代币。这改变了经济模式:长上下文任务变得昂贵,但也催生了新用例,如处理整个代码库或书籍长度的文档。代币成为一种稀缺资源,高效的代币管理成为竞争优势。
代理系统引入了一个新层面。像AutoGPT、BabyAGI和微软的Copilot这样的代理,自主地链式调用多个模型,每次调用都消耗代币。LangChain框架(超过100k星标)提供了代理编排工具,但每次工具调用、记忆检索和中间推理步骤都会消耗代币。这产生了一个新问题:代币债务,即如果优化不当,代理的运营成本可能失控。
| 代币定价对比(每百万代币) | 模型 | 输入成本 | 输出成本 | 上下文窗口 |
|---|---|---|---|---|
| GPT-4o | $5.00 | $15.00 | 128k |
| Claude 3.5 Sonnet | $3.00 | $15.00 | 200k |
| Gemini 1.5 Pro | $3.50 | $10.50 | 2M |
| Llama 3 70B(通过Together AI) | $0.90 | $0.90 | 8k |
| DeepSeek-V2 | $0.14 | $0.28 | 128k |
数据要点: 开源模型和中国模型在成本上比专有领导者低10-30倍,使代币访问民主化。这种价格压力迫使专有提供商在增值功能上创新,如更长的上下文或更好的推理能力,而不是在原始代币成本上竞争。
关键参与者与案例研究
代币经济正由基础设施提供商、模型创建者和应用构建者共同塑造。
OpenAI在2020年通过GPT-3开创了按代币定价的模式。其API定价已成为事实上的标准。然而,他们也在尝试基于代币的访问层级(例如ChatGPT Plus vs. Pro vs. Team),有效创建了一个多层代币经济,其中更高层级获得优先访问权和更大的上下文窗口。这是一个经典的平台策略:控制代币供应以提取最大价值。
Anthropic以安全性和更长上下文为重点进行差异化竞争。他们的Claude模型定价具有竞争力,但强调宪法AI——这一功能增加了安全检查的代币开销。这创造了一个权衡:更安全的模型每代币成本更高。Anthropic押注企业愿意为降低风险支付溢价。
Google DeepMind通过Gemini采取了不同方法。通过以相对较低的价格提供200万代币的上下文窗口,他们将长上下文处理商品化。这迫使竞争对手要么匹配,要么失去长文档市场。Google的策略似乎是:让代币变得便宜,推动采用,然后通过生态系统锁定(例如Google Workspace集成)实现盈利。
像Together AI、Fireworks AI和Replicate这样的初创公司正在构建市场,用户可以在其中租用各种开源模型的代币生成。这些平台引入了代币可互换性——一个模型的代币与另一个不同,但它们可以以共同单位(例如每百万代币的美元)定价。这创造了一个竞争性市场,推动价格下降。
代理经济是最有趣的实验发生地。Fetch.ai(一个区块链项目)构建了一个去中心化网络,AI代理在其中用代币交易数据访问或计算等服务。他们的uAgent框架允许代理自主协商和结算交易。类似地,Bittensor(TAO代币)创建了一个机器智能的点对点市场,矿工通过提供模型输出赚取代币。这些项目试图创建一个去中心化的代币经济,绕过中心化的API提供商。
| 平台 | 代币模型 | 关键差异化 |
|---|---|---|
| OpenAI | 按代币定价 + 层级订阅 | 事实标准,生态系统锁定 |
| Anthropic | 按代币定价,安全溢价 | 宪法AI,企业信任 |
| Google DeepMind | 低成本长上下文 | 商品化策略,Workspace集成 |
| Together AI | 开源模型市场 | 动态定价,模型多样性 |
| Fetch.ai | 代理间代币交易 | 去中心化,自主结算 |
| Bittensor | 点对点智能市场 | 挖矿激励,去中心化推理 |