技术深度解析
Sangam的架构是垂直领域LLM部署的典范。团队没有追求通用智能，而是针对一个狭窄但高价值的任务进行了优化：跨越2000年语言鸿沟的语义搜索。
核心管道：
1. 查询理解： 一个轻量级、微调的BERT模型（Sangam-BERT）对用户意图进行分类：事实查询、文学分析、历史背景或比较研究。
2. 密集检索： 一个专门的嵌入模型（Sangam-Embed-v1）将现代查询和古泰米尔诗句映射到一个共享的768维向量空间。该模型在由专家语言学家创建的5万对现代-古泰米尔语句平行语料库上训练。训练使用对比损失函数，最大化匹配对之间的余弦相似度，同时最小化非匹配对的相似度。
3. 重排序： 检索到的前20句诗句通过一个基于XLM-RoBERTa的交叉编码器重排序器，更精确地评分相关性。这一步将精度提高了15%。
4. 生成： 一个微调的7B参数Llama 3模型（Sangam-Llama）接收前3句诗句和原始查询，生成多段落的回复。该模型在包含1万条专家撰写的解释的数据集上进行指令微调，涵盖文学手法（如*ullurai uvamam*——暗喻）、历史背景（五种*tinai*景观）和哲学主题。
解决的关键技术挑战：
- 形态丰富性： 古桑甘泰米尔语具有与现代泰米尔语截然不同的黏着形态。团队使用了专门在Sangam语料库上训练的SentencePiece子词分词器，词汇量为3.2万个token。
- 语义漂移： 像*anbu*（爱）这样的词在Sangam语境中指的是特定的战士之爱准则，而非现代浪漫爱情。嵌入模型经过微调以捕捉这些语境变化。
- 低资源： 整个Sangam语料库只有约150万词。团队使用了数据增强技术：通过现代泰米尔语进行回译，以及使用GPT-4生成合成查询以创建多样化的提问形式。
基准性能：
| 模型 | 诗句检索准确率（Top-5） | 解释相关性（人工评分1-5） | 延迟（秒） |
|---|---|---|---|
| Sangam管道 | 92.3% | 4.6 | 2.1 |
| 通用多语言E5 | 68.1% | 2.9 | 1.8 |
| GPT-4o（零样本） | 45.7% | 3.8 | 8.4 |
| Claude 3.5（零样本） | 51.2% | 3.5 | 7.9 |
数据要点： 专门的管道在检索准确率和解释质量上大幅超越通用模型，尽管只使用了极少的算力。这证明对于特定领域的文化遗产任务，微调的小模型胜过庞大的通用模型。
团队已在GitHub上开源了Sangam-Embed-v1模型和训练数据集（仓库：`sangam-embed`，截至2025年6月获得2300颗星）。由于Llama 3基础模型的许可问题，生成模型仍为专有。
关键参与者与案例研究
Sangam项目由印度理工学院马德拉斯分校的计算语言学家Meenakshi Sundaram博士领导，与泰米尔虚拟学院合作。核心团队包括4位达罗毗荼语言学博士和3位机器学习工程师。
竞争方法：
| 项目 | 语言 | 方法 | 状态 | 关键局限 |
|---|---|---|---|---|
| Sangam | 古桑甘泰米尔语 | RAG + 微调LLM | 已上线（2025年6月） | 仅限于诗歌；无散文 |
| Perseus数字图书馆 | 古希腊语/拉丁语 | 关键词搜索 + 手动注释 | 自1987年起活跃 | 无语义理解；无LLM生成 |
| 中国古籍项目 | 古汉语 | N-gram + 字典查询 | 活跃 | 无上下文解释；无现代查询界面 |
| 梵语AI（Google） | 梵语 | 神经机器翻译 | 研究阶段 | 侧重于翻译，而非交互式查询 |
数据要点： Sangam是首个将语义检索与LLM驱动的上下文解释相结合的古语言项目。其最接近的竞争对手Perseus拥有40年数据，但没有AI层。
案例研究：'Kurinji'查询
一位用户提问：“Sangam诗歌对山中之爱有何描述？”系统检索了来自*Kurinji*景观（山区）的诗句，并解释了*tinai*系统——古泰米尔人如何根据地理环境对爱情进行分类。回复包括诗句“*Kurinji是结合之地……*”，并解释了山中之爱与秘密约会及*Kurinji*花的芬芳相关。这种上下文深度是传统搜索无法实现的。
行业影响与市场动态
Sangam项目预示着一个新市场的到来：文化遗产AI。据行业估计，这一细分市场预计将从2024年的12亿美元增长到2030年的87亿美元（年复合增长率39%）。
市场细分：
| 细分领域 | 2024年价值 | 2030年价值 |
|---|---|---|
| 文化遗产AI | 12亿美元 | 87亿美元 |