技术深度解析
`bertleq/marketing-mix-modelling-causaltransformer` 项目直接改编自 Valentyn1997 在其论文和 GitHub 仓库中提出的 Causal Transformer 架构。原始的 Causal Transformer 旨在估计时间序列中的个体处理效应（ITE），特别是在医疗场景中，你拥有一系列患者协变量、一个治疗分配和一个结果。其核心思想是使用一个 Transformer 编码器来学习整个历史的表征，该表征既能预测结果，又能相对于治疗分配保持平衡。
架构概览：
1. 输入嵌入： 模型接收多模态输入——连续特征（例如，广告支出、温度）、分类特征（例如，星期几、活动类型）和时间特征（例如，周索引）。这些特征被嵌入到一个统一的向量空间中。与标准 Transformer 的关键区别在于，模型还将治疗分配（例如，高支出 vs. 低支出）编码为一个单独的 token 或作为输入序列的一部分。
2. Transformer 编码器： 一个带有多头自注意力的标准 Transformer 编码器处理嵌入后的时间步序列。注意力机制允许模型学习长期依赖关系，例如电视广告活动对两周后网站流量的延迟影响。这是相对于传统 MMM 方法的一个显著优势，传统方法通常假设一个固定的 carryover 效应（例如，广告库存模型）。
3. 因果平衡： 这是关键的创新点。该模型包含一个领域对抗训练组件或一个正则化项，鼓励学习到的表征在处理组和对照组之间（或在不同支出水平之间）保持平衡。目标是最大限度地减少困扰观测数据的混杂偏差。在营销中，这意味着模型试图学习如果你在一个渠道上花了更多钱会发生什么，即使现实中你只在销售额已经上升时才增加支出。
4. 输出头： 一个最终的前馈网络，根据平衡的表征和实际处理，预测每个时间步的结果（例如，销售额、转化率）。
与传统 MMM 的对比：
| 特征 | 传统 MMM（例如，BSTS, Lightweight MMM） | Causal Transformer 方法 |
|---|---|---|
| 核心假设 | 线性或对数线性响应，预设的广告库存衰减 | 非线性响应，学习到的时序依赖关系 |
| 因果推断 | 依赖贝叶斯先验和结构性假设 | 通过对抗训练显式学习平衡表征 |
| 处理多模态性 | 需要手动特征工程（例如，创建交互项） | 通过嵌入自然处理异构输入 |
| 可解释性 | 高：系数和分解图直观易懂 | 低：注意力权重提供一些洞察，但整体上是黑箱 |
| 数据需求 | 适用于 50-100+ 周的周度数据 | 可能需要更多数据（100+ 周）和清晰的处理变化 |
| 计算成本 | 低（可在笔记本电脑上运行） | 高（需要 GPU 进行训练） |
| 成熟度 | 生产就绪，拥有多个库 | 研究原型（0 星，无文档） |
数据要点： Causal Transformer 提供了卓越的灵活性和更准确因果估计的潜力，但代价是可解释性、数据需求和成熟度。对于当今大多数营销团队来说，这种权衡并不值得。
开源背景： Valentyn1997 的原始 CausalTransformer 仓库大约有 50 颗星，显然是一个研究项目。`bertleq` 的分支所做的改动很小——主要是重命名变量和添加多模态输入的占位符。核心代码基于 PyTorch，并依赖 `dragonn` 库进行对抗训练，而 `dragonn` 本身就是一个 niche 包。这意味着任何采用者都需要调试依赖关系，并且很可能需要编写大量自定义代码。
关键参与者与案例研究
该项目位于两个社区的交汇处：学术因果推断研究人员和营销分析从业者。关键参与者不是商业实体，而是奠定基础的研究人员和开源维护者。
关键研究人员和项目：
- Valentyn1997（原始 CausalTransformer 作者）： 他们的工作建立在更广泛的因果深度学习文献之上，包括 Fredrik Johansson、Uri Shalit 和 David Sontag 等人的工作（例如，“反事实回归”论文）。对抗性平衡技术受到“领域对抗神经网络”（DANN）方法的启发。
- Google 的 Lightweight MMM： 这是当前开源 MMM 的黄金标准。它使用带有广告库存转换和饱和效应的贝叶斯分层模型。它文档完善，社区庞大，并被许多企业使用。