技术深度解析
SPLICE 的架构堪称模块化设计的典范,它将三种各自强大的技术无缝整合成一个连贯的流水线。第一阶段是 JEPA(联合嵌入预测架构) 编码器。与逐像素重建输入的传统自编码器不同,JEPA 通过从可见补丁的嵌入预测被遮蔽补丁的嵌入来学习表示。这一过程在潜在空间中进行,迫使模型捕捉高层级的时间依赖关系——例如日周期性、趋势成分和突然的状态切换——而不会被低层噪声干扰。JEPA 编码器在完整的时间序列片段上进行训练,学习从原始序列到紧凑潜在向量的映射。其关键优势在于鲁棒性:JEPA 的预测目标在训练期间天然地处理了缺失数据,而潜在空间则充当了底层动态的压缩、去噪表示。
第二阶段是潜在扩散模型。SPLICE 并未在高维的原始时间序列空间中进行扩散(这计算成本高昂且容易模式崩溃),而是将前向和反向扩散过程完全在 JEPA 学到的潜在空间内执行。前向过程逐步向缺失片段的潜在表示添加高斯噪声。反向过程由一个基于 U-Net 或 Transformer 的去噪器参数化,学习从带噪的潜在表示中恢复干净的潜在表示,并以观测上下文的潜在表示为条件。这种条件生成正是产生插补值的关键。潜在扩散方法继承了扩散模型的多样性和高保真生成能力,同时将计算开销控制在可管理范围内。该模型在大量完整时间序列片段语料库上进行训练,学习潜在轨迹的分布。
第三阶段,也是最具创新性的阶段,是共形预测(CP)封装器。共形预测是一种无分布假设的框架,提供有限样本的覆盖保证。给定一个训练好的插补模型和一个带有缺失值的新时间序列,SPLICE 通过使用不同的噪声种子多次运行潜在扩散模型,生成一组候选插补值。每个候选值都会为给定的缺失点产生一个不同的插补值。然后,CP 模块使用一个保留的校准集(与测试数据可交换)来计算非一致性分数——例如,插补值与真实值的绝对偏差。基于这些分数的分位数,它为每个新的插补值构建一个预测区间。其保证是:真实值至少有 1-α 的概率(例如 90%)落在这个区间内。这一结论对任何有限样本量和任何底层数据分布都成立,使其成为处理几乎从不遵循整洁高斯分布的真实世界电网数据的理想选择。
一个关键特性是在线自适应。随着新数据点的到来(例如,新一小时的负荷测量值),校准集可以通过滑动窗口进行更新,并重新计算共形区间。这使得系统能够在模型表现良好时收紧区间,在数据分布发生偏移时(例如,热浪期间)放宽区间。与扩散采样相比,CP 步骤的计算开销可以忽略不计。
| 组件 | 功能 | 关键特性 | 示例实现 |
|---|---|---|---|
| JEPA 编码器 | 学习鲁棒的潜在表示 | 预测被遮蔽补丁的嵌入 | 适用于一维时间序列的 Vision Transformer (ViT) 骨干网络 |
| 潜在扩散 | 生成合理的潜在补全 | 潜在空间中的条件去噪 | 带 U-Net 的 DDPM;约 100 步去噪 |
| 共形预测 | 为插补值包裹置信区间 | 无分布假设,有限样本覆盖 | 基于绝对残差非一致性分数的分割共形预测 |
数据要点: 模块化意味着每个组件都可以独立改进。例如,将 U-Net 替换为扩散 Transformer (DiT) 可以提升生成质量,而使用自适应共形预测 (ACP) 则可以增强在线覆盖的稳定性。
关键参与者与案例研究
SPLICE 是一项研究贡献,但其谱系直接追溯到几个关键参与者和先前工作。JEPA 组件受 Yann LeCun 对自监督学习的愿景启发,最初应用于图像和视频。将其适配到时间序列是更广泛趋势的一部分:像 Gretel.ai 和 Mostly AI 这样的公司已经将合成时间序列生成商业化,但它们缺乏不确定性量化。潜在扩散骨干网络借鉴了扩散模型在图像生成领域的爆发式发展(Stability AI、OpenAI 的 DALL-E 3),以及最近由 Google Research(例如 Time-Diffusion)和 Amazon Web Services(GluonTS)等团队将其应用于时间序列的研究。