在过去几十年中，随着统计学和机器学习技术的发展，人们提出了许多用于时间序列预测的方法。这些方法虽然在一定程度上提高了预测的准确性，但在面对大规模、复杂且异质性强的时间序列数据时，仍然存在时间序列预测中的非确定性和深度模型的局限。
为了解决这个问题，来自清华大学研究团队提出了Sundial，一系列原生、灵活且可扩展的时间序列基础模型。该文章已中稿ICML 2025 Oral。
背景
现有方法在面对大规模、复杂且异质性强的时间序列数据时，仍然存在明显的局限性。
首先，传统的统计方法通常需要对数据进行严格的假设，如平稳性、正态分布等，这在实际应用中往往难以满足。而深度学习模型虽然能够自动学习数据中的复杂模式，但需要大量的标注数据进行训练，并且在面对分布外的数据时泛化能力较差。
此外，大多数现有的时间序列预测模型都是确定性的，只能给出单一的预测结果，无法提供预测结果的不确定性估计，这对于需要进行风险评估和决策支持的应用场景来说是远远不够的。
图1 原生时序模型在连续词元上学习表示。灵活的基础模型在没有确定先验分布的情况下进行预训练。Sundial是第一系列原生且灵活的时序基础模型
随着大数据时代的到来，时间序列数据呈现出爆炸式增长的态势。如何从海量的时间序列数据中挖掘出有价值的信息，并构建出具有强大泛化能力和预测准确性的模型，成为当前时间序列预测领域亟待解决的问题。Sundial模型正是在这样的背景下应运而生，它旨在通过创新的建模方法和大规模数据预训练，为时间序列预测带来新的突破。
Sundial
Sundial，设计了基于流匹配的 TimeFlow Loss，利用增强的Transformer架构，并在精心构建的TimeBench上预训练的一系列高度可扩展的基础模型。其整体框架如图2所示。
图2 Sundial 框架图
时间流损失（TimeFlow Loss）
与传统的基于离散标记化的方法不同，TimeFlow Loss允许直接在连续的时间序列数据上进行预训练，无需对数据进行离散化处理。这种方法的核心思想是通过学习时间序列数据的连续分布，从而生成多个可能的预测结果，而不是仅仅给出一个单一的预测值。
时间流损失函数的引入，使得模型能够更灵活地学习时间序列的复杂分布，同时避免了因离散化而导致的信息丢失和预测精度下降的问题。
增强 Transformer 架构
Sundial模型采用了Transformer架构作为其基础框架，并对其进行了一系列关键的改进和优化，以使其更适合于时间序列预测任务。
首先，模型设计了与非可除上下文长度兼容的补丁嵌入（Patch Embedding），能够处理任意长度的时间序列数据。
其次，引入了旋转位置嵌入（RoPE），以增强模型对时间因果关系的建模能力。
此外，还采用了预归一化（Pre-LN）、快速注意力（FlashAttention）和键值缓存（KV Cache）等技术，这些技术在提高模型训练稳定性和推理效率方面发挥了重要作用。
通过这些改进，Sundial模型不仅能够有效地处理大规模的时间序列数据，还能够快速生成高质量的预测结果。
TimeBench
研究人员精心收集和整理了时间基准（TimeBench）数据集。如图3，该数据集包含超过1万亿个时间点，涵盖了各种真实世界的数据集和合成数据。这些数据来源广泛，包括金融、气象、物联网、医疗等多个领域，具有不同的频率、长度和变量数量，能够充分反映时间序列数据的多样性和复杂性。通过在如此大规模的数据集上进行预训练，Sundial模型能够学习到更广泛的时间序列模式和分布特征，从而显著提高了其在各种预测任务中的泛化能力和预测性能。
图3 TimeBench数据源
实验分析
零样本预测
Sundial模型的一个重要特点是其零样本预测能力。如图4，Sundial模型在多个时间序列预测基准测试中取得了显著的成果。
图4 零样本预测实验
概率预测
在概率预测（Probabilistic Forecasting）方面，Sundial模型在GIFT-Eval基准测试中获得了最低的MASE，在FEV排行榜上获得了第二低的MASE和Wasserstein量化损失（WQL）。证明了Sundial在处理预测不确定性方面也具有显著的优势。
图5 GIFT-Eval实验结果图5 FEV实验结果
推理速度
Sundial模型在推理速度上也表现出色。如图5，与Chronos模型相比，Sundial模型实现了11.34倍的推理时间加速，同时保持了与N-BEATS模型相当的推理速度。
图6 时序基础模型推理速度对比
消融实验
通过消融实验，验证了增强 Transformer 架构中，RoPE、LayerNorm、FlashAttention和KV Cache的作用。
图7 消融实验
结论
Sundial模型的出现为时间序列预测领域带来了新的希望和机遇。通过引入时间流损失函数、改进的Transformer架构以及大规模的时间基准数据集，Sundial模型在预测准确性、泛化能力和推理效率等方面都取得了显著的突破。其零样本预测能力更是为模型的实际应用提供了极大的便利，使其能够在各种复杂的时间序列预测任务中快速发挥作用。