A decoder-only foundation model for time-series forecasting

与存在信息瓶颈的Encoder-Decoder模型不同，该架构利用因果掩码（Causal Masking）根据历史Token预测未来值。它借鉴了GPT架构的成功经验，将多变量时间序列作为统一序列处理，相比传统状态空间模型，显著提升了对非线性时间动态的捕捉能力。

模型在海量多样的时间序列数据集上进行预训练，使其能够泛化到新的、未见过的领域而无需重新训练。这解决了预测中的“冷启动”问题，即在历史数据不足时无法有效收敛的问题，为新产品或新市场提供即时、高质量的预测。

通过将连续的时间序列值转换为离散Token，模型利用嵌入层将复杂模式映射到高维潜在空间。这使得Transformer能够关注特定的时间特征和异常值，有效处理通常会降低SARIMA等经典统计模型性能的噪声和季节性因素。

该架构原生支持多变量输入，允许模型同时摄入数百个相关的时间序列变量。通过利用自注意力机制，它能识别跨变量依赖关系（例如一种资产的价格波动如何与另一种资产的成交量变化相关联），提供单变量模型无法实现的全局视角。

传统模型常因梯度消失问题难以处理长期依赖。该模型使用全局自注意力机制，无论时间序列中两点距离多远都能建立关联。这确保了数月前的历史趋势仍能影响当前预测，从而在长周期预测任务中实现卓越的准确性。