A decoder-only foundation model for time-series forecasting

不同於存在資訊瓶頸的 Encoder-Decoder 模型，此 Decoder-only 方法利用因果遮蔽（causal masking）根據過去的 Token 預測未來值。這反映了 GPT 風格架構的成功，使模型能將多變數時間序列視為統一序列進行處理，相較於傳統狀態空間模型，顯著提升了對非線性時間動態的捕捉能力。

該模型在海量且多樣化的時間序列數據集上進行預訓練，使其能夠推廣至新的、未見過的領域而無需重新訓練。這消除了預測中的「冷啟動」問題（即因歷史數據不足而無法有效收斂），能為新產品或市場提供即時且高品質的預測。

透過將連續的時間序列值轉換為離散 Token，模型利用嵌入層（embedding layers）將複雜模式映射到高維潛在空間。這使 Transformer 能夠關注特定的時間特徵與異常值，有效處理通常會降低 SARIMA 等傳統統計模型效能的雜訊與季節性。

該架構原生支援多變數輸入，允許模型同時攝取數百個相關的時間序列變數。透過利用自我注意力機制（self-attention mechanisms），它能識別跨變數的依賴關係（例如某資產的價格波動如何與另一資產的成交量變化相關聯），提供單變數模型無法實現的整體視角。

傳統模型常因梯度消失問題而難以處理長期依賴性。此基於 Transformer 的模型使用全域自我注意力機制，無論距離遠近，都能關聯時間序列中的任意兩點。這確保了數月前的歷史趨勢仍能影響當前預測，從而在長週期預測任務中實現卓越的準確度。