A decoder-only foundation model for time-series forecasting

정보 병목 현상을 겪는 인코더-디코더 모델과 달리, 이 디코더 전용 방식은 인과적 마스킹(causal masking)을 활용하여 과거 토큰을 기반으로 미래 값을 예측합니다. 이는 GPT 스타일 아키텍처의 성공을 반영하며, 다변량 시계열을 통합된 시퀀스로 처리하여 기존 상태 공간 모델보다 비선형 시간 역학을 훨씬 더 잘 포착합니다.

방대하고 다양한 시계열 데이터셋으로 사전 학습되어 재학습 없이도 새로운 도메인으로 일반화가 가능합니다. 이는 일반적으로 충분한 과거 데이터 부족으로 모델 수렴이 어려운 '콜드 스타트' 문제를 해결하며, 신제품이나 신규 시장에 대해 즉각적이고 고품질의 예측을 제공합니다.

연속적인 시계열 값을 이산 토큰으로 변환하여 임베딩 레이어를 통해 복잡한 패턴을 고차원 잠재 공간에 매핑합니다. 이를 통해 트랜스포머가 특정 시간적 특징과 이상치에 집중할 수 있게 하며, SARIMA와 같은 고전적 통계 모델의 성능을 저하시키는 노이즈와 계절성을 효과적으로 처리합니다.

다변량 입력을 기본적으로 지원하여 수백 개의 관련 시계열 변수를 동시에 수용할 수 있습니다. 셀프 어텐션 메커니즘을 활용하여 한 자산의 가격 변동이 다른 자산의 거래량 변화와 어떻게 상관관계가 있는지 등 변수 간 의존성을 식별하며, 단변량 모델이 달성할 수 없는 전체적인 관점을 제공합니다.

기존 모델은 그래디언트 소실 문제로 장기 의존성 학습에 어려움을 겪었으나, 이 트랜스포머 기반 모델은 글로벌 셀프 어텐션을 사용하여 거리와 관계없이 시계열 내 임의의 두 지점을 연결합니다. 이를 통해 수개월 전의 과거 추세가 현재 예측에 영향을 미칠 수 있어 장기 예측 작업에서 탁월한 정확도를 보입니다.