A decoder-only foundation model for time-series forecasting

ต่างจากโมเดล Encoder-Decoder ที่มักเกิดคอขวดของข้อมูล สถาปัตยกรรมนี้ใช้ Causal Masking เพื่อทำนายค่าในอนาคตจากโทเค็นในอดีต ซึ่งเลียนแบบความสำเร็จของ GPT ทำให้โมเดลประมวลผลอนุกรมเวลาแบบหลายตัวแปร (Multi-variate) เป็นลำดับเดียว ช่วยเพิ่มประสิทธิภาพในการจับพลวัตเชิงเวลาที่ไม่เป็นเส้นตรงได้ดีกว่าโมเดล State-space แบบเดิม

โมเดลถูกฝึกฝนด้วยชุดข้อมูลอนุกรมเวลาขนาดใหญ่และหลากหลาย ทำให้สามารถสรุปผลไปยังโดเมนใหม่ที่ไม่เคยเห็นมาก่อนได้โดยไม่ต้องฝึกใหม่ ช่วยแก้ปัญหา 'Cold start' ในการพยากรณ์ที่มักเกิดจากข้อมูลประวัติไม่เพียงพอ ทำให้ได้ผลลัพธ์ที่แม่นยำทันทีสำหรับผลิตภัณฑ์หรือตลาดใหม่

การแปลงค่าอนุกรมเวลาต่อเนื่องให้เป็นโทเค็นแยกส่วน ช่วยให้โมเดลใช้ Embedding layers ในการแมปรูปแบบที่ซับซ้อนเข้าสู่พื้นที่แฝง (Latent space) มิติสูง ทำให้ Transformer สามารถให้ความสำคัญกับคุณลักษณะเชิงเวลาและความผิดปกติได้อย่างแม่นยำ จัดการกับสัญญาณรบกวนและฤดูกาลที่มักลดทอนประสิทธิภาพของโมเดลสถิติแบบเดิมอย่าง SARIMA

สถาปัตยกรรมรองรับ Input แบบหลายตัวแปรโดยธรรมชาติ ทำให้สามารถรับตัวแปรอนุกรมเวลาที่เกี่ยวข้องหลายร้อยตัวพร้อมกัน โดยใช้กลไก Self-attention เพื่อระบุความสัมพันธ์ข้ามตัวแปร เช่น ความผันผวนของราคาในสินทรัพย์หนึ่งที่สัมพันธ์กับการเปลี่ยนแปลงของปริมาณในอีกสินทรัพย์หนึ่ง ให้มุมมองที่ครอบคลุมซึ่งโมเดลตัวแปรเดียวทำไม่ได้

โมเดลแบบเดิมมักประสบปัญหา Vanishing gradients ในการจับความสัมพันธ์ระยะยาว แต่โมเดล Transformer นี้ใช้ Global Self-attention เพื่อเชื่อมโยงจุดใดๆ ในลำดับเวลาโดยไม่คำนึงถึงระยะห่าง ทำให้แนวโน้มในอดีตเมื่อหลายเดือนก่อนยังคงส่งผลต่อการพยากรณ์ปัจจุบัน นำไปสู่ความแม่นยำที่เหนือกว่าในการพยากรณ์ระยะไกล