A decoder-only foundation model for time-series forecasting

على عكس نماذج المشفر-فك التشفير (encoder-decoder) التي تعاني من اختناقات المعلومات، يستخدم هذا النهج القائم على decoder-only تقنية التغطية السببية (causal masking) للتنبؤ بالقيم المستقبلية بناءً على الرموز السابقة. يعكس هذا نجاح بنيات GPT، مما يسمح للنموذج بمعالجة السلاسل الزمنية متعددة المتغيرات كسلسلة موحدة، مما يحسن بشكل كبير التقاط الديناميكيات الزمنية غير الخطية مقارنة بنماذج فضاء الحالة التقليدية.

تم تدريب النموذج مسبقاً على مجموعات بيانات ضخمة ومتنوعة للسلاسل الزمنية، مما يمكنه من التعميم على مجالات جديدة وغير مرئية دون الحاجة إلى إعادة تدريب. هذا يلغي مشكلة 'البداية الباردة' (cold start) في التنبؤ، حيث تمنع البيانات التاريخية غير الكافية عادةً التقارب الفعال للنموذج. يوفر تنبؤات فورية وعالية الجودة للمنتجات أو الأسواق الجديدة.

من خلال تحويل قيم السلاسل الزمنية المستمرة إلى رموز منفصلة، يستفيد النموذج من طبقات التضمين (embedding layers) لتعيين الأنماط المعقدة في فضاء كامن عالي الأبعاد. يسمح هذا للمحول بالتركيز على ميزات زمنية محددة وشذوذات، مما يعالج بفعالية الضوضاء والموسمية التي تؤدي عادةً إلى تدهور أداء النماذج الإحصائية الكلاسيكية مثل SARIMA.

تدعم البنية أصلاً المدخلات متعددة المتغيرات، مما يسمح للنموذج باستيعاب مئات المتغيرات المرتبطة بالسلاسل الزمنية في وقت واحد. من خلال استخدام آليات الانتباه الذاتي (self-attention)، يحدد النموذج التبعيات بين المتغيرات—مثل كيفية ارتباط تقلبات الأسعار في أصل واحد بتغيرات الحجم في أصل آخر—مما يوفر رؤية شاملة لا يمكن للنماذج أحادية المتغير تحقيقها.

غالباً ما تعاني النماذج التقليدية من التبعيات طويلة المدى بسبب تلاشي التدرجات. يستخدم هذا النموذج القائم على المحولات الانتباه الذاتي العالمي (global self-attention) لربط أي نقطتين في التسلسل الزمني بغض النظر عن المسافة بينهما. وهذا يضمن أن الاتجاهات التاريخية من أشهر مضت لا تزال تؤثر على التنبؤات الحالية، مما يؤدي إلى دقة فائقة في مهام التنبؤ طويلة الأمد.