ما هو

Apache Doris هي قاعدة بيانات تحليلية عالية الأداء وفورية تعتمد على معمارية المعالجة المتوازية الضخمة (MPP). تتفوق في تحليل البيانات متعدد الأبعاد، والاستعلامات المخصصة (ad-hoc)، واستعلامات النقاط عالية التزامن. على عكس أنظمة OLAP التقليدية التي تتطلب خطوط أنابيب ETL معقدة، تدعم Doris استيعاب البيانات الفوري من مصادر مثل Kafka وFlink، مما يوفر زمن وصول أقل من ثانية لعمليات الربط والتجميع المعقدة. محرك التنفيذ المتجه الفريد ومحسن التكلفة (CBO) يسمحان لها بالتعامل مع مجموعات بيانات بحجم بيتابايت مع الحفاظ على إنتاجية عالية، مما يجعلها بديلاً متفوقاً لمكدسات Hadoop أو مستودعات البيانات القديمة للتحليلات المعتمدة على الذكاء الاصطناعي.

الميزات الأساسية

محرك تنفيذ متجه

تستخدم Doris محرك تنفيذ استعلام متجه يعالج البيانات في دفعات بدلاً من صف تلو الآخر. من خلال الاستفادة من تعليمات وحدة المعالجة المركزية SIMD (تعليمات واحدة، بيانات متعددة)، فإنه يقلل بشكل كبير من حمل التعليمات ويحسن محلية ذاكرة التخزين المؤقت. يسمح هذا الاختيار المعماري لـ Doris بتحقيق تحسينات في الأداء من 5 إلى 10 أضعاف في معالجة الاستعلامات التحليلية مقارنة بالمحركات التقليدية القائمة على الصفوف، مما يعالج بفعالية التجميعات المعقدة على مجموعات بيانات واسعة النطاق بأقل دورات للمعالج.

استيعاب فوري موحد

يدعم النظام استيعاب البيانات الفوري وعالي الإنتاجية من خلال بروتوكولات متعددة بما في ذلك Stream Load وBroker Load وRoutine Load. من خلال التكامل الأصلي مع Apache Kafka وFlink، تلغي Doris الحاجة إلى طبقات معالجة دفعية وسيطة. يسمح هذا للمستخدمين بالاستعلام عن البيانات في غضون ثوانٍ من وصولها، مما يضمن تزويد لوحات المعلومات التحليلية ونماذج الذكاء الاصطناعي بأحدث حالة للبيانات دون حمل زمن الوصول الخاص بخطوط أنابيب ETL التقليدية.

محسن متقدم قائم على التكلفة (CBO)

تم تصميم CBO في Apache Doris للتعامل مع عمليات الربط المعقدة متعددة الجداول والاستعلامات الفرعية المتداخلة. يقوم تلقائياً باختيار خطة التنفيذ الأكثر كفاءة من خلال تحليل توزيع البيانات، والتعددية (cardinality)، والإحصائيات. من خلال تحسين ترتيب الربط والمشغلات المادية، يقلل CBO من تبادل البيانات عبر الشبكة، وهو أمر بالغ الأهمية للحفاظ على الأداء في بيئات MPP الموزعة حيث غالباً ما يكون إدخال/إخراج الشبكة هو عنق الزجاجة الرئيسي.

استعلامات نقاط عالية التزامن

تم تحسين Doris لسيناريوهات التزامن العالي، حيث تدعم آلاف الاستعلامات في الثانية (QPS) لاستعلامات النقاط. تستخدم تنسيق تخزين صفوف لأعمدة محددة وتستفيد من طبقة ذاكرة تخزين مؤقت مخصصة لخدمة عمليات البحث المتكررة فوراً. وهذا يجعلها مناسبة للتطبيقات الموجهة للمستخدم حيث تتطلب أوقات استجابة منخفضة زمن الوصول، مما يسد الفجوة بين أنظمة OLAP التقليدية التي تركز على المسح الثقيل وأنظمة OLTP التي تركز على سلامة المعاملات.

عزل الموارد متعدد المستأجرين

لدعم عمليات النشر واسعة النطاق، توفر Doris عزلاً قوياً للموارد من خلال مجموعات العمل (Workload Groups). يمكن للمسؤولين تحديد حدود وحدة المعالجة المركزية والذاكرة لمستخدمين مختلفين أو أنواع استعلامات مختلفة، مما يمنع مشكلات 'الجيران المزعجين' حيث يمكن لاستعلام تحليلي ثقيل واحد أن يقلل الأداء للمستخدمين الآخرين. يعد هذا التحكم الدقيق ضرورياً لموفري SaaS أو المؤسسات الكبيرة التي تدير فرقاً داخلية متعددة على عنقود مشترك واحد.

كيفية الاستخدام

قم بتنزيل أحدث إصدار ثنائي من موقع Apache Doris أو اسحب صورة Docker الرسمية باستخدام 'docker pull apache/doris:2.1.0'. 2. قم بتهيئة ملفات 'fe.conf' و 'be.conf' لتحديد طوبولوجيا العنقود (cluster)، وحدود الذاكرة، ومسارات التخزين. 3. قم بتهيئة العنقود عن طريق تشغيل عقد الواجهة الأمامية (FE) متبوعة بعقد الواجهة الخلفية (BE) باستخدام نصوص 'start_fe.sh' و 'start_be.sh'. 4. اتصل بالعنقود باستخدام أي عميل متوافق مع MySQL على المنفذ 9030 لتنفيذ عبارات DDL وإنشاء الجداول. 5. قم بتحميل البيانات باستخدام واجهة Stream Load عبر طلبات HTTP PUT أو التكامل مع Apache Flink باستخدام موصل Doris للاستيعاب الفوري. 6. نفذ استعلامات SQL مباشرة على جداولك لإجراء عمليات تجميع فورية أو عمليات بحث.

حالات الاستخدام

تحليلات سلوك المستخدم الفورية

تستخدم فرق التسويق Doris لاستيعاب بيانات تدفق النقرات من Kafka في الوقت الفعلي. من خلال تشغيل استعلامات SQL مخصصة، يمكنهم تتبع مسارات تحويل المستخدم ومقاييس الجلسة فوراً، مما يسمح بتعديلات اختبار A/B الفورية وتقديم محتوى مخصص بناءً على تفاعلات المستخدم الحية.

تحليل سجلات العمليات

يستخدم مهندسو DevOps نظام Doris لتجميع والبحث في كميات هائلة من سجلات النظام. قدرتها على إجراء التصفية والتجميع عالي السرعة تسمح للفرق بتحديد اختناقات النظام أو التهديدات الأمنية في غضون ثوانٍ، مما يحل محل أدوات إدارة السجلات الأبطأ والأكثر استهلاكاً للقرص.

مخزن ميزات الذكاء الاصطناعي

يستخدم علماء البيانات Doris كمخزن ميزات فوري لنماذج التعلم الآلي. من خلال تخزين الميزات المحسوبة مسبقاً والبيانات الخام، يوفر النظام وصولاً منخفض زمن الوصول إلى الميزات أثناء استنتاج النموذج، مما يضمن أن تنبؤات الذكاء الاصطناعي تستند إلى أحدث نقاط البيانات.

من يستفيد

مهندسو البيانات

يحتاجون إلى بناء خطوط أنابيب بيانات قوية ومنخفضة زمن الوصول. تبسط Doris مكدسهم التقني من خلال استبدال معماريات Lambda المعقدة بنظام واحد موحد يتعامل مع استيعاب البيانات الدفعية والمتدفقة بكفاءة.

مطوروا التحليلات

يحتاجون إلى قاعدة بيانات تدعم SQL القياسي للمهام التحليلية المعقدة. توفر Doris الأداء اللازم للوحات المعلومات التفاعلية وأدوات إعداد التقارير دون الحاجة إلى لغات استعلام خاصة.

مديرو منتجات SaaS

يحتاجون إلى تقديم رؤى فورية لمستخدميهم النهائيين. تمكنهم Doris من بناء ميزات تحليلات عالية الأداء وموجهة للمستخدم تتوسع بسلاسة مع نمو قاعدة مستخدميهم.