vLLM

تدير PagedAttention ذاكرة التخزين المؤقت KV في كتل غير متجاورة، على غرار الذاكرة الافتراضية في أنظمة التشغيل. تقلل هذه البنية تجزئة الذاكرة إلى ما يقرب من الصفر، مما يسمح بأحجام دفعات أكبر بكثير ونوافذ سياق أطول. من خلال تحسين كيفية تخصيص الذاكرة أثناء آلية الانتباه، يحقق vLLM إنتاجية أعلى بـ 24 ضعفاً مقارنة بتطبيقات Hugging Face القياسية، مما يقلل بشكل مباشر من تكلفة الأجهزة لكل طلب.

على عكس المعالجة الدفعية الثابتة التي تنتظر انتهاء جميع الطلبات في الدفعة قبل بدء طلبات جديدة، تقوم المعالجة الدفعية المستمرة في vLLM بجدولة طلبات جديدة بمجرد انتهاء التسلسلات الفردية. يعمل هذا النهج الديناميكي على زيادة استخدام GPU إلى الحد الأقصى من خلال ضمان عدم بقاء وحدات الحوسبة خاملة، مما يؤدي بفعالية إلى تسوية طفرات زمن الوصول المرتبطة عادةً بأطوال التسلسلات المتغيرة في استنتاج LLM.

يوفر vLLM بديلاً جاهزاً لخادم OpenAI API. يتيح ذلك للمطورين استبدال نماذج OpenAI المستضافة بنماذج مفتوحة المصدر مستضافة ذاتياً (مثل Llama 3 أو Qwen) دون تغيير سطر واحد من كود جانب العميل. تبسط هذه التوافقية عملية الترحيل وتسمح للفرق بالاستفادة من أدوات النظام البيئي الحالية وSDKs المصممة لمعيار OpenAI.

vLLM محايد تجاه الأجهزة، ويدعم مجموعة واسعة من المسرعات بما في ذلك NVIDIA CUDA وAMD ROCm وAWS Neuron (Inferentia/Trainium) وGoogle TPUs وApple Silicon. تمنع هذه المرونة الارتباط بمورد واحد، مما يسمح لفرق البنية التحتية بنشر النماذج على أكثر الأجهزة فعالية من حيث التكلفة المتاحة، سواء كانت مجموعات محلية أو مثيلات TPU/NPU سحابية.

يدعم المحرك محلياً طرق تكميم متنوعة، بما في ذلك AWQ وGPTQ وFP8 وINT8. من خلال تقليل دقة أوزان النموذج، يقلل vLLM من بصمة VRAM، مما يتيح نشر نماذج أكبر على وحدات GPU للمستهلكين أو ذات الموارد المحدودة دون تدهور كبير في جودة المخرجات، مما يزيد من تحسين نسبة التكلفة إلى الأداء لبيئات الإنتاج.