SGLang

تتيح RadixAttention التخزين المؤقت التلقائي للبادئات عبر طلبات متعددة. من خلال تخزين ذاكرة KV في شجرة radix، يتجنب SGLang إعادة حساب بادئات المطالبات الشائعة (مثل تعليمات النظام أو أمثلة few-shot). هذا يقلل من الوقت اللازم للرمز الأول (TTFT) بنسبة تصل إلى 5 أضعاف في المحادثات متعددة الجولات مقارنة بتنفيذات vLLM القياسية، مما يقلل بشكل كبير من تكاليف الحوسبة لسير عمل الوكلاء.

يوفر SGLang دعمًا أصليًا للتوليد المقيد باستخدام التعبيرات النمطية (regex) ومخططات JSON. من خلال إجبار النموذج على الالتزام بتنسيقات مخرجات محددة على مستوى الرمز، فإنه يلغي الحاجة إلى معالجة لاحقة مكلفة أو حلقات إعادة المحاولة. وهذا يضمن امتثال المخطط بنسبة 100% لخطوط أنابيب البيانات النهائية، مما يجعله موثوقًا للغاية لاستخراج البيانات المهيكلة من النصوص غير المهيكلة.

يسمح إطار العمل للمطورين بتضمين تدفق تحكم يشبه Python (if/else، حلقات) مباشرة في قالب المطالبة. وهذا يسمح ببناء مطالبات ديناميكية بناءً على مخرجات النموذج الوسيطة دون الحاجة للعودة إلى خادم التطبيق. هذا يقلل من زمن انتقال الشبكة ويحافظ على اقتران المنطق بشكل وثيق مع عملية التوليد.

يدعم SGLang أصليًا نماذج الرؤية واللغة (VLMs) مثل LLaVA و Qwen-VL. وهو يعمل على تحسين معالجة رموز الصور جنبًا إلى جنب مع النص، مما يضمن تخزين المدخلات المرئية ومعالجتها بكفاءة. وهذا يجعله خيارًا من الدرجة الأولى لبناء وكلاء معقدين يعتمدون على الرؤية ويتطلبون استدلالًا عالي السرعة على مدخلات الصور والنصوص المدمجة.

بناءً على خلفية C++ عالية الأداء، يعمل وقت تشغيل SGLang على تحسين تخصيص الذاكرة وتنفيذ النواة لوحدات معالجة الرسومات (GPUs) الحديثة. وهو يدعم التجميع المستمر و PagedAttention، مما يسمح له بمعالجة آلاف الطلبات المتزامنة بأقل قدر من النفقات العامة. وهو يتفوق باستمرار على تنفيذات HuggingFace Transformers القياسية في كل من مقاييس الإنتاجية وزمن الاستجابة.