vLLM

PagedAttention จัดการหน่วยความจำ KV cache ในบล็อกที่ไม่ต่อเนื่องกัน คล้ายกับหน่วยความจำเสมือนในระบบปฏิบัติการ สถาปัตยกรรมนี้ช่วยลดการกระจายตัวของหน่วยความจำจนเกือบเป็นศูนย์ ทำให้รองรับ Batch size ที่ใหญ่ขึ้นและ Context window ที่ยาวขึ้น ด้วยการปรับปรุงการจัดสรรหน่วยความจำระหว่างกลไก Attention ทำให้ vLLM มี Throughput สูงกว่าการใช้งาน Hugging Face มาตรฐานถึง 24 เท่า ซึ่งช่วยลดต้นทุนฮาร์ดแวร์ต่อคำขอโดยตรง

ต่างจาก Static batching ที่ต้องรอให้คำขอทั้งหมดใน Batch เสร็จสิ้นก่อนเริ่มชุดใหม่ Continuous batching ของ vLLM จะจัดตารางคำขอใหม่ทันทีที่ลำดับงานแต่ละรายการเสร็จสิ้น แนวทางแบบไดนามิกนี้ช่วยเพิ่มการใช้ GPU ให้สูงสุดโดยทำให้หน่วยประมวลผลไม่เคยว่างงาน ช่วยลดความผันผวนของ Latency ที่มักเกิดขึ้นจากความยาวของลำดับงานที่แตกต่างกันในการอนุมาน LLM

vLLM มีเซิร์ฟเวอร์ API ที่สามารถแทนที่ OpenAI API ได้ทันที ช่วยให้นักพัฒนาสามารถเปลี่ยนจากโมเดลที่โฮสต์โดย OpenAI มาเป็นโมเดล Open-source ที่โฮสต์เอง (เช่น Llama 3 หรือ Qwen) ได้โดยไม่ต้องเปลี่ยนโค้ดฝั่ง Client แม้แต่บรรทัดเดียว ความเข้ากันได้นี้ช่วยลดความซับซ้อนในการย้ายระบบและช่วยให้ทีมสามารถใช้เครื่องมือและ SDK ในระบบนิเวศเดิมที่สร้างขึ้นสำหรับมาตรฐาน OpenAI ได้

vLLM ไม่ยึดติดกับฮาร์ดแวร์ โดยรองรับตัวเร่งความเร็วหลากหลายประเภท เช่น NVIDIA CUDA, AMD ROCm, AWS Neuron (Inferentia/Trainium), Google TPUs และ Apple Silicon ความยืดหยุ่นนี้ช่วยป้องกันปัญหา Vendor lock-in ทำให้ทีมโครงสร้างพื้นฐานสามารถปรับใช้โมเดลบนฮาร์ดแวร์ที่คุ้มค่าที่สุดได้ ไม่ว่าจะเป็นคลัสเตอร์ภายในองค์กรหรืออินสแตนซ์ TPU/NPU บนคลาวด์

เอนจินรองรับวิธีการ Quantization ต่างๆ ได้โดยตรง เช่น AWQ, GPTQ, FP8 และ INT8 การลดความละเอียดของน้ำหนักโมเดลช่วยลดการใช้ VRAM ทำให้สามารถปรับใช้โมเดลขนาดใหญ่บน GPU ระดับผู้บริโภคหรือ GPU ที่มีทรัพยากรจำกัดได้โดยไม่สูญเสียคุณภาพผลลัพธ์อย่างมีนัยสำคัญ ซึ่งช่วยเพิ่มประสิทธิภาพด้านต้นทุนต่อผลลัพธ์สำหรับสภาพแวดล้อมการใช้งานจริง