vLLM

PagedAttentionは、OSの仮想メモリと同様に、KVキャッシュメモリを非連続なブロックで管理します。このアーキテクチャによりメモリの断片化をほぼゼロに抑え、より大きなバッチサイズと長いコンテキストウィンドウを実現します。アテンション機構中のメモリ割り当てを最適化することで、標準的なHugging Face実装と比較して最大24倍のスループットを達成し、リクエストあたりのハードウェアコストを直接削減します。

バッチ内の全リクエストの完了を待ってから次を開始する静的バッチングとは異なり、vLLMの連続バッチングは個々のシーケンスが完了次第、新しいリクエストをスケジュールします。この動的なアプローチにより、計算ユニットがアイドル状態になることを防ぎ、GPU利用率を最大化します。これにより、LLM推論で発生しがちなシーケンス長の変化に伴うレイテンシのスパイクを効果的に平滑化します。

vLLMはOpenAI APIサーバーのドロップイン代替品を提供します。これにより、開発者はクライアント側のコードを一行も変更することなく、OpenAIのホスト型モデルをセルフホスト型のオープンソースモデル（Llama 3やQwenなど）に置き換えることができます。この互換性により移行プロセスが簡素化され、チームはOpenAI標準向けに構築された既存のエコシステムツールやSDKを活用できます。

vLLMはハードウェアに依存せず、NVIDIA CUDA、AMD ROCm、AWS Neuron（Inferentia/Trainium）、Google TPU、Apple Siliconなど、幅広いアクセラレータをサポートします。この柔軟性によりベンダーロックインを防ぎ、インフラチームはオンプレミスのクラスターであれクラウドネイティブのTPU/NPUインスタンスであれ、最もコスト効率の高いハードウェア上でモデルをデプロイできます。

エンジンはAWQ、GPTQ、FP8、INT8など、様々な量子化手法をネイティブでサポートしています。モデルの重みの精度を下げることでVRAMフットプリントを削減し、出力品質を大きく損なうことなく、コンシューマー向けやリソースが制限されたGPU上での大規模モデルのデプロイを可能にします。これにより、本番環境におけるコスト対パフォーマンス比をさらに最適化します。