SGLang

RadixAttentionは、複数のリクエスト間でプレフィックスの自動キャッシュを可能にします。KVキャッシュをRadix木構造で保持することで、システム指示やFew-shot例などの共通プレフィックスの再計算を回避します。これにより、マルチターン会話でのTTFT（Time-to-First-Token）が標準的なvLLM実装と比較して最大5倍高速化され、エージェントワークフローの計算コストを大幅に削減します。

SGLangは、正規表現やJSONスキーマを用いた制約付き生成をネイティブサポートしています。トークンレベルで特定の出力形式を強制することで、コストのかかる後処理や再試行ループを排除します。これにより、後続のデータパイプラインで100%のスキーマ準拠が保証され、非構造化テキストからの構造化データ抽出において極めて高い信頼性を発揮します。

Pythonライクな制御フロー（if/else、ループ）をプロンプトテンプレート内に直接埋め込めます。これにより、アプリケーションサーバーとの往復なしに、モデルの中間出力に基づいた動的なプロンプト構築が可能です。ネットワークレイテンシを低減し、生成プロセスとロジックを密接に統合します。

LLaVAやQwen-VLなどのVLMをネイティブサポートしています。画像トークンとテキストの処理を最適化し、視覚入力を効率的にキャッシュ・処理します。画像とテキストの複合入力に対して高速な推論を必要とする、複雑な視覚ベースのエージェント構築に最適な選択肢です。

高性能なC++バックエンド上に構築されており、現代のGPU向けにメモリ割り当てとカーネル実行を最適化しています。連続バッチ処理とPagedAttentionをサポートし、最小限のオーバーヘッドで数千の同時リクエストを処理可能です。スループットとレイテンシの両面で、標準的なHuggingFace Transformersの実装を一貫して上回ります。