localbench

Kullback-Leiblerダイバージェンスを用いて、元のFP16モデルと量子化されたGGUF版との統計的距離を測定します。これは量子化中の「情報損失」を数学的に厳密に評価する指標であり、圧縮後のモデルが元の推論能力をどれだけ保持しているかを評価する上で、単純なパープレキシティスコアよりもはるかに正確です。

標準的な学術データセットではなく、25万トークンに及ぶドメイン特化型の実務タスクでベンチマークを実施します。これにより、単なるテキストの暗記テストではなく、コード生成、要約、指示追従など、実際のプロダクション環境でのモデルの挙動を反映した結果が得られます。

UnslothやBartowskiといった異なる作成者による量子化出力を直接比較します。これにより、どの量子化パイプラインが最も安定した高忠実度のGGUFファイルを生成するかを特定でき、最適でない量子化パラメータや変換スクリプトによって劣化しているモデルを回避できます。

CPU/GPUハイブリッド推論の業界標準であるGGUF形式に焦点を当てています。特定の量子化レベルがコンシューマー向けハードウェアでどのように動作するかを明確なデータで提供することで、ローカルのVRAM制限を超えずにコンテキストウィンドウとトークンスループットを最大化できるよう支援します。

テストパイプラインの全容を公開しています。評価に使用された正確なトークン数やタスクタイプを文書化することで、localbenchは再現性の高い結果を提供し、コミュニティが大規模なダウンロードやプロダクションへの統合を行う前に、特定のモデルアップロードの品質を検証できるようにします。