Compound Engineering

単一プロンプトの対話を超え、複数の専門エージェントを調整します。調査用と統合用のようにタスクを分担させることで、モノリシックなモデルと比較してハルシネーション率を40%削減します。このアーキテクチャにより、大規模なパイプライン内での各エージェントのパフォーマンスをモジュール単位でテスト可能です。

複数ターンの会話を通じて永続的な状態を維持し、エージェントが過去のコンテキストやツールの結果を記憶できるようにします。これは、コード生成やデータ分析など、実行エラーに基づいてシステムが「自己修正」を行う必要がある反復的な改善を伴う複雑なワークフローにおいて不可欠です。

非決定論的なLLMの出力を、決定論的なコード実行でラップします。エージェントに構造化された関数呼び出し（JSONスキーマ）を強制することで、AIの出力をAPIエンドポイントやデータベースクエリに直接マッピングし、自然言語の意図と信頼性の高いソフトウェア実行の間のギャップを埋めます。

エージェントの出力に対してプログラムによるチェックを実装します。エージェントがSQLクエリを生成した場合、実行前にスキーマと照らし合わせて構文を検証します。この「ヒューマン・イン・ザ・ループ」または「コード・イン・ザ・ループ」のアプローチにより、複雑なチェーン内での連鎖的な障害を防ぎ、高精度な結果を保証します。

モデルロジックとアプリケーションロジックの分離を促進します。モデルを交換可能なコンポーネントとして扱うことで、オーケストレーション層を書き換えることなく、GPT-4oからClaude 3.5 SonnetやローカルのLlama 3へ切り替えることができ、タスク要件に応じてコストとレイテンシを最適化できます。