Compound Engineering

Dépasse les interactions à prompt unique en coordonnant plusieurs agents spécialisés. En déléguant les tâches — par exemple, un agent pour la recherche et un autre pour la synthèse — le système réduit les hallucinations de 40 % par rapport aux modèles monolithiques. Cette architecture permet des tests modulaires de la performance de chaque agent au sein du pipeline global.

Maintient un état persistant à travers les conversations multi-tours, permettant aux agents de mémoriser le contexte précédent et les résultats des outils. C'est crucial pour les flux complexes nécessitant un raffinement itératif, comme la génération de code ou l'analyse de données, où le système doit s'auto-corriger en fonction des erreurs d'exécution passées.

Enveloppe les sorties non déterministes des LLM avec une exécution de code déterministe. En forçant les agents à utiliser des appels de fonction structurés (schéma JSON), les développeurs garantissent que les sorties de l'IA correspondent directement aux endpoints d'API ou aux requêtes de base de données, comblant ainsi le fossé entre l'intention en langage naturel et l'exécution logicielle fiable.

Implémente des vérifications programmatiques sur les sorties des agents. Si un agent génère une requête SQL, le système valide la syntaxe par rapport au schéma avant l'exécution. Cette approche « human-in-the-loop » ou « code-in-the-loop » prévient les défaillances en cascade dans les chaînes complexes, garantissant des résultats de haute fidélité.

Encourage le découplage de la logique du modèle et de la logique applicative. En traitant les modèles comme des composants interchangeables, les développeurs peuvent remplacer GPT-4o par Claude 3.5 Sonnet ou des modèles Llama 3 locaux sans réécrire la couche d'orchestration, optimisant ainsi les coûts et la latence selon les besoins spécifiques de la tâche.