Compound Engineering

Vai além de interações de prompt único ao coordenar múltiplos agentes especializados. Ao delegar tarefas — como um agente para pesquisa e outro para síntese — o sistema reduz as taxas de alucinação em 40% em comparação com modelos monolíticos. Esta arquitetura permite o teste modular do desempenho individual de cada agente dentro do pipeline maior.

Mantém um estado persistente em conversas de várias etapas, permitindo que os agentes lembrem do contexto anterior e dos resultados das ferramentas. Isso é crítico para fluxos de trabalho complexos que exigem refinamento iterativo, como geração de código ou análise de dados, onde o sistema deve 'se autocorrigir' com base em erros de execução anteriores.

Envolve saídas não determinísticas de LLMs com execução de código determinística. Ao forçar os agentes a usar chamadas de função estruturadas (JSON schema), os desenvolvedores garantem que as saídas da IA mapeiem diretamente para endpoints de API ou consultas de banco de dados, efetivamente preenchendo a lacuna entre a intenção em linguagem natural e a execução confiável de software.

Implementa verificações programáticas nas saídas dos agentes. Se um agente gera uma consulta SQL, o sistema valida a sintaxe contra o esquema antes da execução. Esta abordagem de 'human-in-the-loop' ou 'code-in-the-loop' evita falhas em cascata em cadeias complexas, garantindo resultados de alta fidelidade.

Incentiva o desacoplamento da lógica do modelo da lógica da aplicação. Ao tratar modelos como componentes intercambiáveis, os desenvolvedores podem trocar o GPT-4o pelo Claude 3.5 Sonnet ou modelos Llama 3 locais sem reescrever a camada de orquestração, otimizando custos e latência com base nos requisitos específicos da tarefa.