Archon

Archon은 에이전트를 위한 영구 상태 머신을 유지하여 다중 턴 상호작용 전반의 진행 상황을 추적합니다. 에이전트의 메모리를 구조화된 형식으로 직렬화함으로써 표준 LLM 구현에서 흔히 발생하는 컨텍스트 윈도우 저하를 방지합니다. 이를 통해 수천 개의 토큰에 걸친 복잡하고 긴 워크플로우에서도 에이전트가 중요한 지침과 작업 기록을 유지할 수 있습니다.

이 프레임워크는 모든 도구 출력에 대해 엄격한 JSON 스키마 유효성 검사를 사용합니다. LLM이 사전 정의된 함수 서명을 준수하도록 강제함으로써, Archon은 잘못된 형식의 도구 호출로 인한 런타임 오류를 제거합니다. 이는 에이전트가 함수를 실행하기 전에 스키마에 따라 출력을 검증하므로 표준 '제로샷' 프롬프팅보다 훨씬 강력합니다.

Archon은 에이전트가 단계를 완료하기 전에 작업 요구 사항에 따라 자신의 출력을 평가하는 자기 교정 메커니즘을 구현합니다. 출력이 유효성 검사를 통과하지 못하면 에이전트는 특정 오류 컨텍스트와 함께 재생성 주기를 자동으로 트리거합니다. 이는 비반복적 에이전트 아키텍처와 비교하여 복잡한 데이터 추출 작업에서 수동 개입을 60-70% 줄여줍니다.

이 시스템은 분리된 플러그인 모델을 기반으로 구축되어 개발자가 핵심 오케스트레이션 로직을 수정하지 않고도 LLM 백엔드를 교체하거나 사용자 지정 도구 통합을 추가할 수 있습니다. 이러한 모듈성은 빠른 프로토타이핑을 지원하며, 개발자가 동일한 에이전트 워크플로우 내에서 특정 하위 작업을 위해 다양한 모델(예: GPT-4o vs Claude 3.5 Sonnet)을 테스트할 수 있게 합니다.

고처리량 에이전트 작업을 위해 최적화된 이 엔진은 LLM 추론 호출 간의 오버헤드를 최소화합니다. 비동기 처리와 효율적인 메모리 관리를 활용하여 Archon은 에이전트 작업의 '첫 토큰 생성 시간(time-to-first-token)'을 단축하며, 사용자 경험을 위해 응답성이 중요한 실시간 애플리케이션에 적합합니다.