Argo Workflows
쿠버네티스 네이티브 워크플로우 엔진
무료
지원 플랫폼
web
Argo Workflows란 무엇인가요
Argo Workflows는 쿠버네티스에서 병렬 작업을 오케스트레이션하기 위해 설계된 오픈소스 컨테이너 네이티브 워크플로우 엔진입니다. 중앙 집중식 서버로 실행되는 기존 워크플로우 도구와 달리, Argo는 쿠버네티스 컨트롤러로 작동하며 워크플로우의 각 단계를 개별 파드(pod)로 실행합니다. 이러한 아키텍처는 대규모 확장성, 쿠버네티스 리소스(볼륨, 시크릿, RBAC)와의 네이티브 통합, 복잡한 DAG 또는 단계별 시퀀스 처리 능력을 제공합니다. 이 도구는 고처리량 및 내결함성 실행 환경이 필요한 CI/CD 파이프라인, 머신러닝 모델 학습, 데이터 처리 작업을 위한 업계 표준입니다.
Argo Workflows의 핵심 기능
쿠버네티스 네이티브 아키텍처
쿠버네티스 내에서 CRD(Custom Resource Definition)로 실행되는 Argo Workflows는 클러스터의 네이티브 기능을 활용합니다. 외부 워크플로우 서버가 필요 없으며 표준 'kubectl' 명령어로 워크플로우를 관리할 수 있습니다. 이 통합을 통해 워크플로우 파드는 클러스터의 보안, 네트워킹 및 스토리지 정책을 상속받아 복잡한 컨테이너 환경을 관리하는 DevOps 팀에 원활한 운영 경험을 제공합니다.
DAG 및 단계 기반 오케스트레이션
Argo는 DAG(Directed Acyclic Graphs)와 순차적 단계 기반 워크플로우를 모두 지원합니다. DAG는 상위 노드 완료에 따라 작업이 병렬로 실행되는 복잡한 종속성 관리를 가능하게 하며, 단계 기반 워크플로우는 선형 실행을 제공합니다. 이러한 유연성 덕분에 엔지니어는 단순한 CI/CD 파이프라인부터 분기 로직, 재시도, 조건부 실행 경로가 포함된 복잡한 데이터 과학 파이프라인까지 모델링할 수 있습니다.
아티팩트 관리 및 지속성
Argo는 아티팩트를 사용하여 워크플로우 단계 간 데이터를 전달하는 내장 기능을 제공합니다. S3, GCS, Artifactory와 통합되어 출력을 자동으로 저장하고 검색합니다. 엔진이 아티팩트의 수명 주기를 관리하므로 중간 데이터를 위해 공유 볼륨이나 외부 데이터베이스를 수동으로 관리할 필요가 없으며, 클러스터 내 분산 노드 전반에서 데이터 가용성을 보장합니다.
확장 가능한 병렬 실행
모든 워크플로우 단계가 쿠버네티스 파드이므로 Argo는 전체 클러스터 용량에 걸쳐 수평적으로 확장할 수 있습니다. 수천 개의 동시 작업을 실행할 수 있어 고처리량 배치 처리나 대규모 ML 학습 작업에 이상적입니다. 성능 병목 현상이 발생하는 중앙 집중식 엔진과 달리, Argo는 대규모 확장이 검증된 쿠버네티스 스케줄러에 스케줄링 부담을 위임합니다.
시각적 워크플로우 UI
내장된 웹 기반 UI는 워크플로우 실행을 실시간 그래픽으로 보여줍니다. 사용자는 DAG 구조를 시각화하고, 개별 파드 상태를 검사하며, 로그를 확인하고, 브라우저에서 직접 실패한 단계를 재실행할 수 있습니다. 이러한 관측 가능성은 다단계 프로세스 중 어디에서 오류가 발생했는지 즉각적인 통찰력을 제공하므로 복잡한 파이프라인 문제 해결에 필수적입니다.
Argo Workflows 사용 방법
- 실행 중인 쿠버네티스 클러스터에서 'kubectl apply -f https://github.com/argoproj/argo-workflows/releases/latest/download/install.yaml'을 사용하여 Argo Workflows 컨트롤러를 설치합니다., 2. Homebrew를 사용하거나 GitHub에서 바이너리를 다운로드하여 Argo CLI를 설치하고 로컬 머신에서 컨트롤러와 상호작용합니다., 3. Argo Workflow 사양을 사용하여 YAML 파일에 워크플로우를 정의하고 컨테이너, 입력, 출력 및 종속성(DAG 또는 단계)을 지정합니다., 4. 'argo submit --watch workflow.yaml'을 사용하여 클러스터에 워크플로우를 제출하고 실행을 트리거하며 실시간으로 진행 상황을 모니터링합니다., 5. 'argo server'를 실행하거나 서비스를 포트 포워딩하여 Argo UI에 접속하고, DAG 실행을 시각화하며 디버깅을 위해 파드 로그를 검사합니다.
Argo Workflows의 활용 사례
머신러닝 파이프라인
데이터 과학자는 Argo를 사용하여 데이터 전처리, 모델 학습, 평가를 포함한 엔드투엔드 ML 수명 주기를 오케스트레이션합니다. 이를 DAG로 정의함으로써 데이터 정리가 완료된 후에만 학습이 시작되도록 보장하여 재현 가능하고 자동화된 실험을 수행합니다.
CI/CD 파이프라인 자동화
DevOps 엔지니어는 Argo를 사용하여 컨테이너화된 애플리케이션을 빌드, 테스트 및 배포합니다. 외부 SaaS CI 제공업체에 의존하지 않고도 여러 환경에 걸쳐 배포를 트리거할 수 있는 복잡한 다단계 파이프라인을 구축하여 일관된 릴리스 주기를 보장합니다.
배치 데이터 처리
데이터 엔지니어는 Argo를 사용하여 대규모 ETL 작업을 실행합니다. 방대한 데이터셋을 병렬 파드에서 처리되는 작은 단위로 분할함으로써 모놀리식 배치 스크립트보다 처리 시간을 크게 단축하고, 쿠버네티스의 내결함성 기능을 활용합니다.
Argo Workflows이 도움이 되는 사람
DevOps 엔지니어
인프라 작업과 CI/CD 파이프라인을 자동화해야 합니다. Argo는 기존 쿠버네티스 클러스터 내에서 이러한 프로세스를 관리할 수 있는 확장 가능하고 선언적인 방법을 제공하여 운영 오버헤드를 줄여줍니다.
데이터 과학자
ML 학습 파이프라인을 위한 강력한 오케스트레이션이 필요합니다. Argo를 통해 무거운 컴퓨팅 작업을 위한 복잡한 종속성과 리소스 요구 사항을 정의하여 클러스터 하드웨어에서 실험이 안정적으로 실행되도록 합니다.
플랫폼 엔지니어
내부 개발자 플랫폼 구축을 담당합니다. Argo는 워크플로우-애즈-어-서비스(Workflow-as-a-Service) 제공을 위한 핵심 엔진 역할을 하며, 다른 팀이 작업을 실행할 수 있는 표준화되고 프로그래밍 가능한 인터페이스를 제공합니다.
Argo Workflows의 요금제
오픈소스(Apache License 2.0). 완전히 무료로 사용할 수 있으며, 자체 쿠버네티스 인프라에 직접 호스팅합니다.
