Argo Workflows

Kubernetes内のカスタムリソース定義（CRD）として動作することで、Argo Workflowsはクラスターのネイティブ機能を活用します。外部のワークフローサーバーが不要となり、標準の 'kubectl' コマンドでワークフローを管理可能です。この統合により、ワークフローのPodはクラスターのセキュリティ、ネットワーク、ストレージポリシーを継承し、複雑なコンテナ環境を管理するDevOpsチームにシームレスな運用体験を提供します。

Argoは、有向非巡回グラフ（DAG）とステップベースのシーケンシャルなワークフローの両方をサポートします。DAGは上流ノードの完了に基づいてタスクを並列実行する複雑な依存関係管理を可能にし、ステップベースのワークフローは線形実行を提供します。この柔軟性により、エンジニアは単純なCI/CDパイプラインから、分岐ロジック、リトライ、条件付き実行パスを含む複雑なデータサイエンスパイプラインまでをモデル化できます。

Argoは、アーティファクトを使用してワークフローのステップ間でデータを渡す機能を組み込んでいます。S3、GCS、Artifactoryと統合し、出力の保存と取得を自動化します。エンジンがこれらアーティファクトのライフサイクルを管理するため、共有ボリュームや外部データベースを手動で管理する必要がなく、分散ノード間でのデータ可用性が保証されます。

すべてのワークフローステップがKubernetesのPodであるため、Argoはクラスター全体の容量に合わせて水平方向にスケーリングできます。数千の同時タスクを実行可能で、高スループットなバッチ処理や大規模なMLトレーニングジョブに最適です。中央集権的なエンジンとは異なり、スケジューリングの負荷を大規模環境で実証済みのKubernetesスケジューラーにオフロードします。

組み込みのWebベースUIは、ワークフロー実行のリアルタイムなグラフィカル表示を提供します。ユーザーはDAG構造の可視化、個々のPodのステータス確認、ログの閲覧、失敗したステップのブラウザからの直接再実行が可能です。この可観測性は、多段階プロセス内のどこで障害が発生したかを即座に把握できるため、複雑なパイプラインのトラブルシューティングに不可欠です。