Open Screen

生のDOM構造とページのレンダリング済みスクリーンショットの両方をキャプチャします。これらのスナップショットをマルチモーダルLLMに入力することで、エージェントはUI要素の空間的な位置関係を把握し、サイト更新時に壊れやすいCSSセレクタではなく、視覚的な位置に基づいてボタンや入力フィールドを操作できます。

ユーザーの高度な意図を、クリック、スクロール、テキスト入力といった正確なブラウザ操作に変換します。複雑な自動化スクリプトを書く代わりに、開発者は平易な英語で目標を定義し、システムはLLMを使用して対象Webページで目的の結果を得るために必要な手順を推論します。

非同期のページ読み込みや動的なコンテンツ更新を自動的に管理します。DOMの変更を継続的に監視し、エージェントが要素のレンダリングを待ってから操作を試みるようにします。これにより、ReactやVueなどの重いJavaScriptフレームワークを扱う際に従来の自動化ツールで頻発する「要素が見つからない」エラーを大幅に削減します。

高性能なヘッドレスブラウザプロトコル上に構築されており、リソース消費を最小限に抑えます。ヘッドレス状態で実行することでメモリ使用量を低く保ち、GUI環境を必要とせずに標準的なクラウドインフラ上で複数のエージェントインスタンスを並列稼働させることが可能です。

エージェントがすべてのアクションの結果を評価する再帰的ループを実装しています。アクションが失敗したり予期せぬ状態になった場合、システムはエラーのコンテキストをLLMにフィードバックし、自己修正して別の経路を試行させます。これは堅牢で自律的なWebナビゲーションに不可欠です。