Open Screen

จับภาพโครงสร้าง DOM ดั้งเดิมและภาพหน้าจอที่เรนเดอร์แล้ว การส่ง snapshot เหล่านี้เข้าสู่ multimodal LLMs ช่วยให้ agent รับรู้ตำแหน่งขององค์ประกอบ UI ทำให้สามารถโต้ตอบกับปุ่มและช่องกรอกข้อมูลตามตำแหน่งภาพ แทนที่จะใช้ CSS selectors ที่มักจะพังเมื่อมีการอัปเดตเว็บไซต์

แปลงความต้องการของผู้ใช้ระดับสูงให้เป็นการกระทำในเบราว์เซอร์ที่แม่นยำ เช่น การคลิก การเลื่อน และการพิมพ์ข้อความ แทนที่จะเขียนสคริปต์อัตโนมัติที่ซับซ้อน นักพัฒนาเพียงกำหนดเป้าหมายเป็นภาษาอังกฤษทั่วไป และระบบจะใช้ LLM ในการวิเคราะห์ขั้นตอนที่จำเป็นเพื่อให้บรรลุผลลัพธ์บนหน้าเว็บเป้าหมาย

จัดการการโหลดหน้าเว็บแบบอะซิงโครนัสและการอัปเดตเนื้อหาแบบไดนามิกโดยอัตโนมัติ ระบบจะตรวจสอบการเปลี่ยนแปลงของ DOM อย่างต่อเนื่องเพื่อให้แน่ใจว่า agent รอให้องค์ประกอบเรนเดอร์เสร็จก่อนโต้ตอบ ซึ่งช่วยลดข้อผิดพลาด 'element not found' ที่พบบ่อยในเครื่องมืออัตโนมัติทั่วไปเมื่อใช้กับเฟรมเวิร์ก JavaScript อย่าง React หรือ Vue

สร้างขึ้นบนโปรโตคอลเบราว์เซอร์แบบ headless ประสิทธิภาพสูง จึงใช้ทรัพยากรน้อยมาก การทำงานในสถานะ headless ช่วยให้ใช้หน่วยความจำต่ำ ทำให้นักพัฒนาสามารถขยายขนาด agent หลายตัวพร้อมกันบนโครงสร้างพื้นฐานคลาวด์มาตรฐานได้โดยไม่ต้องใช้สภาพแวดล้อม GUI เต็มรูปแบบ

ใช้ลูปแบบเรียกซ้ำที่ agent จะประเมินผลลัพธ์ของการกระทำทุกครั้ง หากการกระทำล้มเหลวหรือนำไปสู่สถานะที่ไม่คาดคิด ระบบจะส่งบริบทของข้อผิดพลาดกลับไปยัง LLM เพื่อให้สามารถแก้ไขตัวเองและลองเส้นทางอื่น ซึ่งเป็นสิ่งสำคัญสำหรับการนำทางเว็บแบบอัตโนมัติที่แข็งแกร่ง