One API

นำเสนอ API endpoint เดียวที่สอดคล้องกันสำหรับการเข้าถึง LLMs หลายรายการ ซึ่งช่วยลดความซับซ้อนในการรวมและลดโค้ดที่จำเป็นในการสลับระหว่างโมเดล ตัวอย่างเช่น นักพัฒนาสามารถสลับจาก GPT-3.5 เป็น GPT-4 ได้ด้วยการเปลี่ยนแปลงการกำหนดค่าอย่างง่าย โดยไม่ต้องแก้ไขตรรกะแอปพลิเคชันหลัก เลเยอร์การสรุปนี้ยังจัดการกับความแตกต่างในรูปแบบคำขอและโครงสร้างการตอบสนอง

ช่วยให้สลับระหว่าง LLMs ต่างๆ ได้อย่างง่ายดายตามประสิทธิภาพ ต้นทุน หรือความพร้อมใช้งาน กำหนดเส้นทางคำขอไปยังโมเดลที่เหมาะสมที่สุดอย่างชาญฉลาด โดยปรับให้เหมาะสมกับปัจจัยต่างๆ เช่น latency และ token pricing ซึ่งช่วยให้สามารถทดสอบ A/B ของโมเดลต่างๆ และการจัดสรรทรัพยากรแบบไดนามิกได้ ตรรกะการกำหนดเส้นทางสามารถปรับแต่งได้ตามเกณฑ์ต่างๆ เช่น ขนาดคำขอหรือตำแหน่งผู้ใช้

มีเครื่องมือสำหรับการตรวจสอบและควบคุมต้นทุนการใช้งาน LLM คุณสมบัติต่างๆ ได้แก่ การติดตามต้นทุน การจัดทำงบประมาณ และ rate limiting ผู้ใช้สามารถกำหนดวงเงินใช้จ่ายและรับการแจ้งเตือนเมื่อใกล้ถึงงบประมาณ แพลตฟอร์มนี้ยังมีคุณสมบัติต่างๆ เช่น intelligent caching และ request batching เพื่อลดต้นทุน ข้อมูลวิเคราะห์โดยละเอียดให้ข้อมูลเชิงลึกเกี่ยวกับรูปแบบการใช้งานโมเดล

ช่วยลดความซับซ้อนในการตรวจสอบสิทธิ์โดยการจัดการ API keys และข้อมูลประจำตัวการเข้าถึงสำหรับ LLMs ที่รองรับทั้งหมดในที่เดียว ซึ่งช่วยลดความเสี่ยงในการเปิดเผยข้อมูลที่ละเอียดอ่อนและปรับปรุงกระบวนการตรวจสอบสิทธิ์ รองรับวิธีการตรวจสอบสิทธิ์ต่างๆ รวมถึง API keys, OAuth และรูปแบบการตรวจสอบสิทธิ์แบบกำหนดเอง จัดเก็บและจัดการ API keys ทั้งหมดอย่างปลอดภัย

นำเสนอการตรวจสอบการใช้งาน API, เมตริกประสิทธิภาพ และอัตราข้อผิดพลาดแบบเรียลไทม์ มีแดชบอร์ดการวิเคราะห์โดยละเอียดเพื่อติดตามปริมาณคำขอ, latency และต้นทุนต่อโมเดล ซึ่งช่วยให้ผู้ใช้สามารถระบุปัญหาคอขวด ปรับปรุงประสิทธิภาพ และแก้ไขปัญหาได้อย่างรวดเร็ว มีแดชบอร์ดและคุณสมบัติการแจ้งเตือนที่ปรับแต่งได้