VibeVoice

VibeVoice ใช้ตัวสร้างโทเค็น Acoustic และ Semantic ที่ทำงานที่อัตราเฟรม 7.5 Hz ซึ่งช่วยลดภาระการคำนวณได้อย่างมากเมื่อเทียบกับระบบ TTS แบบดั้งเดิม ซึ่งมักจะทำงานที่อัตราเฟรมที่สูงกว่ามาก (เช่น 25-50 Hz) ประสิทธิภาพนี้ช่วยให้ประมวลผลลำดับเสียงที่ยาวขึ้นและรองรับการสร้างแบบเรียลไทม์หรือเกือบเรียลไทม์ ซึ่งมีความสำคัญอย่างยิ่งสำหรับการใช้งานแบบโต้ตอบ

ใช้เฟรมเวิร์กการแพร่กระจายโทเค็นถัดไป โดยรวม LLM เข้ากับส่วนหัวการแพร่กระจาย LLM เข้าใจบริบทข้อความและการไหลของการสนทนา ในขณะที่ส่วนหัวการแพร่กระจายสร้างรายละเอียดอะคูสติกที่มีความเที่ยงตรงสูง แนวทางนี้ช่วยให้ควบคุมลักษณะการพูดได้อย่างละเอียด รวมถึงการเน้นเสียง การออกเสียง และลักษณะเฉพาะของเสียงร้องเฉพาะลำโพง ส่งผลให้เสียงเป็นธรรมชาติมากขึ้น

รองรับลำโพงที่แตกต่างกันสูงสุด 4 ตัวในการสร้างเสียงเดียว ซึ่งเป็นความก้าวหน้าที่สำคัญกว่าโมเดล TTS จำนวนมากที่มักจะจัดการกับลำโพง 1-2 ตัว คุณสมบัตินี้มีคุณค่าอย่างยิ่งสำหรับการสร้างพอดแคสต์ การสนทนา และเนื้อหาการสนทนาอื่นๆ ที่จำเป็นต้องมีหลายเสียง โมเดลยังคงรักษาความสอดคล้องของลำโพงตลอดส่วนเสียงที่ยาวนาน

สามารถสังเคราะห์เสียงพูดได้นานถึง 90 นาที ความสามารถนี้เป็นการปรับปรุงที่เห็นได้ชัดเจนกว่าระบบ TTS ที่มีอยู่มากมาย ซึ่งมักจะประสบปัญหาในการสร้างเสียงที่สอดคล้องกันและเป็นธรรมชาติในช่วงระยะเวลาที่ยาวนาน ทำให้ VibeVoice เหมาะสำหรับการสร้างเนื้อหารูปแบบยาว เช่น หนังสือเสียง พอดแคสต์ และสื่อการศึกษา

VibeVoice เป็นโอเพนซอร์ส ทำให้ผู้พัฒนาและนักวิจัยสามารถเข้าถึง แก้ไข และเผยแพร่โค้ดได้อย่างอิสระ สิ่งนี้ส่งเสริมความร่วมมือและนวัตกรรมภายในชุมชน TTS ธรรมชาติโอเพนซอร์สยังช่วยให้สามารถปรับแต่งและผสานรวมกับเครื่องมือและแพลตฟอร์มอื่นๆ เพิ่มความสามารถรอบด้าน