VibeVoice

يستخدم VibeVoice مُرمّزات صوتية ودلالية تعمل بمعدل إطار 7.5 هرتز. يقلل هذا بشكل كبير من الحمل الحسابي مقارنة بأنظمة TTS التقليدية، والتي غالبًا ما تعمل بمعدلات إطارات أعلى بكثير (مثل 25-50 هرتز). تسمح هذه الكفاءة بمعالجة تسلسلات صوتية أطول وتدعم التوليد في الوقت الفعلي أو شبهه، وهو أمر بالغ الأهمية للتطبيقات التفاعلية.

يستخدم إطار عمل انتشار الرمز المميز التالي، ويجمع بين LLM ورأس انتشار. يفهم LLM السياق النصي وتدفق الحوار، بينما يولد رأس الانتشار تفاصيل صوتية عالية الدقة. يسمح هذا النهج بالتحكم الدقيق في خصائص الكلام، بما في ذلك النطق والتنغيم والسمات الصوتية الخاصة بالمتحدث، مما يؤدي إلى صوت طبيعي أكثر.

يدعم ما يصل إلى 4 متحدثين متميزين ضمن توليد صوت واحد، وهو تقدم كبير على العديد من نماذج TTS التي تتعامل عادةً مع 1-2 متحدثين. هذه الميزة ذات قيمة خاصة لإنشاء البودكاست والحوارات والمحتويات الأخرى للمحادثة حيث تكون الأصوات المتعددة ضرورية. يحافظ النموذج على اتساق المتحدثين عبر المقاطع الصوتية الطويلة.

قادر على تجميع الكلام لمدة تصل إلى 90 دقيقة. هذه القدرة هي تحسن ملحوظ على العديد من أنظمة TTS الموجودة، والتي غالبًا ما تكافح من أجل توليد صوت متماسك وطبيعي المظهر على مدى فترات طويلة. وهذا يجعل VibeVoice مناسبًا لإنشاء محتوى طويل مثل الكتب الصوتية والبودكاست والمواد التعليمية.

VibeVoice مفتوح المصدر، مما يسمح للمطورين والباحثين بالوصول إلى التعليمات البرمجية وتعديلها وتوزيعها بحرية. وهذا يعزز التعاون والابتكار داخل مجتمع TTS. تسمح طبيعة المصدر المفتوح أيضًا بالتخصيص والتكامل مع الأدوات والمنصات الأخرى، مما يزيد من تنوعه.