شیائومی یک مدل جدید تشخیص گفتار با نام Xiaomi-CocktailASR-1 معرفی و متن‌باز کرده است؛ مدلی که برای یکی از سخت‌ترین مسائل تشخیص گفتار، یعنی جدا کردن و تبدیل صدای یک گوینده مشخص در محیط‌هایی با چند صدای هم‌زمان، طراحی شده است.
این مسئله در حوزه پردازش صوت با عنوان «Cocktail Party Problem» شناخته می‌شود. در محیط‌هایی مانند جلسه، رستوران یا فضای شلوغ، چند نفر ممکن است هم‌زمان صحبت کنند و سیستم‌های معمول تشخیص گفتار در چنین شرایطی دقت خود را از دست بدهند. هدف مدل جدید شیائومی این است که بدون نیاز به جدا کردن کامل صداها، مستقیماً روی صدای فرد موردنظر تمرکز کند.
Xiaomi-CocktailASR-۱ چگونه گوینده هدف را تشخیص می‌دهد؟
بر اساس گزارش فنی منتشرشده توسط تیم Xiaomi Inc، مدل از یک نمونه کوتاه صدای گوینده هدف به‌عنوان «Voiceprint Prompt» استفاده می‌کند. سپس صدای مرجع و فایل صوتی شلوغ به مدل داده می‌شوند تا سیستم فقط گفتار همان فرد را استخراج و به متن تبدیل کند.
این معماری به‌صورت end-to-end طراحی شده و برخلاف برخی روش‌های قدیمی‌تر، به یک مرحله مستقل برای جداسازی صدا نیاز ندارد. در ساختار مدل از یک Audio Encoder، یک Adapter و یک مدل زبانی بزرگ استفاده می‌شود و بخش زبانی بر پایه Qwen3-8B توسعه یافته است.
کار در محیط چندگوینده بدون افت شدید در حالت تک‌گوینده
یکی از نکات مهم در گزارش شیائومی این است که مدل فقط برای شرایط شلوغ طراحی نشده است. Xiaomi-CocktailASR-۱ در حالت تک‌گوینده نیز عملکردی نزدیک به مدل‌های استاندارد تشخیص گفتار دارد؛ بنابراین یک سیستم می‌تواند بدون جابه‌جایی میان چند مدل، هم مکالمه عادی و هم سناریوهای چندگوینده را مدیریت کند.
در آزمایش‌های منتشرشده، مدل در چند مجموعه‌داده مصنوعی و واقعی عملکرد رقابتی یا برتر نسبت به راهکارهای قبلی ثبت کرده است. تیم تحقیقاتی شیائومی اعلام کرده که این مدل در چند بنچمارک چندگوینده به سطح SOTA رسیده است.
قابلیت رد کردن صدای افراد غیرهدف
قابلیت مهم دیگر، «Negative Sample Rejection» است. اگر گوینده هدف اصلاً در فایل صوتی حضور نداشته باشد، مدل می‌تواند خروجی خالی تولید کند و از نسبت دادن اشتباه صدای افراد دیگر به کاربر اصلی جلوگیری کند.
این ویژگی برای کاربردهایی مانند دستیارهای صوتی، جلسات هوشمند، سیستم‌های داخل خودرو و دستگاه‌های خانه هوشمند اهمیت زیادی دارد؛ چون یکی از مشکلات رایج سیستم‌های صوتی، فعال شدن یا پاسخ دادن به صدای افراد اشتباه است.
پشتیبانی از حالت استدلال زنجیره‌ای
Xiaomi-CocktailASR-۱ علاوه بر حالت استاندارد، از حالت Chain-of-Thought نیز پشتیبانی می‌کند. در این حالت مدل می‌تواند مراحل میانی تحلیل خود را تولید کند تا فرآیند تشخیص گوینده و تبدیل گفتار قابل‌تفسیرتر شود. طبق گزارش فنی، این حالت در برخی آزمون‌ها به بهبود جزئی دقت نیز کمک کرده است.
چرا این پروژه برای اکوسیستم شیائومی مهم است؟
شیائومی در سال‌های اخیر سرمایه‌گذاری خود روی هوش مصنوعی، مدل‌های زبانی و تعامل صوتی را افزایش داده است. مدلی مانند CocktailASR-۱ می‌تواند در آینده برای دستیار صوتی، خودرو، تلویزیون، اسپیکر و تجهیزات خانه هوشمند کاربرد داشته باشد؛ به‌خصوص در محیط‌هایی که چند نفر حضور دارند.
این پروژه به‌صورت متن‌باز منتشر شده و گزارش فنی آن نیز در arXiv در دسترس است. البته متن‌باز بودن مدل به معنی استفاده فوری آن در محصولات مصرفی شیائومی نیست و فعلاً باید آن را یک پروژه تحقیقاتی و زیرساختی مهم در حوزه تشخیص گفتار در نظر گرفت.
منابع: گزارش فنی Xiaomi-CocktailASR-۱ در arXiv و اعلام تیم تحقیقاتی شیائومی.