مقاله به سوی درک گفتار چندبعدی با جزئیات دقیق: خط لوله داده، معیار و مدل

مدل‌های زبانی بزرگ گفتاری (LLMs) در وظایف معمول مانند تشخیص گفتار پایه عملکرد خوبی دارند، اما فاقد درک ظریف و چندبعدی هستند. این نقص در ناتوانی آن‌ها در تفکیک ویژگی‌های پیچیده مانند نشانه‌های ریزصوتی، صحنه‌های صوتی و سیگنال‌های فرازبانی مشهود است. این درک ناقص از گفتار دنیای واقعی، اساساً مانع توسعه سیستم‌های گفتاری نسل بعدیِ درک‌کننده و همدل می‌شود. در هسته، این محدودیت ادراکی پایدار عمدتاً ناشی از سه عامل تعاملی است: داده‌های ناکافی و با کیفیت پایینِ بیانگر، عدم وجود مدل‌سازی ظریف برای ویژگی‌های چندبعدی، و اتکا به معیارهای ارزیابی با پوشش محدود و درشت‌دانه. ما این چالش‌ها را از طریق سه ستون اصلی برطرف می‌کنیم: اول، خط لوله مدیریت داده قوی ما، چالش‌های محیط‌های صوتی پیچیده و هم‌ترازی زمانی طولانی صدا را حل کرده و یک مجموعه داده گفتار خودجوش با کیفیت بالا از منابع دیداری-شنیداری استخراج می‌کند. دوم، ما FMSU-Bench را ایجاد می‌کنیم، یک معیار پیشگام که 14 بعد ویژگی گفتار را پوشش می‌دهد تا قابلیت‌های درک گفتار ظریف و چندبعدی مدل‌های فعلی را به طور دقیق ارزیابی کند. سوم، با بهره‌گیری از مجموعه داده جمع‌آوری شده توسط ما، FM-Speech را معرفی می‌کنیم. این مدل که با چارچوب مدل‌سازی ویژگی‌های مجزا و تنظیم دقیقِ برنامه‌درسیِ تدریجی هدایت می‌شود، ادراک آکوستیک ظریف و چندبعدی را به طور قابل توجهی ارتقا می‌دهد. ارزیابی‌های گسترده بر روی FMSU-Bench نشان می‌دهد که LLMهای گفتاری فعلی هنوز نیاز به بهبود قابل توجهی در درک چندبعدی و ظریف دارند. در مقابل، FM-Speech به طور قابل توجهی از مدل‌های متن‌باز فعلی بهتر عمل می‌کند و یک پارادایم قوی برای درک گفتار دنیای واقعی ایجاد می‌کند.

While speech Large Language Models (LLMs) excel at conventional tasks like basic speech recognition, they lack fine-grained, multi-dimensional perception. This deficiency is evident in their struggle to disentangle complex features like micro-acoustic cues, acoustic scenes, and paralinguistic signals. This resulting incomplete comprehension of real-world speech fundamentally bottlenecks the development of perceptive and empathetic next-generation speech systems. At its core, this persistent perceptual limitation primarily stems from three interacting factors: scarce high-quality expressive data, absent fine-grained modeling for multi-dimensional attributes, and reliance on restricted coverage, coarse-grained benchmarks. We address these challenges through three pillars: First, our robust data curation pipeline resolves complex acoustic environments and long-audio timestamp alignment challenges to extract a high-quality spontaneous speech corpus from audiovisual sources. Second, we construct FMSU-Bench, a pioneering benchmark covering 14 speech attribute dimensions to rigorously assess the fine-grained, multi-dimensional speech understanding capabilities of current models. Third, empowered by our curated corpus, we introduce FM-Speech. Driven by a decoupled attribute modeling and progressive curriculum fine-tuning framework, it substantially elevates fine-grained, multi-dimensional acoustic perception. Extensive evaluations on FMSU-Bench reveal that current speech LLMs still require significant improvement in multi-dimensional, fine-grained understanding. In contrast, FM-Speech substantially outperforms current open-source models, establishing a robust paradigm for real-world speech understanding.