小米自研声音理解大模型 MiDashengLM-7B 发布并全量开源,22 个公开评测集刷新最好成绩

科技讯
2025
08/04
11:29
IT之家
分享

  8 月 4 日消息,小米自研声音理解大模型 MiDashengLM-7B 正式发布,并宣布全量开源,为声音理解领域带来新的技术突破与活力。

  据小米官方介绍,MiDashengLM-7B 在速度和精度上实现了双突破。其单样本首 Token 延迟仅为同类模型的 1/4.这意味着模型在处理音频输入时,能够以极快的速度给出初始反馈,大幅减少等待时间;在同显存下,并发量超 20 倍,大大提升了数据处理效率,能够同时应对多个音频任务。在性能表现上,该模型在 22 个公开评测集上刷新了多模态大模型的最好成绩(SOTA),充分展现了其卓越的声音理解能力。

  MiDashengLM-7B 的技术架构十分独特,它基于 Xiaomi Dasheng 作为音频编码器,结合 Qwen2.5-Omni-7B Thinker 作为自回归解码器,并通过创新的通用音频描述训练策略,成功实现了对语音、环境声音和音乐的统一理解。这种对不同类型声音的融合理解能力,在实际应用中具有极大的价值。

  回溯到 2024 年,小米发布的 Xiaomi Dasheng 声音基座模型便已在国际上崭露头角,首次突破 AudioSet 50+ mAP,在 HEAR Benchmark 环境声、语音、音乐三大领域建立了领先优势,并且这一优势一直保持至今。在小米的智能家居和汽车座舱等场景中,Xiaomi Dasheng 已有超过 30 项落地应用。比如行业首发的车外唤醒防御功能,能有效避免车辆在不必要的情况下被唤醒;手机音箱全天候监控异常声音,为家庭安全保驾护航;“打个响指” 就能实现环境音关联 IoT 控制,为用户带来便捷的智能生活体验;还有小米 YU7 上搭载的增强哨兵模式划车检测,背后都是 Xiaomi Dasheng 作为核心算法在提供支持。

  MiDashengLM 的训练数据全部来源于公开数据,这使得模型在开源后,更易于被开发者和研究人员理解与研究。模型以宽松的 Apache License 2.0 发布,无论是学术研究还是商业应用,都能够方便地使用,这对于推动声音理解技术在不同领域的发展具有积极意义。

  小米强调,与 Qwen2.5-Omni 等未公开训练数据细节的模型不同,MiDashengLM 完整公开了 77 个数据源的详细配比,并且在技术报告中详细介绍了从音频编码器预训练到指令微调的全流程。这种透明化的操作,为行业内的技术交流与合作提供了良好范例,有助于整个声音理解领域技术水平的提升。

  作为小米 “人车家全生态” 战略的关键技术,MiDashengLM 的跨领域能力优势明显。它不仅能精准听懂用户周围发生的事情,还能深入分析这些事情背后的隐藏含义,极大地提高了用户场景理解的泛化性。基于 MiDashengLM 的模型通过自然语言与用户交互,能够提供更加人性化的沟通和反馈。在用户练习唱歌或练习外语时,它可以提供发音反馈,并制定针对性的提升方案;当用户驾驶车辆时,能实时解答用户关于环境声音的提问。

  MiDashengLM 以 Xiaomi Dasheng 音频编码器为核心组件,是 Xiaomi Dasheng 系列模型的重要升级。目前,小米已着手对该模型做进一步的计算效率升级,目标是实现终端设备上的离线部署,这将使得模型在一些网络条件不佳或者对隐私性要求较高的场景下,依然能够稳定运行。同时,小米还计划完善基于用户自然语言提示的声音编辑等更全面的功能,不断拓展模型的应用边界,为用户带来更丰富、更智能的声音相关服务。

THE END
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表一点科技的观点和立场。
猜你喜欢

创业版企业上市条件解析

本文详细解析了创业版企业上市所需的基本条件,包括财务标准、业务模式、市场审核等方面的内容,为企业成功上市提供了全面的指南。

未来科技的五大趋势

探索未来科技的五大趋势,包括人工智能、量子计算、生物工程、虚拟现实和可再生能源技术,它们将如何塑造我们的未来生活和社会。

未来科技:人工智能与人类生活的融合

探索人工智能如何改变人类生活,分析其对社会和经济的影响,以及如何应对可能带来的挑战。

免费AI机器人软件的探索之旅

本文介绍了市场上几款优秀的免费AI机器人软件,包括OpenAI的GPT系列模型、InVision的A/B Testing工具以及Google Cloud提供的免费AI服务。还推荐了一些适合初学者的开源AI项目和机器学习框架,帮助用户在不花费一分钱的情况下,充分利用AI的强大功能。

未来科技:AI与人类共生的新篇章

本文探讨了人工智能(AI)与人类共生的未来趋势,分析了技术进步带来的机遇与挑战,并提出了相应的对策建议。文章强调了在享受AI便利的同时,必须关注其对就业市场的影响以及伦理道德问题的重要性。

探索未来科技:人工智能如何重塑我们的世界

本文探讨了人工智能如何改变我们的日常生活、工作方式以及医疗领域等多个方面。通过分析AI技术的优势与挑战,提出了应对策略和建议。