小米自研声音理解大模型 MiDashengLM-7B 发布并全量开源,22 个公开评测集刷新最好成绩

科技讯
2025
08/04
11:29
IT之家
分享

  8 月 4 日消息,小米自研声音理解大模型 MiDashengLM-7B 正式发布,并宣布全量开源,为声音理解领域带来新的技术突破与活力。

  据小米官方介绍,MiDashengLM-7B 在速度和精度上实现了双突破。其单样本首 Token 延迟仅为同类模型的 1/4.这意味着模型在处理音频输入时,能够以极快的速度给出初始反馈,大幅减少等待时间;在同显存下,并发量超 20 倍,大大提升了数据处理效率,能够同时应对多个音频任务。在性能表现上,该模型在 22 个公开评测集上刷新了多模态大模型的最好成绩(SOTA),充分展现了其卓越的声音理解能力。

  MiDashengLM-7B 的技术架构十分独特,它基于 Xiaomi Dasheng 作为音频编码器,结合 Qwen2.5-Omni-7B Thinker 作为自回归解码器,并通过创新的通用音频描述训练策略,成功实现了对语音、环境声音和音乐的统一理解。这种对不同类型声音的融合理解能力,在实际应用中具有极大的价值。

  回溯到 2024 年,小米发布的 Xiaomi Dasheng 声音基座模型便已在国际上崭露头角,首次突破 AudioSet 50+ mAP,在 HEAR Benchmark 环境声、语音、音乐三大领域建立了领先优势,并且这一优势一直保持至今。在小米的智能家居和汽车座舱等场景中,Xiaomi Dasheng 已有超过 30 项落地应用。比如行业首发的车外唤醒防御功能,能有效避免车辆在不必要的情况下被唤醒;手机音箱全天候监控异常声音,为家庭安全保驾护航;“打个响指” 就能实现环境音关联 IoT 控制,为用户带来便捷的智能生活体验;还有小米 YU7 上搭载的增强哨兵模式划车检测,背后都是 Xiaomi Dasheng 作为核心算法在提供支持。

  MiDashengLM 的训练数据全部来源于公开数据,这使得模型在开源后,更易于被开发者和研究人员理解与研究。模型以宽松的 Apache License 2.0 发布,无论是学术研究还是商业应用,都能够方便地使用,这对于推动声音理解技术在不同领域的发展具有积极意义。

  小米强调,与 Qwen2.5-Omni 等未公开训练数据细节的模型不同,MiDashengLM 完整公开了 77 个数据源的详细配比,并且在技术报告中详细介绍了从音频编码器预训练到指令微调的全流程。这种透明化的操作,为行业内的技术交流与合作提供了良好范例,有助于整个声音理解领域技术水平的提升。

  作为小米 “人车家全生态” 战略的关键技术,MiDashengLM 的跨领域能力优势明显。它不仅能精准听懂用户周围发生的事情,还能深入分析这些事情背后的隐藏含义,极大地提高了用户场景理解的泛化性。基于 MiDashengLM 的模型通过自然语言与用户交互,能够提供更加人性化的沟通和反馈。在用户练习唱歌或练习外语时,它可以提供发音反馈,并制定针对性的提升方案;当用户驾驶车辆时,能实时解答用户关于环境声音的提问。

  MiDashengLM 以 Xiaomi Dasheng 音频编码器为核心组件,是 Xiaomi Dasheng 系列模型的重要升级。目前,小米已着手对该模型做进一步的计算效率升级,目标是实现终端设备上的离线部署,这将使得模型在一些网络条件不佳或者对隐私性要求较高的场景下,依然能够稳定运行。同时,小米还计划完善基于用户自然语言提示的声音编辑等更全面的功能,不断拓展模型的应用边界,为用户带来更丰富、更智能的声音相关服务。

THE END
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表一点科技的观点和立场。
为你推荐
猜你喜欢

企业自媒体如何突破流量瓶颈?拓氪科技AI精细化运营实现长效增长

历经野蛮生长的爆发式发展阶段,国内自媒体行业正式迈入精细化、专业化、系统化深耕的下半场。当下的自媒体早已跳出图文发布、短视频剪辑的浅层运营范畴,升级为融合内容创意创作、用户心理洞察、数据复盘分析、全链

品牌如何实现AI长效曝光与全域传播?朝闻通资源与技术实力解析

2026年数字化营销行业持续迭代,市场竞争全面进入精细化、常态化比拼阶段。传统粗放式买量、广撒网传播模式,普遍存在投放成本高、受众精准度不足、转化效率低下等问题,已经无法匹配当下企业精准获客、降本增效

品牌 AI 技术

2周前

2026户外广告行业升级,传播易如何实现数字化精准投放?

2026年,国内品牌户外广告投放预算实现连续三年稳步增长。线上流量红利逐渐见顶、线上获客成本持续走高,让兼具物理强制触达、数字智能互动双重优势的户外场景,成为品牌全域营销的核心突破口。相较于可一键跳过

品牌出海如何通过海外媒体发稿搭建全球影响力?

海外媒体发稿是品牌出海布局中,搭建全球品牌声量、建立国际用户信任、精准触达海外目标客群的核心抓手。在复杂多元、层级庞杂的海外媒体生态中,大量出海企业普遍面临渠道选择难题:通讯社、综合媒体、行业垂类平台

品牌 影响

1个月前

品牌户外投放如何降本增效?传播易智能化投放靠谱吗?

线下流量价值持续回归,让户外广告告别传统粗放投放模式,正式迈入数字化、智能化的深度转型升级阶段。在行业提质增效的大背景下,第三方权威机构发布的《2026中国户外广告投放平台综合实力排行榜》成为品牌选择

品牌 传播易 智能

1个月前

益禾堂官宣“天选”代言人,全国8000+门店迎来“最忙一天”

6月16日,益禾堂正式官宣王源成为全球品牌代言人,官宣半小时,#王源益禾堂#话题迅速登上微博热搜,代言人同款元气薄荷小汤圆、薄荷气泡柠首日累计销售额284.8万元,周边套餐上线数小时即被抢购一空,部分

1个月前