小米自研声音理解大模型 MiDashengLM-7B 发布并全量开源,22 个公开评测集刷新最好成绩

科技讯
2025
08/04
11:29
IT之家
分享

  8 月 4 日消息,小米自研声音理解大模型 MiDashengLM-7B 正式发布,并宣布全量开源,为声音理解领域带来新的技术突破与活力。

  据小米官方介绍,MiDashengLM-7B 在速度和精度上实现了双突破。其单样本首 Token 延迟仅为同类模型的 1/4.这意味着模型在处理音频输入时,能够以极快的速度给出初始反馈,大幅减少等待时间;在同显存下,并发量超 20 倍,大大提升了数据处理效率,能够同时应对多个音频任务。在性能表现上,该模型在 22 个公开评测集上刷新了多模态大模型的最好成绩(SOTA),充分展现了其卓越的声音理解能力。

  MiDashengLM-7B 的技术架构十分独特,它基于 Xiaomi Dasheng 作为音频编码器,结合 Qwen2.5-Omni-7B Thinker 作为自回归解码器,并通过创新的通用音频描述训练策略,成功实现了对语音、环境声音和音乐的统一理解。这种对不同类型声音的融合理解能力,在实际应用中具有极大的价值。

  回溯到 2024 年,小米发布的 Xiaomi Dasheng 声音基座模型便已在国际上崭露头角,首次突破 AudioSet 50+ mAP,在 HEAR Benchmark 环境声、语音、音乐三大领域建立了领先优势,并且这一优势一直保持至今。在小米的智能家居和汽车座舱等场景中,Xiaomi Dasheng 已有超过 30 项落地应用。比如行业首发的车外唤醒防御功能,能有效避免车辆在不必要的情况下被唤醒;手机音箱全天候监控异常声音,为家庭安全保驾护航;“打个响指” 就能实现环境音关联 IoT 控制,为用户带来便捷的智能生活体验;还有小米 YU7 上搭载的增强哨兵模式划车检测,背后都是 Xiaomi Dasheng 作为核心算法在提供支持。

  MiDashengLM 的训练数据全部来源于公开数据,这使得模型在开源后,更易于被开发者和研究人员理解与研究。模型以宽松的 Apache License 2.0 发布,无论是学术研究还是商业应用,都能够方便地使用,这对于推动声音理解技术在不同领域的发展具有积极意义。

  小米强调,与 Qwen2.5-Omni 等未公开训练数据细节的模型不同,MiDashengLM 完整公开了 77 个数据源的详细配比,并且在技术报告中详细介绍了从音频编码器预训练到指令微调的全流程。这种透明化的操作,为行业内的技术交流与合作提供了良好范例,有助于整个声音理解领域技术水平的提升。

  作为小米 “人车家全生态” 战略的关键技术,MiDashengLM 的跨领域能力优势明显。它不仅能精准听懂用户周围发生的事情,还能深入分析这些事情背后的隐藏含义,极大地提高了用户场景理解的泛化性。基于 MiDashengLM 的模型通过自然语言与用户交互,能够提供更加人性化的沟通和反馈。在用户练习唱歌或练习外语时,它可以提供发音反馈,并制定针对性的提升方案;当用户驾驶车辆时,能实时解答用户关于环境声音的提问。

  MiDashengLM 以 Xiaomi Dasheng 音频编码器为核心组件,是 Xiaomi Dasheng 系列模型的重要升级。目前,小米已着手对该模型做进一步的计算效率升级,目标是实现终端设备上的离线部署,这将使得模型在一些网络条件不佳或者对隐私性要求较高的场景下,依然能够稳定运行。同时,小米还计划完善基于用户自然语言提示的声音编辑等更全面的功能,不断拓展模型的应用边界,为用户带来更丰富、更智能的声音相关服务。

THE END
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表一点科技的观点和立场。
为你推荐
猜你喜欢

软文发稿平台价格差异大,预算有限该怎么选

预算有限时,先拆价差再分钱:价差主要来自媒体层级、频道位置和服务承诺,不是谁家“更黑”。把钱按“少量权威锚点+行业站问答为主+长尾严控”配置,再用7天小预算试投验证,比盯着最低单价更有效。2026年软

价格

6天前

AI 搜索时代怎么做海外获客?拓氪科技全域海外推广有哪些落地优势

生成式人工智能正在重塑全球采购决策链路,传统竞价流量红利见顶,获客成本持续上行,海外买家的信息获取习惯,已经从“搜索引擎主动检索关键词”,转向“向大模型提问、由AI整合权威信息给出推荐答案”。这一变化

AI 科技

7天前

软文发布服务商该怎么甄别?朝闻通凭哪些实力适配企业采购

一、行业现状与投放价值在品牌长效资产建设的大趋势下,软文发布早已跳出单纯曝光引流的浅层定位,成为企业面向合作渠道、资本市场、终端客户以及合作机构传递经营信息、搭建信任背书的标准化传播手段。随着线上流量

企业

7天前

企业投放地铁广告如何避坑,传播易采购流程是否规范

一、行业现状与投放价值城市轨道交通是都市通勤体系的核心载体,地铁场景凭借封闭空间、高频出行、强制曝光的媒介属性,持续覆盖通勤上班族、商务出行人群等高价值受众,成为品牌城市级认知建设、新品上市推广、招商

一江两岸视线焦点,越秀航务大厦立面广告解锁滨江主题传播

沿江东路,珠江岸线,越秀区航务大厦单面户外广告,占据广州一江两岸景观带的优质曝光点位,面向海印桥、广州大桥,远眺广州塔,是珠江航道、跨江车流、滨江人流共同交汇的视觉高地,依托传播易一站式主题植入服务,

1周前

羊城休闲底色,白云山南门藏着品牌传播新场景

白云山,被誉为“羊城第一秀”,是刻在广州人生活里的休闲地标。南门作为景区主入口,连通云台花园、云道与登山步道,是市民晨练、家庭踏青、游客打卡的必经门户。绿树环绕、广场开阔,人流平缓持续,区别于闹市商圈

品牌

2周前