昆仑万维发布并开源 Matrix-Game 2.0 与 Matrix-3D 模型,深耕交互式世界模型领域

互联网
2025
08/12
10:07
IT之家
分享

  8 月 12 日消息,昆仑万维 SkyWork AI 技术发布周于 8 月 11 日正式启动,活动将连续五天每天发布一款模型,覆盖多模态 AI 核心场景。

  在首日,昆仑万维带来了自研世界模型 Matrix 系列中 Matrix-Game 交互世界模型的升级版本 ——「Matrix-Game 2.0」,该模型号称实现了通用场景下的交互式实时长序列生成。为促进交互式世界模型领域的发展,「Matrix-Game 2.0」全面开源,堪称业内首个在通用场景上实现实时长序列交互式生成的世界模型开源方案。

  「Matrix-Game 2.0」在实时生成和长序列能力上实现了 “质的飞跃”。相较于上一版本,2.0 版本更侧重低延迟、高帧率的长序列交互性能,能够以 25 FPS 的速度,在多种复杂场景中稳定生成连续视频内容,且生成时长可扩展至分钟级,大幅提升了内容的连贯性与实用性。

  值得一提的是,在推理速度显著提升的同时,模型依然保持了对物理规律与场景语义的 “精准理解”,支持用户通过简单指令,自由探索、操控并实时构建结构清晰、细节丰富、规则合理的虚拟环境。

  除了 Matrix-Game 2.0.昆仑万维还开源了 Matrix-3D 大模型。该模型能从单图像出发,生成高质量、轨迹一致的全景视频,并直接还原可漫游的三维空间,对标李飞飞 WorldLabs 的生成效果,可实现更大范围的探索空间。

  Matrix-3D 由以下核心部分组成:

  轨迹引导的全景视频生成模块:利用场景 Mesh 渲染图作为条件输入,训练视频扩散模型生成符合给定相机轨迹的全景视频。这一模块能提升生成视频在空间结构上的一致性,缓解遮挡错误与图像伪影问题。

  双路径可选择的全景 3D 重建模块:包含优化路径和前馈网络路径。优化路径会对生成的视频进行超分与 3DGS 优化,以获取高质量 3D 结构;前馈网络路径则基于 Transformer 直接回归,从生成视频 Latent 特征快速预测 3D 几何属性,实现高效重建。

  Matrix-Pano 数据集:这是一个大规模高质量合成数据集,包含 116K 条带有相机轨迹、深度图和文本注释的静态全景视频序列。

  此次两款模型的发布与开源,不仅展现了昆仑万维在 AI 多模态领域的技术实力,也为相关领域的开发者提供了有力的工具支持,有望推动交互式世界模型技术的进一步发展与应用落地。

THE END
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表一点科技的观点和立场。
猜你喜欢

命名A7 吉利银河全新家轿官图发布:综合续航超2100公里

6月3日消息,刚刚,吉利银河旗下全新B级轿车A7官图发布,该车号称“全球家轿新标杆”。很显然,A7的定位介于银河L6以及星耀8之间,不得不说,吉利这命名确实乱得可以,即便是同为轿车,也要有三种不同的方

吉利 吉利银河

半年前

小米汽车正为YU7大规模量产做准备:UWB钥匙、续航835km、多种轮胎选项

6月3日消息,昨日晚间,小米汽车官方发布答网友问(第150集)。针对“小米YU7上市后,产能够么?会不会要等很久才能提车?”这个问题,小米汽车答复称:我们正在为小米YU7大规模量产做准备。我们有信心在

小米 小米YU7

半年前

销量再创新高!鸿蒙智行端午假期全系车型大定突破10683台

6月3日消息,鸿蒙智行官方宣布,端午假期期间,其全系车型大定订单量突破10683台,销量再创新高。6月1日,鸿蒙智行官方还宣布,5月全系交付新车44454辆,再次刷新交付记录,进一步巩固了其在高端汽车

鸿蒙 鸿蒙智行

半年前

真我 Neo7 SE 获 realme UI 6 升级,功能再增强

4月1日消息,真我Neo7SE手机迎来realmeUI615.0.0.116版本升级,为用户带来多项实用新功能与体验优化。此次升级中,系统层面新增手套模式,方便用户在寒冷天气戴手套时,也能顺畅操作手机

半年前

realme多款机型将升级支持旁路充电技术

在智能手机市场竞争日益激烈的今天,各大厂商纷纷推出创新技术以提升用户体验。今年2月,realme推出的真我GT7Pro竞速版手机凭借其搭载的“旁路充电”技术吸引了众多消费者的目光。这一技术宣称能够绕过

半年前

《英雄联盟》2025全球先锋赛:电竞盛宴今日启幕,新赛制引领潮流

在万众瞩目中,《英雄联盟》2025全球先锋赛于北京时间今日16:00正式拉开帷幕,标志着电子竞技领域又一场顶级盛事的到来。此次赛事不仅是五大赛区精英战队的巅峰对决,更是新赛区制度下首届全球赛事的荣耀见

半年前