近日，摩尔线程与EvoPhys团队联合发布《国芯国模：世界模型在MTT S5000上的原生全流程训练实践》白皮书。白皮书完整披露了以人为中心的自演化5D世界模型EvoPhys-World，在摩尔线程旗舰级训推一体智算卡MTT S5000与MUSA软件栈上完成从多模态基座模型到世界模型原生全流程训练的工程实践。该模型一经推出便在斯坦福大学WorldScore（ICCV 2025）“世界生成”维度登顶，并连续37天蝉联榜首。
从基座模型到世界模型，国产全功能GPU算力底座 世界模型常以视频生成模型为基座，基座模型提供通用的画面与时序生成能力，世界模型在此基础上结合动作与交互数据继续训练，学习动作如何改变场景。视频生成模型与世界模型将文本、图像、视频和音频融入同一计算流程，对算力平台的要求也随之延伸——既要支持模型训练和推理，也要衔接媒体处理，并适应集群规模的增长。 本次实践在同一套国产算力平台上，完成了MiniMax-H3的音视频生成与SFT训练、Wan2.2的视频模型训练与多机扩展，以及EvoPhys-World世界模型训练。这一平台依托摩尔线程全功能GPU和MUSA统一系统架构，以基于MTT S5000智算卡的夸娥（KUAE）智算平台为底座，由MUSA软件栈连接PyTorch、计算算子、媒体处理和多机通信，支撑上述三类训练任务在国产基础设施上运行。 主要软件组件包括： ▼ Torch-MUSA 为PyTorch提供MUSA张量计算与自动求导，支撑模型前向计算、反向传播和参数更新。 ▼ MATE 提供优化后的注意力算子，支撑H3与Wan2.2的Attention计算。 ▼ MCCL 提供多设备集合通信，支撑分布式训练中的参数与梯度通信。 工程实践与可复用经验 从基座模型到世界模型，本次实践在MTT S5000与MUSA软件栈上完成了三个模型的训练与扩展。 MiniMax-H3：音视频联合生成与SFT训练 MiniMax-H3支持文本、图像、视频和音频输入，可直接生成带原生立体声的视频，也支持通过首尾帧或参考视频控制生成内容。本次实践在MTT S5000上完成了MiniMax-H3的音视频推理与SFT训练，并优化了通用分布式训练框架中的通信缓冲区管理，降低了多机微调的显存峰值。 音视频联合生成是基座模型演进的新方向，SFT则是在基座上结合特定数据继续训练的常用方式。MiniMax-H3的推理、SFT训练与多机扩展在MTT S5000上的稳定运行，意味着新一代世界模型基座可以在国产算力平台上完成评估与定制训练，世界模型升级基座时，训练也能继续在同一平台上进行。 核心工程要点： • 两类音视频生成任务稳定运行：基于DiffSynth-Studio公开实现，完成FL2VA与Ref2VA两类任务，输出带立体声的视频。 • 多机微调显存占用大幅优化：通过优化通信缓冲区释放机制，单卡通信缓冲区峰值降至约0.451 GiB，多机微调稳定运行。 • 多机扩展效率稳定：训练从2节点/16卡扩展至14节点/112卡，扩展效率保持在83.921%—96.456%区间。 • 媒体组件就位：注意力计算接入MATE FA3，视觉、音频、视频组件分别完成图像处理、音频重采样与视频解码。 Wan2.2：视频DiT训练与多机扩展 Wan2.2面向文本生成视频、图像生成视频等应用。本次实践以TI2V-5B为基础，在MTT S5000与MUSA软件栈上完成模型计算迁移与多机训练，为视频生成模型的定制训练、以及以其为基座的世界模型训练提供实践参考。 对以视频DiT为基座的世界模型而言，若要在同一平台上开展训练，需具备两项基础条件：核心算子可迁移至MUSA，训练规模可随集群扩展。Wan2.2的算子迁移与多机扩展实践，分别对应这两项条件。 核心工程要点： • 核心算子迁移：注意力、位置编码和归一化等算子完成在MUSA上的迁移，视频生成主干可在MUSA上运行。 • 多机训练稳定扩展：训练从2节点/16卡扩展至14节点/112卡，扩展效率达92.526%以上，单卡显存占用保持稳定。 • 高卡数场景验证：补充测试覆盖56—160卡，吞吐随集群规模持续增长。 • 分布式训练就位：采用FSDP2/HSDP分片存储模型状态，通过数据并行组扩大训练规模。 EvoPhys-World：具身世界模型的训练与应用 EvoPhys-World是面向人与场景交互的可控5D世界模型。用户可以通过动作控制场景变化，比较不同动作可能产生的结果，并继续与生成的场景交互。系统由WorldEngine和WorldPolicy组成：前者根据动作预测场景的下一状态，后者结合场景信息和候选结果预测下一动作。 模型以首帧或场景记忆为基础，结合头部姿态、手部骨架、手势和接触动态生成视频。生成结果可用于下一轮交互，使场景随用户动作持续变化。 核心工程要点： • 基于约4万小时EGO数据训练：以纯人手第一视角数据为基础，学习人与物体、场景之间的交互。 • 约一个月完成端到端训练：在MTT S5000与MUSA软件栈上完成训练，将前沿模型研究落地到国产GPU平台。 • 训练扩展性良好：训练从单机扩展到数十节点规模时，吞吐保持近线性增长。 • 动作驱动场景交互：已展示倒水、开关灯、移动杯子和场景漫游等应用，以及抓握、笔迹、手与物体接触及物理反馈效果。模型能根据用户动作生成并持续更新场景，形成可继续交互的动作-场景闭环。 可复用工程经验 MiniMax-H3与Wan2.2采用不同的模型结构，工程实现都以保留上层计算流程、对接底层平台组件为主。这种分工让模型实现与设备相关处理各有归属，也便于复用已有工程成果。以这二者为基座的世界模型，同样可沿用相关工程经验。 ▼ 设备放置与计算精度 设备调度与精度转换集中在工程层，上层模型沿用原有计算流程。MiniMax-H3在推理时按阶段调度权重、训练时通过分片管理模型状态；Wan2.2在计算模块内统一输入处理。 ▼ 算子迁移 基座模型的两项实践均接入MATE注意力算子，Wan2.2完成位置编码与归一化算子迁移。算子实现与模型结构分开维护，为同类计算模块接入提供参考。 ▼ 分布式通信 MiniMax-H3通过及时释放通信缓冲区降低显存占用，Wan2.2通过通信库设备选择机制完成集群初始化，相关经验可用于同类模型的分布式部署。 灯塔计划：连接产学研，全力支持科研创新 本次实践中，EvoPhys团队是摩尔线程开发者计划“灯塔计划”首批合作学者团队之一。EvoPhys团队的核心研发成员主要来自北京大学，长期从事世界模型与具身智能基础模型研究。团队负责模型研发与训练，摩尔线程提供算力平台和工程支持。 灯塔计划是摩尔线程面向各领域科学家团队的学术合作项目，为具有创新性、前沿性的科研项目，优先提供国产GPU算力以及工程、生态资源，助力科学家突破资源瓶颈、聚焦核心问题、加速创新。摩尔线程正以国产芯片与国产软件栈为基石，支持中国科技力量在AI领域取得更多原创成果。
