成为具身智能大脑，多模态世界模型的核心能力解析

成为具身智能的“大脑”，多模态世界模型需要具备以下核心能力：强大的数据处理和分析能力，能够整合不同来源和类型的数据；深度学习能力，以理解和生成复杂信息；跨模态交互能力，实现不同信息模态间的无缝对接；自适应和自学习能力，以应对快速变化的环境和任务需求，这些能力共同构成了多模态世界模型的关键要素，使其成为智能决策的核心，ToB产业观察认为这将引领产业智能化升级，多模态世界模型作为具身智能的核心，需具备数据处理、深度学习、跨模态交互及自适应自学习等能力，以适应智能化时代的需求，推动产业智能化升级。

日前，北京智源研究院发布悟界·Emu3.5多模态世界大模型，这款参数量达34B、训练数据包含790年视频时长的模型，不仅通过自研 DiDA技术将推理速度提升20倍，更以"Next-State Prediction"范式验证了多模态模型的世界建模能力。

这一突破并非孤立事件，而是全球技术演进的缩影：2024年中国多模态大模型市场规模已达138.5亿元，同比增长67.3%，2025年预计攀升至236.8亿元。

与此同时，中国多模态大模型产业发展也在世界范围内，占据一席之地。2025年全球多模态大模型市场规模预计突破4200亿元人民币，中国市场占比达35%，成为全球第二大单体市场。

多模态大模型正从实验室走向产业深处，但其发展仍面临模态融合、数据治理等多重挑战。更重要的是，它已成为连接数字世界与物理世界的关键桥梁——既为具身智能突破数据瓶颈提供新路径，也在医疗、工业等领域催生颠覆性应用。

多模态大模型的技术“突围战”

多模态大模型的本质是让AI像人类一样通过多种感官感知世界，其技术演进始终围绕"更高效融合、更深度理解、更广泛应用"三大目标展开。

当前多模态技术最大痛点在于实现真正的原生统一。主流方案中约60%的模型采用 “组合式架构”——通过独立模块处理不同模态，再通过跨模态注意力机制交互。这种方式存在致命缺陷：模态间信息传递损耗导致性能折损，且新增模态训练会干扰既有能力。对此，智源研究院院长王仲远告诉笔者，组合式模型处理长视频时，文本理解准确率下降很多，视觉生成的时空一致性受损，而更严峻的是，这种架构难以支撑复杂推理。

CSDN在今年对5款主流模型的评测显示，采用组合式架构的 Llama 3在“图文+语音”跨模态任务中，逻辑断裂率高达28%，远高于采用原生统一架构的豆包V5.2（9%）。​

原生统一架构的突破成为关键。针对此，Emu3.5基于单一Transformer，用自回归架构实现“多模态理解与生成”原生统一，避免了模态间交流难题。

除了原生统一的问题之外，与单模态模型一样，数据也是困扰多模态模型应用的一个掣肘。对数据的 "量质并重" 需求，使得数据成为AI落地的最大阻碍。

当前，大多数多模态模型的训练依赖于互联网上海量的“图文对”和“短视频”（通常5-10秒）。这些数据是碎片化的、脱离具体语境的。对此，王仲远表示，高质量多模态数据获取成本极高，模型从中能学到表面的关联（如“猫”和“猫的图片”），但很难学习到深层的、复杂的物理规律、因果逻辑和长程时序关系。这就像一个人只通过看静态照片和几秒的GIF图来学习“如何骑自行车”，几乎不可能成功。曾有年行业调研显示，2024年，有68%的初创企业因数据成本放弃自主训练。

智源悟界·Emu3.5突破的关键之一，在于大规模使用了长视频数据（如纪录片、教学视频、动画片）。长视频中包含了丰富的上下文、连贯的叙事逻辑、完整的操作流程和复杂的物理交互，是模型学习“世界如何运作”的绝佳教材。

除此之外，敏感数据处理还要面临监管压力。医疗、金融等领域的多模态数据包含隐私信息，相关企业在应用模型赋能的过程中，会出现因担心合规问题不敢大规模训练的情况。

即便满足了原生统一与数据需求，企业还需要面对性能与效率的平衡问题。模型性能提升往往以牺牲效率为代价，而这点在多模态领域表现突出。2024年前，主流模型生成5秒视频平均耗时超3秒，CSDN 测试显示，豆包V5.2在手机端生成3D 模型的响应延迟为500ms，而 Llama3需1.2秒。而这些看似不高的延时，放在应用场景中，却因无法满足实时交互而导致很多场景中无法应用。

尽管困难重重，但Emu3.5的发布，清晰地指向了一个明确的趋势——多模态Scaling Law正在被验证，并成为继语言预训练、后训练推理之后的“第三范式”。

如何才能成为具身智能的“大脑”？

上述问题一方面是多模态模型发展的痛点，而长远来看，这些问题也是具身智能能否“照进现实”的阻碍。真正的具身智能要具备自动化感知、自动化决策、自动化执行的能力，而这些能力的背后，仅仅依靠文生文模型是无法满足的，还是需要多模态模型的能力。

人类之所以能够感知、决策与执行也都是依靠大脑在操控我们的躯体。对于具身智能而言，多模态模型就好像“大脑”，多模态大模型的发展提供了系统性解决方案，推动机器人从“机械执行”向“自主决策”进化。

据中商产业研究院报告数据显示，2024年中国具身智能市场规模达8634亿元，同比增长65%，预计2025年突破9731亿元，其中多模态技术贡献了约42%增长动力。

尽管具身智能被普遍认为是AI的终极形态之一，但其发展长期受制于一个核心矛盾：智能的无限可能性与物理硬件及数据的极端匮乏之间的矛盾。多模态世界模型的崛起，尤其是像Emu3.5这样的模型，正试图从根本上破解这一矛盾。

首先，当前具身智能发展的最大瓶颈之一是数据。真机采集成本高昂。在为一个特定的机器人任务采集真实世界数据，需要昂贵的机器人硬件、精心设计的场景，以及漫长的时间。更重要的是，采集到的数据场景单一，模型一旦遇到未曾见过的桌面、光线或衣物，性能就会骤降。

此外，具身智能的发展还面临了仿真与现实的鸿沟。基于物理引擎的仿真环境可以生成大量数据，但其与真实世界始终存在“模拟-现实鸿沟”，且构建高保真仿真环境本身成本不菲。

解决了“基本”的问题之后，具身智能还需要具备像人一样的认知与思考的能力。而传统的机器人控制程序，或基于简单感知的模型，缺乏对物理世界基本规律的理解。它们可以识别出“一杯咖啡”，但无法理解“这杯咖啡放在桌边，可能被碰洒”这一物理常识。

面对这样的难题，Emu3.5的“ Next-State Prediction ”能力，在这里发挥了关键作用。王仲远用抓取咖啡杯的例子生动地解释了这一点：“当我下指令去抓纸杯的时候，需要特别小心。因为如果角度、力道不对的话，很可能咖啡就跌落了，机器臂需要知道哪个方向抓会更稳妥一点。” 这种对下一步世界状态的预测能力，就是物理直觉。只有具备了这样的物理直觉，智能体才不再是机械地执行动作，而是能够基于对世界动态的模拟，做出更安全、更高效、更拟人化的决策。

这相当于为机器人安装了一个能够进行“思想实验”的大脑。在真正执行动作之前，它可以在“脑内”（模型内部）模拟不同行动方案可能带来的后果，从而选择最优解。这对于在动态、不确定的真实环境中运行的具身智能体（如家庭服务机器人、自动驾驶汽车）至关重要。

除此之外，目前，许多机器人系统采用模块化设计，感知模块、规划模块、控制模块各自为政。这种架构割裂了智能的整体性，导致系统笨拙、迟缓。

而若要将多模态世界大模型“植入”具身智能之中，就有可能实现用一个统一的模型，端到端地处理“感知-认知-行动”的完整回路。模型接收包括摄像头画面、语言指令、传感器数据等在内的，多模态数据输入，经过内部的理解、推理和世界状态模拟，直接输出控制身体的行动指令。

对此，王仲远表示，Emu3.5采用自回归架构，使得它的可扩展性非常强。“我们希望行业积极尝试，在我们的基座模型上继续拓展。”

王仲远也谨慎地表示，这是一种新的“可能性”，且与硬件的结合仍有漫漫长路要走，但方向是明确的：一个更统一、更具泛化能力、更“智能”的具身智能基础模型正在成为可能。它将极大地降低高级机器人技能的开发门槛，加速具身智能从实验室走向特定场景（如工业分拣、仓储物流），并最终进入日常生活。

不止于具身智能

具身智能是多模态世界模型最激动人心的应用之一，但其影响力远不止于此。当AI拥有了对世界的深度理解和生成能力，它将在各行各业催生革命性的应用。在医疗、工业、传媒、交通等领域掀起深刻变革。这些应用场景不仅印证技术商业价值，更展现人工智能重塑生产力的广阔前景。

比如在医疗场景中，将多模态大模型的能力融合到以CT为代表的医学影像技术当中，实现疾病早期发现与精准治疗。

比如，通过大模型的辅助，能帮助医生快速的识别诸如X光片、CT等病历，从而大幅提升医生工作效率，也能降低患者等待的时间。“原本每天能审阅50张CT片子，未来每天能审阅500张/天，那么医疗效果的提升，将让患者的就医体验，以及医生的工作体验都得以改善。”IEEE标准协会新标准立项委员会副主席兼IEEE数字金融与经济标准委员会主席林道庄曾与笔者分享了多模态模型应用的场景。

而在基层医疗机构，这种技术价值更为突出。河南省某县医院部署该系统后，疑难病例诊断准确率从68%提升至89%，患者外转率下降41%。其核心优势在于"跨模态互补"——影像数据识别结构异常，文本数据提供病史背景，基因数据预测病变风险，形成立体诊断视角。

与此同时，医生还能利用模态模型能够根据患者个体特征生成定制化治疗方案。北京大学肿瘤医院开发的智能诊疗系统，通过分析患者影像资料、基因图谱、治疗史与实时生理数据，为晚期肝癌患者生成化疗、靶向治疗与免疫治疗的组合方案。测试显示，采用个性化方案的患者中位生存期延长6.8个月，治疗副作用发生率降低34%。

这种方案生成能力依赖大规模多模态医疗数据训练。该系统使用涵盖12万患者的多中心数据集，包含45万份影像、18万份病历与 9 万条基因序列，通过自监督学习掌握不同治疗手段与患者反应的关联规律。

从多模态大模型在各行业的应用就不难看出，多模态大模型的价值已经不仅仅在于生成更逼真的内容，而在于构建AI与物理世界交互的“通用语言”。当模型能够像人类一样理解视觉信号、语言指令与物理反馈的内在关联时，人工智能才算真正迈出数字世界的边界，走进人类生活的每个角落。（文｜Leo张ToB杂谈，作者｜张申宇，编辑丨盖虹达）