3 月 29 日，智源盘问院在 2025 中关村论坛"改日东说念主工智能前锋论坛"上发布首个跨骨子具身大小脑谐和框架 RoboOS 与开源具身大脑 RoboBrain开云体育(中国)官方网站，可已毕跨场景多任务轻量化快速部署与跨骨子谐和，鼓励单机智能迈向群体智能，为构建具身智能开源调治生态加快场景应用提供底层本事援手。

具身智能操作框架 RoboOS+ 具身大脑 RoboBrain.mp4

△基于 RoboOS 及 RoboBrain 的多机器东说念主跨骨子谐和寄递任务 Demo 增强长程操作任务才能，打造感知 - 领会 - 决议 - 行径闭环

在具身场景中，长程操作任务是机器东说念主引申复杂任务的核心才能之一。具身大脑 RoboBrain 交融了机器东说念主任务推测、可操作区域感知、轨迹揣度的三维才能，通过将详细领导映射为具象动作序列，增强长程操作任务的才能。

RoboBrain 由三个模块构成：用于任务推测的基座模子、用于可操作区域感知的A-LoRA 模块和用于轨迹揣度的T-LoRA 模块。在推理时，模子起初感知视觉输入，并将输入领导剖析为一系列可引申的子任务，然后引申可操作区域感知和轨迹揣度。RoboBrain 经受多阶段训诲战略，使其具备长历史帧缅想和高差别率图像感知才能，进而普及场景感知和操作推测的才能。

RoboBrain 在职务推测、可操作区域感知和轨迹揣度评测任务中均进展出不凡性能。

在职务推测方面，RoboBrain 在不捐躯通用才能的前提下，在机器东说念主推测评测集 OpenEQA、ShareRobot（自建）和 RoboVQA 上多个维度优于 GPT-4V、Claude3 等 6 个其时最初的闭源 / 开源 MLLMs。

△RoboBrain 在具身推测评测基准上的性能

在可操作区域感知方面，RoboBrain 在 AGD20K 测试集上的平均精度朝上了其时着手进的开源模子 Qwen2-VL，考据了其在领导和会和物体属性方面的不凡才能。

△RoboBrain 在可操作区域感知基准上的性能

△RoboBrain 在轨迹揣度基准上的性能

在轨迹揣度方面，RoboBrain 揣度的操作轨迹具有与真确轨迹较高的雷同度，展现了其在轨迹揣度中的高精度和褂讪性。RoboBrain 的改日迭代版块会络续提高轨迹揣度的才能。

当今，RoboBrain 好像解读东说念主类领导和视觉图像，以生成基于及时图像反馈的行径处所和评估，揣度每一步的轨迹并感知相应的可操作区域。具体而言，RoboBrain 好像灵验期骗环境信息和交互对象的景色——不管是从第一东说念主称还是第三东说念主称视角捕捉的图像——生成针对不同类型机器东说念主操作任务的任务推测，并基于东说念主类领导和视觉信息，提供合理的可操作区域，并能在不同场景中进展出考究的泛化才能，生成既可行又合理的轨迹。

具身大脑 RoboBrain、小脑妙技库以及跨机器东说念主数据核心，是跨骨子框架 RoboOS 的核心身分。具身大脑 RoboBrain，崇拜全局感知与决议，构建动态时空感知、推测指导和反馈纠错机制；小脑妙技库，崇拜低蔓延精确引申，已毕柔性与精密操作等；跨机器东说念主数据核心，崇拜及时分享空间、时分和骨子缅想，为决议推测与优化谐和操作提供信息援手，从而变成感知 - 领会 - 决议 - 行径的闭环。

一脑多机已毕跨骨子谐和，从单体智能迈向群体智能

跨骨子具身大小脑谐和框架 RoboOS，基于"大脑 - 小脑"分层架构，通过模块化诡计、智能任务不断和跨骨子谐和，为机器东说念主提供高效、纯真、可膨胀的底层援手，已毕从单机智能到群体智能的跃迁。

在 RoboOS 的分层架构下，具身大脑 RoboBrain 的复杂场景感知与决议才能，可与小脑妙技库的高效引申才能深度劝诱，确保谐和框架在长周期、高动态任务中的褂讪启动。已毕大脑模子（如 LLM/VLM）与小脑妙技（如合手取、导航）的"即插即用"，当今，可援手松灵双臂、睿尔曼单 / 双臂、智元东说念主形、宇树东说念主形等不同类型的具身骨子。

通过分享缅想系统（空间缅想 / 时分缅想 / 骨子缅想），已毕多个机器东说念主之间的景色同步与智能谐和，冲破传统"信息孤岛"限制，已毕跨骨子谐和适度。

RoboOS 可动态不断多机器东说念主任务队伍，援手优先级霸占与资源优化分拨，确保复杂场景下及时反应，已毕高并发任务退换。

此外，RoboOS 可基于引申反馈动态调节战略，劝诱环境变化，络续优化任务推测，普及鲁棒性，作念到及时闭环优化。

在"寄递苹果和生果刀"的任务场景中，基于 RoboOS 及 RoboBrain，睿尔曼单臂机器东说念主（转运）、宇树东说念主形 G1（挑拣生果）、松灵双臂机器东说念主（挑拣生果刀）单干谐和。

合座任务进程是睿尔曼调用"导航妙技"出动至餐桌前，宇树 G1 调用"视觉合手取妙技"完成指定物体的挑拣，睿尔曼调用"合手取妙技"拿起果篮并导航至松灵餐桌前。紧接着，松灵调用"合手取妙技"取得生果刀，并放手在果篮中心，睿尔曼依据"空间缅想"导航至办公桌位置，寄递果篮后复返待命。

RoboOS 收受"拿离杯子最近的生果，并寄递一把生果刀"领导后，寄递 RoboBrain 进行任务拆解，并将拆解后的子任务分发给 3 台跨骨子机器东说念主。RoboBrain 通过 "空间缅想" 感知环境，笃定果篮、苹果位置，并拆撤职务为"宇树 G1 挑拣苹果→睿尔曼传递果篮→松灵机器东说念主合手取生果刀→睿尔曼复返"。

各机器东说念主骨子引申子任务过程中，由RoboOS 提供端云谐和才能，将任务推测为妙技粒度，已毕云表 RoboBrain 分发推测，端侧引申妙技并及时反馈。RoboBrain 识别"离杯子最近的生果位置"、"果篮合手取位置 affordance "、"生果刀合手取位置 affordance "、"果篮闲静位置 Pointing "，经由RoboOS 寄递指导各机器东说念主骨子完成任务。

"即插即用"快速轻量化泛化部署，打造调治生态

RoboOS 动作面向多机器东说念主系统的跨骨子具身大小脑谐和框架，专为处治刻下具身智能落地过程中的通用性适配与多机退换穷困而诡计。针对异构骨子难以调治接入、任务退换成果低、穷乏动态瑕玷反馈机制等痛点，基于 RoboOS 的"大小脑协同"的架构范式，云表的具身大脑 RoboBrain 崇拜调治的任务和会、推测决议与高下文感知，骨子侧则接入轻量级的小脑引申模块，已毕感知 - 领会 - 决议 - 行径的闭环谐和。

该机制好像动态感知骨子互异、纯真适配操作领导、自动树立超越步履，灵验普及系统在复杂任务场景下的鲁棒性与泛化性。RoboOS 原生援手异构机器东说念主骨子的纯真接入，以 Profile 模板机制快速完成机器东说念主才能建模与适配。

骨子的小脑模块可调用包括开源妙技库、自研低阶适度器等多种妙技接口，变成一个援手模块复用、即插即用的启动体系，大幅裁汰开发门槛与接入资本。

在云表，RoboOS 提供完备的模子适配与 API 接入才能，兼容自研的多模态 VLM，动作可插拔的大脑决议引擎，从而在干事机器东说念主、工业自动化、贤达物流、智能制造等边界因循复杂任务的多机谐和需求。

借助 RoboOS 的端云一体化协同才能与动态退换机制，通盘这个词系统不仅具备高度的膨胀性与可移动性，更为改日具身智能的边界部署与生态构建奠定了通用操作系统级的基础。

RoboOS 基于智源盘问院研发的并行训诲与推理框架 FlagScale，原生援手多机器东说念主系统的端云协同才能，打造具身智能的调治底座。系统在诡计上充分琢磨"多机器东说念主 - 多模态 - 多任务"场景，具备极高的可膨胀性与低时延反应才能。

在端侧部署中，机器东说念主注册即可自动与云表部署的 RoboBrain 大脑配置双向通讯链路，通过高效发布 - 订阅机制已毕及时任务退换与景色反馈，领导反应蔓延低于 10ms，心仪复杂动态任务的闭环适度需求。

面向机器东说念主在恒久启动中产生的海量感知与步履数据，RoboOS 提供基于内存优化的数据探员引擎，援手 TB 级别历史数据的内存立地探员才能，为任务复现、超越回溯、跨任务学问移动等场景提供基础才能。劝诱 RoboBrain 的任务推理与战略优化模块，历史数据还可用于多机之间的谐和学问分享，已毕更强的智能演化与自主学习才能。

此外，FlagScale 动作底层因循框架，援手大模子在多开采间的并行推理与多任务协同退换，可无缝集成视觉话语模子、轨迹生成模块、感学问别等子系统，全面开释具身大模子的系统后劲。

当今，智源盘问院依托多模态大模子本事上风资源，正在采集北大、清华、中科院等高校院是以及星河通用、乐聚、加快进化、宇树等产业链高下流企业，积极建设具身智能更正平台，重心开展数据、模子、场景考据等盘问。

这次智源盘问院发布的跨骨子具身大小脑谐和框架 RoboOS 及开源具身大脑 RoboBrain，将有机交融和庸俗陆续不同构型的具身骨子与丰富多元的具身模子，加快具身智能跨骨子谐和与边界化应用。

绽开、谐和、分享，是具身智能生态闹热的必经之路，智源盘问院愿联袂更多产业合作伙伴，共绘具身智能生态蓝图。

开源陆续：

具身多模态大脑模子 RoboBrain

Github：  https://github.com/FlagOpen/RoboBrain

Gitee：  https://gitee.com/flagopen/robo-brain

Huggingface：https://huggingface.co/BAAI/RoboBrain

为机器东说念主操作任务诡计的高质料异构数据集 ShareRobot

GitHub：https://github.com/FlagOpen/ShareRobot

Gitee：  https://gitee.com/flagopen/share-robot

Huggingface：  https://huggingface.co/datasets/BAAI/ShareRobot

* 本文系量子位获授权刊载，不雅点仅为原作家通盘。

一键三连「点赞」「转发」「注意心」

迎接在驳倒区留住你的思法！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见开云体育(中国)官方网站