破壳机器人免费开放 RoboAPI,一套模型适配多款机械臂

作者:江思奇

10 月 30 日,破壳机器人(PokeBot)于官网上线 RoboAPI,将自研世界 - 动作模型 Poke-Aurora 封装为可公开调用接口。

官方表示,RoboAPI 瞄准具身模型落地痛点:开发者更换机器人硬件后,往往要反复完成数据采集、模型训练、效果验证、补充数采整套流程,模型才能在新设备上正常执行任务。

调用逻辑很简单:开发者上传机器人观测信息与状态,输入自然语言指令,RoboAPI 便可近实时预测、返回一段连续动作序列。该接口目前处于技术预览阶段,面向全行业免费开放,但仅限非商业场景,暂不向营利性第三方提供商用服务。

图丨RoboAPI 发布片画面(来源:破壳机器人)

破壳机器人创始人是清华大学交叉信息研究院助理教授许华哲。团队认为,**具身模型落地的核心瓶颈,在于不同机器人的机械结构、传感器配置与控制方案差异巨大。**即便泛化能力尚可的具身基础模型对外开源,也很难直接迁移到其他机器人硬件上。RoboAPI 瞄准零样本泛化,目标是无需额外数据采集、无需二次微调,机器人接收指令后即可直接执行任务。

官方将 RoboAPI 类比当年的 GPT-3 API:GPT-3 API 让开发者不必自行训练、部署大语言模型,通过接口就能调用前沿能力。许华哲在通稿中提到,团队希望开发者不只是在演示视频里看见模型效果,更能在实际调用中理解模型的运行逻辑。公司长期愿景是推动通用机器人进入家庭,而 RoboAPI 被视作迈向该目标的第一步。

本次发布同步放出两组测试视频。其中一组为内部实测:机器人部署在公司数十个场景中,员工结合现场环境随机下发指令,例如叠起全部杯子、拉开最底层抽屉、用毛巾清理泼洒的水渍、配对白色拖鞋并放到左侧。按照官方的描述,只要指令表述清晰,RoboAPI 大多可以顺利完成任务。

图丨内部测试中,机械臂执行「用毛巾擦掉洒出的水」指令(来源:破壳机器人)

另一组为外部联合测试。官方邀请多名内测开发者,使用各自实验室现有的机器人与日常物品接入 RoboAPI,自主设计任务,并回传执行录像。测试覆盖北京、上海、深圳、西安、雄安、新加坡,以及美国斯坦福、普林斯顿、波士顿等地,任务包含打开空气炸锅、将面包放入烤面包机、把茄子放进橙色篮子、扶起瓶子等。

图丨外部测试中,上海一处内测用户实验室里,机械臂执行「把瓶子立起来」(来源:破壳机器人)

支撑 RoboAPI 的底层底座 Poke-Aurora,是破壳机器人首款世界 - 动作模型。预训练环节中,模型同步完成未来画面与机器人动作的预测。

团队在实践中发现,世界 - 动作模型对环境的建模能力,并不会自动转化为稳定可靠的动作执行能力。为此,Poke-Aurora 引入**「调制残差耦合」(Modulated Residual Coupling,MRC)机制**:在保留各模块原有计算链路的基础上,构建可学习的跨模块交互通道。

这套机制能让视频预测、动作预测两个分支的梯度方向保持一致,把模型对物体运动、物理交互的理解直接用在动作学习上。MRC 的完整技术细节,会随 Poke-Aurora 技术报告对外披露。

在后训练阶段,官方借鉴 UMI 的思路,将模型对齐至**「腕部鱼眼相机 + 末端位姿控制」这套硬件范式**。不同机械臂的关节布局、视觉传感器数量与安装位置差异巨大,直接导致基于不同构型训练出来的模型难以互通。而以机械臂末端为中心统一观测与控制逻辑,能够大幅提升跨本体迁移能力,搭配消费级运动相机,也压低了整套方案的搭建门槛。

对齐之后有两个直观结果:在已经适配的机型上,把鱼眼相机从影石 Ace Pro 2 换成大疆 Osmo Action 6,模型表现基本不受影响;模型还能迁移到结构差异很大、完全没见过的新本体,比如从 UR7e 迁移到 YAM 标准型。只要机械臂腕部搭载一台运动相机,同时具备可靠的逆运动学解算能力,就可以接入 RoboAPI。

发布页列出四套硬件配置及相对性能基准:以 UR7e/UR5e + Robotiq 2F-85 夹爪为 100%,Franka FR3/Panda + Robotiq 2F-85 夹爪为 87%,YAM 标准型 + YAM 夹爪为 76%,浮动基座 Tianji + YAM 夹爪为 53%。

根据 RoboAPI 开发者文档,现阶段硬件部署指南支持 UR、Franka 两大系列机械臂;硬件调试完成后,开发者既可以在本地控制台直接下发指令,也能通过 OpenAI Python SDK、JavaScript 或是 HTTP 接口,在自有程序中调用模型能力。

评测上,官方搭建了一套规模化自研基准,包含近 1000 个常见可操作物体实例,组合生成近 10000 条差异化指令,分成物品转移整理、姿态形状对齐、环境交互与工具使用三大任务类别。Poke-Aurora 在这批从未见过的物体和任务上,平均成功率达到 74.2%。

图丨Poke-Aurora 与对比模型在三类任务上的成功率(来源:破壳机器人官网,42号电波整理)

官方选取三款模型作为对照:GPT-6 Astra、π0.5 以及 MolmoAct2。分项数据如下:物品转移与整理任务,Poke-Aurora 成功率 86.0%,Astra 71.3%,π0.5 30.9%,MolmoAct2 26.9%;环境交互任务,四款模型依次为 87.7%、67.9%、32.9%、23.6%。姿态与形状对齐是所有模型得分最低的类目,Poke-Aurora 为 54.1%,Astra 36.3%,π0.5 14.8%,MolmoAct2 仅 7.9%。

官方同时提到,即便 Poke-Aurora 在这套自研评测里全面领先,无法保证所有开发者调用 RoboAPI 时,都能复现同等效果。开放 RoboAPI 的意义,就是让具身模型的泛化能力接受外部真实场景的检验,而不是只由研发方自己评估。

还有几条实操提示:这套单目方案没有全局视野,抓取物体后容易挡住镜头,拉低效果;RoboAPI 会保留历史上下文,任务失败后会自动重试,多给一点执行时间更容易成功;英文指令效果通常更好,把复杂长任务拆成简短的原子任务、用精准形容词描述目标物体,也能提升成功率。

安全方面,官方说明,RoboAPI 动作输出速度偏快,但输出指令基本落在主流机械臂的安全工作区间。建议使用者提前给机械臂划定安全围栏,优先选用带柔顺控制的机型;存在伤人、破坏环境风险的指令,会被安全网关拦截。RoboAPI 本身仍有出错可能,如果机械臂出现危险动作,用户可以通过 safety@pokebot.tech 反馈。