苹果披露机器人“大脑” 研究进展

据澎湃新闻,苹果研究团队披露机器人“大脑”研究进展。

当地时间11月4日,苹果研究团队在预印本平台arXiv提交论文《Perceptive Humanoid Motion from Simulation》,披露了人形机器人自主控制系统HALO。


(资料图)

研究团队将该系统部署在宇树科技的G1人形机器人上进行验证,让机器人将在仿真环境中学到的动作,带到陌生的现实房间中执行。

研究团队还公开了数据生成、模型训练和部署代码,涵盖动作生成、动作跟踪、任务编排以及仿真和真实机器人运行等环节。

搭载HALO系统的宇树G1机器人在不同真实环境中演示钻过桌底、坐上沙发和推箱子等任务。图片来源:HALO研究团队

项目页面展示了机器人听从指令推箱子、跟随人、坐上椅子,以及侧身穿过半开的门、俯身或爬行穿过桌底等动作。这些任务需要机器人理解周围环境,并根据空间条件调整身体姿态。

执行任务时,HALO由三个层级协同控制。最上层是基于视觉语言模型(VLM)的任务编排模块,默认采用千问Qwen3.6-35B-A3B,在机器人搭载的Mac mini上本地运行,与动作生成器共用模型服务引擎,无需联网即可工作。系统也可选择通过API调用云端模型,以获得更强的推理和规划能力。

中间的动作生成层采用另一款千问模型Qwen3.5-2B。研究团队将其作为参数冻结的编码器,与负责生成动作的DiT解码器配合,根据机器人看到的画面和当前子任务,规划未来约5秒的全身动作。这一层每秒重新规划约3次,使动作计划能够随环境变化持续更新。

底层则是经强化学习、策略蒸馏等步骤训练的动作跟踪器,以每秒50次的频率运行,结合深度图像和机器人自身状态,将动作计划转化为关节控制指令。

三个层级分别承担任务安排、动作规划和身体控制,协同完成从理解指令到执行动作的过程。

HALO的三层控制架构:视觉语言模型负责任务编排,作生成模块规划全身动作,经强化学习训练的动作跟踪器执行关节控制。图片来源:HALO项目页面截图拼接

据介绍,研究团队使用250张英伟达H100 GPU,耗时约48小时合成主要训练数据。动作生成器通过模仿学习训练,使用64张B200;动作跟踪器经强化学习、策略蒸馏等步骤训练,使用4张H100。

需要指出的是,仿真生成数据并未完全摆脱人工参与。团队表示,新增物理任务仍需人工编写提示词、设计动作关键帧,部分动作还使用了人类视频或动捕素材。

研究团队同时指出,目前机器人主要依赖视觉感知,难以直接感知接触情况;当物体离开相机视野或被遮挡时,涉及较多接触的任务表现会下降。加入触觉感知,是后续改进方向之一。

SFC

来源丨澎湃新闻

编辑丨朱芷葵

关键词: 动作 视觉 机器人 跟踪器 生成器 苹果

    为你推荐

    当前最新:接骨木有什么技巧?接骨木的功效与作用

    接骨木又名公道老、马尿骚等,接骨木不仅是一种常见的花卉植物,而且接骨木全株都可入药,接骨木额什么作用了,下面我们就来分享一下接骨木

    来源: 23-01-18

    【环球报资讯】和田枣和若羌枣的区别 如何挑选和田枣?

    新疆和田枣果形大、颗粒饱满、果肉厚实、皮薄核小、营养丰富,口味更甜醇。每一颗“和田枣”都是自然精华的结晶,和田枣产自新疆和田地区,

    来源: 23-01-18

    世界观点:苹果套袋技术注意什么?苹果的套袋技术

    苹果套袋是我国苹果生产中广泛采用的一项重要管理措施。苹果套袋可以改善果实外观品质,防治病虫害,减少农药残留,提高商品价值,增加经济

    来源: 23-01-18

    中国重工和中国船舶差距82% 同期涨幅仅为10%

    2022年上半年,中国重工涨幅为-8 96%,同行业的中国船舶涨幅为7 55%,两者看起来相差不大。但是,从4月27日的底部算起,中国船舶涨幅为82%

    来源: 23-01-18

    国美零售的三年蜕变:苦练内功关键数据亮眼

    5月28日晚间,京东溢价37 91%认购国美零售1亿美元的可转债,初步转股价为1 255港元 股,如最终全部行使转化权,京东将获得6 22亿股国美零

    来源: 23-01-18
    返回顶部