设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

卓世科技开源GR-SAC强化学习技术斩获 RoboMME Standard Track SOTA!

2026/11/20 17:49:50 来源:之家网站 作者:- 责编:-

近日,卓世科技 AI 研究院(Zoellent AI Lab)正式发布 GR-SAC(Gated Residual Soft Actor-Critic),并开源模型代码、参考权重及技术报告。该方法基于冻结的基座模型,仅增加约 0.0041% 的推理参数,相对失败率下降 5.32%,登顶国际具身智能评测基准 RoboMME Standard 方向第一。

榜单在同一张表中展示基于开源模型的 Standard 方法和使用专有前沿模型的 Agentic 方法。表中得分高于 GR-SAC 的四项方法均属 Agentic 方向,另列的 Human Performance 为人类表现参考值,不参与模型排名。

一、RoboMME 国际具身智能评测基准

RoboMME(*Benchmarking and Understanding Memory for Robotic Generalist Policies*)由美国密歇根大学、斯坦福大学及 Figure AI 的研究人员共同提出,其研究论文入选国际机器学习顶级会议 ICML 2026 Oral。与只检验单次抓取或放置的测试不同,RoboMME 重点考察机器人在长时程操作中能否记住此前发生的事情、理解当前任务进展,并把记忆转化为正确动作。

该基准围绕时间、空间、物体和过程四类记忆能力设计了 16 项机器人操作任务,标准评测共 800 次测试(每项任务 50 次)。RoboMME 持续维护公开的国际模型排行榜,已汇集斯坦福大学、清华大学、华中科技大学、NVIDIA 等机构相关团队的研究成果,为具身智能模型的记忆与操作能力提供了可比较的研究参考。

二、机器人不只要“会做”,还要“记得住”

RoboMME 的挑战之处在于:有些任务即使机器人看清了当前画面,也无法仅凭这一刻的信息判断正确动作。它必须回忆之前的操作、目标位置或示范过程。

时间记忆(Counting):例如 BinFill 任务,机器人需要按要求把指定数量的方块放入容器,记住已经完成了多少次操作,并在恰当时机按下结束按钮。多放一个、少放一个,都可能导致失败。

空间记忆(Permanence):

例如 VideoUnmask 任务,机器人需要记住视频中物体被遮挡前的位置,即使目标后来被容器盖住,也要找到正确的对象。

物体记忆(Reference):

例如 VideoRepick 任务,机器人先观看示范,再找出视频中曾被抓取的同一个方块,并按要求重复操作。关键不只是“抓得起来”,还要“认得出之前是哪一个”。

过程记忆(Imitation):

例如 InsertPeg 任务,机器人需要观察示范(一段参考视频)中夹取插销的哪一端、插入盒子的哪一侧,并复现相应操作。这不仅考验对示范的理解,也考验机械臂精细、稳定的动作执行。

这些任务揭示了具身智能的双重挑战:机器人既要“想对”,也要“做准”。即使大模型已经能够理解任务并生成合理动作,执行中的细微偏差仍可能造成任务失败。GR-SAC 正是针对这一问题展开研究。

三、GR-SAC:冻结大模型,用极少参数实现按需动作纠偏

GR-SAC 并不重新训练一个新的 VLA 模型,而是采用“冻结原有 VLA + 轻量化残差控制器”的架构。此次研究以开源模型 SimpleMemVLA 为基座:原模型继续负责理解历史画面、判断任务并生成机械臂动作序列;GR-SAC 在执行过程中额外观察当前前视和腕部摄像头画面、机械臂状态以及尚未执行的动作,学习对关节指令施加适当的小幅修正。

1.基座完全冻结,新增推理参数仅占 0.0041%

与对整个大模型进行强化学习微调不同,GR-SAC 保持原有参数不变,只为部署增加一个 232,110 参数的视觉残差控制器。它不负责重新理解整段任务,也不取代 VLA 生成的动作,而是在已有动作的基础上进行局部修正。这样既能保留基座模型已经具备的记忆与操作能力,也显著降低需要新增的模型参数规模。

2.门控决定“何时纠偏”,残差约束决定“纠偏多少”

GR-SAC 并不持续干预机器人的所有动作。它通过可观察的门控条件判断:当前规划动作是否相对平稳、机械臂是否接近目标关节位置、夹爪指令是否稳定。只有满足条件时,轻量控制器才参与修正;当动作状态变化或夹爪需要切换时,门控关闭,避免不合时宜的干预。

与此同时,GR-SAC 对修正幅度设置明确边界,并引入衰减和重置机制,防止微小偏差在连续控制过程中不断累积。让修正发生在合适的时刻,且始终保持克制,是这套方法的重要设计思路。

3.从执行结果中学习,无需人工重新标注纠偏动作

训练方面,GR-SAC 采用 Soft Actor-Critic(SAC)强化学习算法。首先让冻结的原模型在训练环境中执行任务,自动收集成功轨迹作为学习参考,再结合后续仿真交互中的成功与失败经验持续优化残差控制器;无需额外采集人工纠偏示范。

图:GR-SAC 总体架构。上方展示冻结 VLA 与门控残差纠偏的执行过程,下方展示基于成功经验回放和 SAC 的强化学习流程。

实验结果进一步验证了轻量纠偏的价值。在 RoboMME 的 16 项任务、800 次标准测试中,相比原始 SimpleMemVLA,相对失败率降低 5.32%。其中,精细操作任务 InsertPeg 成功率由 46% 提升至 52%,示范复现任务 MoveCube 由 94% 提升至 100%,均提升 6 个百分点。研究团队同时公开了逐任务结果和参考模型,便于社区复核与后续改进。

这组结果的价值不仅在于分数提升,更在于证明:对一个已经具备较强能力的 VLA 模型,不必依靠大规模重训,也可以通过小型强化学习控制器进一步改善部分动作执行失败。

四、持续推进具身智能研发,构建从模型到通用大脑的技术体系

GR-SAC 的发布是卓世科技持续探索具身智能后训练技术的最新进展。此前,公司已推出 ZoeInside-VLA 视觉语言动作模型登顶 MolmoSpaces 具身智能评测榜单;同时发布卓世「启元」具身通用大脑,采用 TriCore 三核架构,由逻辑系统、直觉系统与共情系统分别承担任务规划、动作执行和人机交互等能力。

依托自主研发的“璇玑玉衡”大模型体系以及具身智能数据采集、模型训练和大脑管理平台,卓世科技持续推进机器人从任务理解、动作生成到执行反馈的技术研发。此次开源 GR-SAC,也为业界探索轻量化强化学习后训练、提升机器人复杂操作可靠性提供了可复现的技术参考。

GR-SAC 已开放代码、参考控制器权重、训练与评测脚本及实验结果,欢迎全球研究者使用、验证和交流。

相关链接:

●RoboMME 官方排行榜:https://robomme.github.io/ leaderboard.html

关于卓世科技

卓世科技于 2018 年底在北京市成立,创始人和核心研发团队均来自 AI 头部企业资深高管和科学家,在大模型算法、行业模型研发、具身通用大脑等前沿领域具有行业领先的研发和商业化能力。公司致力于打造中国领先的企业级 AI 生产力提供商,亦是国内唯一同时具备“自研行业大模型 + 具身通用大脑”全栈产品技术和规模商业化的公司。卓世科技依托专有行业数据、全栈 AI 大模型平台等底座,打造可交付、可计量、可持续复购收费的一体化 AI 生产力平台,完成数字世界智能决策 + 物理世界实体执行的全链路闭环,引领 AI 产业从模型比拼走向生产力兑现的范式革命。公司获得国家网信办首批大模型和算法双备案、国家重点“小巨人”等资质,荣膺 2026 福布斯中国人工智能科技 50 强,牵头制定多个大模型领域行业标准,并获得 100 余项人工智能大模型发明专利。

免责声明:本文为本网站出于传播商业信息之目的进行转载发布,不代表本网站的观点及立场。本文所涉文、图、音视频等资料之一切权力和法律责任归材料提供方所有和承担。本网站对此咨询文字、图片等所有信息的真实性不作任何保证或承诺,亦不构成任何购买、投资等建议,据此操作者风险自担。

相关文章

关键词:业界动态

软媒旗下网站: IT之家 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 软媒手机APP应用 魔方 最会买 要知