RoboScience机器科学邵林出席宇树生态大会:从 D(R,O) Grasp 到 FingerEye,构筑跨本体灵巧操作的规模化之路



2026年10月22日,2026世界物理AI大会暨宇树合作伙伴生态大会在杭州举行。在大会主论坛环节中,作为具身智能领域具备国际影响力的学术代表,RoboScience机器科学创始人、首席科学家,新加坡国立大学助理教授邵林受邀出席,并与宇树科技创始人兼CEO王兴兴及多位领军企业代表共同登台,启动发布面向全球开发者、研究者与创新团队的“世界物理AI大赛”。同时,邵林代表RoboScience机器科学参与了由宇树科技发起的“具身智能开发者联盟”成立仪式,共同推动具身智能技术发展与生态共建。

RoboScience机器科学创始人、首席科学家邵林(左一)

随后,邵林发表了题为《面向跨本体可扩展灵巧操作的手—物交互学习》的主题演讲。演讲以荣膺 ICRA 2025 最佳论文奖的 D(R,O) Grasp 为起点,从 T(R,O) Grasp 系列在跨本体灵巧抓取上的持续探索,到融合视触觉感知与精细操作的 FingerEye 框架,系统展现 RoboScience 在灵巧操作领域的技术进展。从算法创新到硬件研发,RoboScience 机器科学正逐步构建一条可复用、可扩展的灵巧操作技术路径。

随后,邵林发表了题为《面向跨本体可扩展灵巧操作的手—物交互学习》的主题演讲。演讲以荣膺 ICRA 2025 最佳论文奖的 D(R,O) Grasp 为起点,从 T(R,O) Grasp 系列在跨本体灵巧抓取上的持续探索,到融合视触觉感知与精细操作的 FingerEye 框架,系统展现 RoboScience 在灵巧操作领域的技术进展。从算法创新到硬件研发,RoboScience 机器科学正逐步构建一条可复用、可扩展的灵巧操作技术路径。

破局痛点:阻碍具身智能走向通用的“两大鸿沟”

目前,机器人已能在结构化工业场景中高效完成单一确定性任务。但若要真正走入家庭与开放日常环境,必须直面通用性与泛化性的严苛考验。邵林指出,人类社会的日常工具几乎全部是为人手的灵巧操作而设计,因此灵巧手是通向通用具身智能的必经之路。然而,当前的灵巧操作落地面临两大底层瓶颈:

本体差异鸿沟:市面上的灵巧手在几何构型、关节自由度、驱动方式及传感器配置上千差万别,导致算法与操作经验极难在不同本体间直接复用;

全过程感知断层: 灵巧操作需要机器人在接近、接触及操作物体的全过程中持续感知环境。然而,现有视觉与触觉感知往往相互割裂,难以提供贯穿操作全过程的连续、统一的视触觉信息。

统一表征:D(R,O) Grasp 打破“一机一策”,实现毫秒级跨本体生成

在深入技术细节之前,邵林首先梳理了当前主流的灵巧抓取表征范式:

机器人中心的模型直接学习观测(如点云、图像)到动作指令的映射,推理速度快,但样本学习效率低,难以实现跨智能体的泛化。

物体中心的方法预测物体上的接触信息(如接触点或接触热力图),泛化性强,但根据接触信息优化抓取的动作指令复杂耗时,且无法适用于观测信息不全的应用场景。

为打破二者之间的取舍,RoboScience机器学习团队在邵林带领下提出了第三种范式:以交互为中心(Interaction-centric)的 D(R,O) 表征。创新性地构建了机器人与物体的交互统一表示,突破了传统“一机一策”局限,兼两类方法之长:

推理速度快:模型直接预测手与物体的空间关系,仅需轻量的运动学求解即可得到关节姿态,避免了物体中心方法耗时的迭代优化,可快速生成高自由度的抓取方案;

适应不完整观测:在物体存在遮挡、只能观测到局部的现实环境中依然能够稳定抓取,克服了物体中心方法对完整几何形状的依赖;

跨本体泛化:同一个模型即可适配多款构型各异的灵巧手,实现”一脑多手”,弥补了机器人中心方法的泛化短板;

样本效率高:能以更少的训练数据实现高效学习,改善了机器人中心方法样本效率低的问题。

实验中,同一个 AI 模型支持 LeapHand、Shadow Lite、XHand、SoftHand 等多款灵巧手完成抓取,覆盖三指、四指、五指以及软体与硬质等不同类型。抓取生成效率也大幅提升:此前的方法往往需要数秒乃至数十分钟,而 D(R,O) Grasp 仅需 0.65 秒即可生成一个高自由度的抓取方案。该工作荣获 ICRA 2025 机器人操作与运动最佳论文奖,是近五年来亚洲机构首次以第一单位身份获得该奖项。

轻量化与规模化:从 T(R,O) Grasp 到灵巧抓取的 Scaling Law

D(R,O) Grasp 提出了以交互为中心的灵巧抓取表征,通过灵巧手与物体点云之间的距离矩阵刻画交互关系,弥补了机器人中心方法泛化性的不足,提升了物体中心方法的推理效率。然而,D(R,O) 距离矩阵的预测需要巨大的计算开销,且该方法依赖于灵巧手初始姿态的合理性,因此难以基于 D(R,O) 表征搭建大规模灵巧抓取模型。

为克服上述局限,RoboScience机器科学提出以 T(R,O) 图结构作为灵巧抓取的统一表征:将物体与灵巧手各关节的几何、拓扑信息编码为节点,将它们之间的相对位置关系表示为边。相较于 D(R,O) 距离矩阵,T(R,O) 图结构在保持表达能力的同时,提供了更高效、更轻量的建模方案。

基于这一表征,T(R,O) Grasp 采用图扩散架构建模物体与灵巧手之间的空间关系,具备跨本体的统一表征能力。在此基础上,T(R,O) Grasp++(CoRL 2026)进一步将周围场景纳入建模,面向物体杂乱堆放的环境,构建了首个大规模跨本体灵巧抓取数据集(约 5 亿个抓取姿态、超过 5 万个物体、8 款灵巧手),并首次探索了灵巧抓取领域的 Scaling Law:扩大模型和数据规模均能提升模型性能,其中提升训练物体的多样性尤为关键。此外,RoboScience机器科学基于该模型开展了大量真机测试,在主流灵巧手上完成多次灵巧抓取测试,展现出极高的抓取成功率与跨本体泛化能力。

以算法定义硬件,FingerEye 让指尖兼备视觉与接触感知

跨本体经验复用解决了不同灵巧手之间的能力迁移问题,而精细操作还需要灵巧手对周围环境的持续感知、交互。针对这一挑战,RoboScience机器科学提出FingerEye框架,FingerEye由双目RGB摄像头系统、柔性软环、亚克力盖板组成,FingerEye 的独特设计,使其视觉-触觉感知能够覆盖接触前、接触发生以及接触后全过程。这种连续反馈使机器人能够在整个交互过程中敏捷调整其动作,从而提升机器人对环境的响应速度,使其能够处理更复杂、精细的操作任务。凭借灵敏的接触反馈, FingerEye 具备抓取海苔、蛋壳、铅笔和纸片等微小、易碎物体的能力,实验显示,该系统在细小、脆弱、低摩擦的接触任务中表现良好。

在立硬币、抓薯片、取信纸、针管注射等真机任务中,加入 FingerEye 后,平均成功率从仅用腕部摄像头时的 37.5% 提升至 71.3%。FingerEye 全部采用常见低成本元件和 3D 打印件,单个模块的硬件材料成本仅约 60 美元,体现了 RoboScience机器科学”以算法定义硬件”的理念。

全身协同与模块化输出:加速灵巧操作规模化落地

在演讲尾声,邵林展现了 RoboScience 下一步的研发与落地图景:团队正将这一套被实证有效的跨本体复用经验,进一步从灵巧手延伸至全身控制(Whole Body Control)领域;同时,团队正致力于将 FingerEye 封装为高度标准化、即插即用的模块化手指配件,赋能行业在复杂非结构化环境下的工业与服务落地。

为进一步聚合产业势能、加速前沿技术的场景渗透,在本次大会的“具身智能开发者联盟”成立仪式上,邵林作为RoboScience机器科学代表,与宇树科技等生态盟友共同登台完成联盟发起,未来各方将深度联动,携手推动具身智能前沿技术协同与产业生态共建。

RoboScience机器科学创始人、首席科学家邵林(左二)

从交互表征的统一建模,到大规模学习中的 Scaling Law 探索,再到 FingerEye 兼具高性能与高性价比的硬件创新,RoboScience 机器科学正逐步完善以算法为核心的跨本体软硬协同体系,持续携手行业伙伴,为通用具身智能注入更加敏捷、普适且具备规模化潜力的“通用操作大脑”。



上一页 无
下一页