INSIGHT
REPORT

ARTICLE / DETAIL

硬件、数据到模型:Sharpa如何系统性推进灵巧操作

硬件、数据到模型:Sharpa如何系统性推进灵巧操作 READ
DEEPER
896 阅读
约 5.5 分钟

今日体育资讯,由好博体育整理:

编辑|Panda、Youli 过去一年,具身智能的数据路线在快速转向。

遥操作数据贵、慢、难以规模化,越来越多的团队开始把目光投向 人类视频。

英伟达等团队的 EgoScale 用 20854 小时第一视角人类视频预训练机器人策略,拟合出一条对数线性曲线;

HumanScale 等工作更进一步,认为在同等数据量下,第一视角视频作为预训练数据可优于真机遥操作数据。

使用人类数据预训练的 Scaling 行为,arXiv:2602.

16710 对于夹爪抓取,这条路线的逻辑相对顺畅。

但当执行器换成一只有二十多个自由度的灵巧手,问题变得复杂起来,因为视频会记录手是怎么动的,却不会记录用了多大的力。

而对于拧瓶盖、插接头、削苹果这类需要精细操作的任务来说,成败恰恰取决于接触发生之后的几毫米运动。

Sharpa Wave 灵巧手 灵巧操作的数据难题,本质上是 接触 的难题。

围绕这个问题,专注灵巧操作的机器人公司 Sharpa 明确了 三条探索主线: 软硬件协同设计将以机器人为中心的数据采集转移到以人为中心的数据采集 解耦「运动」与「交互」,把接触交给高频、带触觉的底层控制 以触觉为锚,学习跨机器人本体的通用操作表征 沿着这几大方向,Sharpa 的硬件平台也成为众多前沿研究的重要载体。

过去一段时间,谷歌、英伟达等团队基于 Sharpa 硬件开展了一系列具身智能实验与前沿探索。

比如,前两天谷歌最新发布的 Gemini 4 Argon,展示案例中的机器人丢沙包实验,用到的正是 Sharpa 的灵巧手。

与此同时,Sharpa 与香港大学、加州大学伯克利分校、清华大学、上海交通大学等团队展开合作,共同推进灵巧操作领域的数据采集、模型学习与跨本体泛化研究。

机器之心近日与 Sharpa 学术负责人张凯峰 进行了交流,试图理清这些工作在回答什么问题,以及它们如何拼成一幅完整图景。

一只苹果,难住了 VLA 先看一个具体任务:用两只灵巧手削一个苹果。

这个任务里,一只手要握住苹果并持续转动,另一只手控制削皮器,沿着苹果表面推进。

苹果的曲率在变,果皮的厚度在变,持握的力度和削皮的角度都要随之调整。

两只手做的不是对称动作,一只手负责「稳」和「转」,另一只手负责「削」,彼此还要配合节奏。

MoDE-VLA 论文中的双手削苹果序列图 在 Sharpa 与上海交通大学、上海人工智能实验室等机构合作的 MoDE-VLA 论文中,研究者把这个任务交给了 π0 这一主流 VLA 模型作为基线。

结果成功率 0%,削皮完成度只有 8%。

论文标题:Towards Human-Like Manipulation through RL-Augmented Teleoperation and Mixture-of-Dexterous-Experts VLA 论文地址:https://arxiv.

org/pdf/2603.

08122 这并不意外。

这篇论文在开篇就指出,VLA 模型在使用平行夹爪的抓取放置任务上已经相当成熟,但面对接触丰富、需要双手协同和手内操作的灵巧任务时,能力明显不足。

问题出在哪里?

是模型不够大,数据不够多,还是别的什么?

要回答这个问题,首先要讲清楚灵巧手和夹爪究竟有什么不同。

在张凯峰看来,二者的区别不只是自由度的多少。

他说:「传统的机械臂和夹爪,把所有的操作问题简化成了 运动学 上可以解决的问题。

而灵巧手有 动力学 的问题。

」夹爪的动作空间基本只有开和合,只要把它移动到正确的位置、在正确的时刻闭合,任务就大体完成了。

灵巧手则要调用抓、拉、拧、捏等各种底层的原子技能(motion primitive),张凯峰估计人手的这类技能接近几十种。

这意味着,灵巧操作不能只靠「看准位置再执行」。

力的大小、接触的状态、物体在手中的滑动,都会实时影响下一步动作。

在硬件层面,高自由度、带触觉的灵巧手已经逐渐成熟。

张凯峰认为, 硬件之后的最大瓶颈在于数据,「尤其是类人的这种灵巧操作的数据」。

而灵巧操作数据之所以难,恰恰是因为它需要包含接触信息。

两种数据,一个两难 目前,灵巧操作数据主要有两种来源。

第一种是 遥操作(teleoperation): 人通过视觉设备或外骨骼远程控制机器人完成任务,记录下机器人自身的动作。

过去几年,学术界提出了 AnyTeleop、Open-TeleVision、Bunny-VisionPro、HOMIE 等一系列遥操作系统,在沉浸感和易用性上不断改进。

这类数据与机器人本体对应,可直接用于训练。

about image

视频链接:https://mp.

weixin.

qq.

com/s/wDRJgJArppWbAWm1QmzwNQ MoDE-VLA 论文中的双手削苹果遥操作 demo 但遥操作有一个难以绕开的问题:操作员感受不到机器人的接触。

「操作员很难获得高保真的

好博体育将持续关注后续动态。

返回资讯列表

觉得内容有帮助?

分享给更多关注行业信息的朋友。

热点资讯

快速了解近期讨论度较高的内容。

得分篮板助攻抢断封盖总和35000+有多难?现役仅6人做到,詹姆斯断档第一

得分篮板助攻抢断封盖总和35000+有多难?现役仅6人做到,詹姆斯断档第一

NBA季前赛,马刺可以说相当欣慰了,他们2026年选中的新秀小塔里斯-里德场均出战17.1分钟的情况下就能抢下9个篮板,化身“篮板怪兽”,不少球迷戏称马刺这是找到了“自研罗德曼”,像小里德这样能把一项天赋充分兑现,还有望获得稳定轮换位置,更多也是因为马刺有文班亚马,这位攻防一体,在比赛中拥有几乎无处不在影响力的顶级中锋,他是单场打出5X5数据最年轻的球员,可以预见文班亚马未来五项数据总和有机会取得

19岁天才大显身手,巴萨强势连胜11场,西甲射手榜超越姆巴佩

19岁天才大显身手,巴萨强势连胜11场,西甲射手榜超越姆巴佩

在西甲第9轮的一场重要比赛中,巴萨客场挑战皇家贝蒂斯。这个赛季,巴萨的开局令人振奋,前8轮联赛全胜,接连战胜了埃尔切、毕尔巴鄂竞技、巴列卡诺、瓦伦西亚、莱万特、桑坦德竞技、塞维利亚和赫塔费。同时,在欧冠赛场上,他们同样表现出色,前两轮比赛也都获胜,先后击败了费耶诺德和加拉塔萨雷。不过,与加拉塔萨雷的较量消耗了球员们不少体能,而这次回归联赛面对实力不俗的皇家贝蒂斯,巴萨仍展现了强大的攻击力,以5-2

针锋相对!皇马官方发言,要求西甲负责人辞职,特巴斯新回应来了

针锋相对!皇马官方发言,要求西甲负责人辞职,特巴斯新回应来了

一组数据摆在眼前:自2018年起开始使用VAR之后,皇马因为这个原因而被判罚下场的比赛次数在西甲各队中排在首位。 矛盾的原因不止一个,在马德里的德比大战中,李刚仁铲倒了巴尔韦德,并且动作很大声,但是主裁只判他犯规没有出示黄牌或者红卡,也没有用到VAR技术。最终皇马以2:1落败,穆里尼奥在个人社交媒体上发布了截图来质疑裁判的判决。皇马电视台也发出了声音,认为裁判尺度存在问题。 特巴斯对于该举动的态度

小杨哥,已经被直播电商“抛弃”

小杨哥,已经被直播电商“抛弃”

本文共计 3896 阅读需要 12 分钟 蓝鲨导 :从“人货场”到“货人场” 作者 | 张二河 编辑 | 卢旭成 10月16日傍晚6点55分,两个穿白衣服的男人站在“小杨臻选”的镜头前。站姿规矩,表情严肃,身后是一块贴着抖音公告的背景板。他们说了四五分钟话,没有喊“上链接”,没有整活,同时在线人数不超过2000。这是注销了“疯狂小杨哥”账号后,张庆杨以新号“庆杨”复播后的情形。两天后,新账号粉丝数

自来水微塑料3000万/升,煮沸后降到480万,比桶装水高还是低?

自来水微塑料3000万/升,煮沸后降到480万,比桶装水高还是低?

每升3000万个。 这是广州医科大学和暨南大学联合研究团队在2024年发表的一项研究中,从他们取样的市政自来水原水里直接测出的微塑料初始浓度。相比之下,常规常温储存的合规桶装水、瓶装水,每升微塑料含量约24万个——两者之间,差了超过100倍。 但数字本身不是全部。关键在于,你喝进去的水,到底经历了什么。 30颗粒/微升,这个数字为什么比你听过的所有自来水数据都高 2026年,美国俄亥俄州立大学团队

曾是广东著名主持,42岁辞掉铁饭碗,如今转行网红,婚姻感情成迷

曾是广东著名主持,42岁辞掉铁饭碗,如今转行网红,婚姻感情成迷

广东人晚饭后打开电视,珠江频道《今日关注》主播台上那张熟悉的脸,突然有一天不见了。 42岁的马粤慧,在干了快二十年之后,亲手把那支陪了她十几年的主播话筒轻轻放下,拍了一条松弛到不能再松弛的短视频。 没有告别演讲,没有同事送别,她只是对着镜头用粤语说了句,没错,我是真的离开电视台了。 一个守着铁饭碗的地方台当家花旦,42岁这年说走就走,转头扎进了短视频的汪洋里。 更让人琢磨不透的是,这个在镜头前说了