【 研究摘要与重点 】 针对透明容器或具光泽的包装材料等传统3D测量技术难以处理的对象,开发出一项能从单台相机影像推算形状,并使机器手臂能够进行抓取的技术。 即便在需要从多个视角进行观测的情况下,也开发出一种能兼顾形状推算精度与移动距离,并自动决定拍摄位置与移动路径的方法。 经实机机器人验证,抓取成功率达到96.0%,与传统方法相比,相机移动距离缩短了52%,整体处理运行时间缩短了19%。 本研究成果预期将能促进过去依赖人工之制程的自动化,并通过高精度抓取与高效动作的并行,为提升生产力做出贡献。 【研究概要】 东京理科大学创域理工学部机械航空宇宙工学科的荒井翔悟副教授,以及同大学研究所创域理工学研究科机械航空宇宙工学专攻的Kenis Ginga(2025年度硕士课程二年级)研究小组,针对透明物体或具光泽物体等机器手臂难以抓取的对象,开发了「3D测量(*1)」与「抓取规划(*2)」的方法。此外,在手眼配置(*3)中,成功减少了影像拍摄所需的移动时间与处理时间。 过去,透明容器或具光泽的包装材料因表面光线的反射与穿透,导致深度传感器或一般3D测量变得不稳定,使得机器手臂的自动抓取相当困难。因此,本研究小组着眼于一种结合了不易受光学特性影响的RGB影像语义分割(*4),以及从多视角轮廓信息复原形状的「Shape from Silhouette(*5)」之方法。然而,多视角拍摄虽然能提升精度,但相机移动耗时,如何与制造现场要求的作业时间(节拍时间)取得平衡成为了一项课题。为了解决此课题,研究小组导入了能同时提升3D测量精度并缩短相机移动距离的成本函数,进而优化了拍摄位置与移动路径。 在实机机器人的验证中,针对透明、具光泽及不透明物体达成了96.0%的抓取成功率,并与基准方式相比,成功将相机移动距离缩短了52%,整体处理运行时间缩短了19%。 本研究实现了针对具有困难光学特性物体抓取的稳健性,以及削减了伴随多视角观测而来的时间成本。这将扩大机器人的应用范围,预期能为制造现场的自动化推进与生产力提升做出贡献。 本研究成果已于2026年1月12日 刊载于国际学术期刊「IEEE ROBOTICS AND AUTOMATION LETTERS」在线版 。此外,本成果预计将于机器人领域的顶级会议「2026 IEEE International Conference on Robotics Automation(ICRA 2026)」中发表,正受到全球瞩目。 图1 先行研究(VGN, GraspNeRF)与本研究开发之方法(HEAPGrasp w/o VP, HEAPGrasp)的性能比较 图2 (左)透明物体抓取情形 (中)透明袋装物体抓取情形 (右)光泽物体抓取情形 【研究背景】 机器手臂是能自动运行零件或产品的抓取、移载、排列等作业,并为工厂及生产现场的生产力提升与减少人力作业做出贡献的设备。近年来,随着高精度相机与3D测量技术的发展,其应用已扩展至复杂作业。然而,针对透明物体或具光泽物体,因光线反射与穿透的影响,3D测量变得不稳定,存在自动抓取困难的课题。此外,若要精确掌握对象物的姿势与位置,必须从多个视角进行相机拍摄,这需要耗费测量与处理时间。结果导致作业节拍时间下降,进而降低了系统整体的效率。 因此,本研究小组着眼于利用RGB影像进行语义分割以及Shape from Silhouette。进一步地,通过导入能平衡3D测量精度与相机移动距离的成本函数,并优化手眼相机的轨迹,旨在同时实现精度与效率。 【研究结果详情】 本研究使用传统基准方法(VGN、GraspNeRF)与新开发的方法(HEAPGrasp、HEAPGrasp w/o VP),进行了实机机器人验证。 传统方法VGN在不透明物体上达成了88.5%的抓取成功率,但在光泽物体上降至72.0%,透明物体上降至53.8%。GraspNeRF也呈现相同趋势,在不透明物体上达成了91.7%的抓取成功率,但在光泽物体上降至52.2%,透明物体上降至68.2%。相对地,本研究开发的HEAPGrasp w/o VP与HEAPGrasp在所有类别中皆达成了92.6%以上的高抓取成功率。此外,对于学习时未使用的未知物体也展现出强大的泛化能力,分别达成了98.0%与96.0%的抓取成功率。此成功率的差异,主要源于3D测量精度的不同。 传统方法GraspNeRF因需要在作业空间周围设置6个视角,故需要2.33公尺的相机移动距离与18.8秒的运行时间。另一方面,本研究开发的HEAPGrasp w/o VP将相机移动距离缩短至2.03公尺,运行时间缩短至9.91秒。进一步地,HEAPGrasp与HEAPGrasp w/o VP相比,将相机移动距离削减了52%至0.97公尺,运行时间削减了19%至8.01秒。