机械臂很常见，但你见过这么聪明的吗？在工作台上一目了然地找到合适的螺母并保持稳定。然后送到目标螺丝，整个动作一气呵成：即使是相似度很高的两个零件，也能准确区分并“拉出”正确的那个：要知道，我们一般都是自己做实验，或者组装我们以前从未见过的东西。说到机械零件，面对相似的零件都有可能拿错零件，更何况是机器人。（想象一下组装乐高零件的痛苦）但是这个机械臂可以在不使用任何人工标注的情况下立即从模拟器迁移到现实世界，同时泛化到机器人从未见过的新物体，准确率为87.8%%。这是谷歌X最近开源的类别级机械臂CaTGrasp。论文一是文博文，中国博士，目前就读于罗格斯大学计算机系，毕业于西安交通大学，获得硕士学位。学士学位。目前，该研究已登上机器人领域顶级会议ICRA2022。让机械臂总结一下它的抓取经验。本研究主要解决常见工业场景下不同机械零件的分类问题。现实中，机械臂难免会遇到自己不认识的新零件。如果仅仅依靠数据集，不能从一个实例中推论其他情况，那是行不通的。为了不依赖数据集和人工标注，研究人员想到了一种在模拟器中进行训练的方法。通过在模拟器中不断训练和试错，机械臂可以自己总结出一组经验，并将其归结为热图表示。在此，研究团队提出了一种新的表示方法：非均匀归一化对象坐标空间（NUNOCS）。统一的NUNOCS表示可以集成相同类型对象的信息。给定一个对象模型，这种方法对每个维度上的所有点进行归一化。归一化使得不同维度之间的特征在价值上具有一定的可比性，从而可以对不同的对象进行分类。最后，NUNOCS可以根据类别划分不同的对象，并可以给出一个具有代表性的模板。在此过程中，它将与所有其他模型的倒角距离最小的对象设置为模板。（倒角距离：是对图像的距离变换，对于有特征点和非特征点的二值图像，这个距离变换就是求解每个点到最近的特征点的距离。）这些模板会集成热该图表示并存储抓取姿势段的密码本。给出点云输入后，NUNOCSNet可以预测点云在NUNOCS空间中的位置。该网络基于点网设计。（点云：逆向工程中通过测量仪器得到的产品外观表面点数据的集合）根据确定的点云和预测的点云，最终可以将二者求解得到类别级的6D变换和3D维度变换，从而得到更准确的密集点云对匹配。比如下图中，相同颜色表示相互匹配，NUNOCS方法比之前的NOCS方法要好。掌握了抓取秘籍后，还要保证每次抓取时都能稳定释放“技能”。因此，研究人员对每个抓取姿势进行50次随机小扰动，并记录成功次数，从而得到一个连续的概率分布。然后，根据上一步整理出的不同模型模板，对抓取姿势也进行分类整合。在测试过程中，一旦遇到未触及的情况，可以将之前归属的抓取姿态分布迁移到新的物体空间，从而获得更全面的抓取姿态采样。在模拟器中得到的抓握姿态和概率分布可以分别作为输入和标签来训练神经网络。最后，通过自我监督训练和学习，经过足够的抓取姿势模拟后，可以得到机械爪与物体的累积接触经验如下。此外，过程中的所有模块都可以从合成数据集中进行训练，然后可以直接转移到真实场景中。从实验结果来看，该方法在模拟情况下的平均成功率为93.1%，抓取次数约为600次。实际成功率为87.8%。团队介绍了其中一位研究人员温博文，他是罗格斯大学计算机科学博士生，目前在GoogleX实习。师从KostasBekris教授，研究方向为机器人感知和计算机视觉。在此之前，他还在FacebookReality、AmazonLab126和SenseTime实习过。毕业于西安交通大学，获学士学位，美国俄亥俄州立大学硕士学位。该项目的所有模拟器环境、数据集生成、训练和实验现在都是开源的。GitHub地址：https://github.com/wenbowen123/catgrasp论文地址：https://arxiv.org/abs/2109.09163
