本文转载自雷锋网。想象一下，如果你想优雅地将手中的小立方体递给别人，你是不是想用手握住立方体的边，然后送出去？还是伸出握住立方体底部的手？那么如果对手是机器人，小方块的握持方式会不会影响机器人快速准确的识别呢？答案是肯定的！因此，Nvidia的研究人员设计了一种新的人-机器人交付物品的方式。当机器人面对人类时，它会对其抓取动作进行判断和分类，然后设计物品的运送方式。这种方法比基线更流畅，可以为协作机器人的设计提供新思路，以提高仓库工人的工作效率。当地时间2020年3月12日，预印本网站arXiv发表相关论文HumanGraspClassificationforReactiveHuman-to-RobotHandovers（Human-robotHandoverResponseBasedonHumanHandGraspClassification）。解决物体与人手相互遮挡的问题。雷锋网了解到，在人与机器人之间物体无缝传输领域的研究越来越多。目前，绝大多数研究都着眼于将物体从机器人转移到人类身上的挑战，假设人类可以将物体放在机器人的抓手中，然后反过来。然而，无缝人机转移的一个挑战是机器人缺乏可靠、持续的感知。在运送物品的过程中，物品和人的手难免会互相挡住，而人在运送物品的时候往往同时在做其他事情，所以机器人对人手和物品的状态和位置的估计不是很准确.对此，研究人员提出的一种策略是通过借鉴计算机视觉社区的现成方法来估计人手的运动和物体的6D状态。然而，这种方法只关注人的手或物体。基于此，英伟达研究人员进行了一系列改进。对人手握住物体的动作进行分类首先，研究人员利用微软AzureKinect深度传感器的身体追踪SDK（软件开发包）获取以人手为中心的检测点云，编辑数据集，训练AI模型。此外，研究人员还展示了手持物体的示例图像，并记录了20-60秒的人手的类似动作。在此期间，人们可以不断地移动身体或手部，以保证视角的多样性。据了解，研究团队的数据集有超过15万张图片。在此基础上，研究人员将抓握动作进行了分类。例如，当手拿着一个小方块时，动作可以描述为“掌心张开”、“拍底”、“拍顶”、“拍边”或“举起”。研究人员说：目前，我们的系统覆盖了77%的人拿东西的方式，未来我们会把它扩展到更大的范围。随后，研究人员基于“RobustLogical-DynamicalSystem”（RobustLogical-DynamicalSystem),设计了投递物品的轨迹，省去了特定类型的抓取器和人手的麻烦。雷锋网了解到，这个系统必须适应人类各种可能的抓取动作，才能做出反应和判断如何接近人类并交付物品。它在其“原位”位置等待，直到系统准确估计人类将如何握住物品。事实上，研究人员对人手在一系列的实验来确定分类模型和任务模型。同时，研究人员还考虑了这个过程中可能涉及到的额外操作（下图按照优先级从高到低的顺序展示了可能的额外操作）。发货成功率100%。雷锋网（公众号：雷锋网）注意到，在实验中，研究人员使用了来自德国慕尼黑机器人公司FrankaAmika的两款不同的“熊猫机器人”。研究人员将它安装在同一张桌子上的不同位置，并从人手中接过4种不同颜色的物品。论文的两位作者表示，与两种基线方法（一种不判断人手状态，另一种仅依赖手和物体状态）相比，他们的方法提高了人机无缝切换的成功率，并缩短了计划执行时间——交接成功率100%（第二高80%），判断成功率64.3%（第二高29.6%），计划执行总动作是17.34秒（第二短的是36.34秒）。不过研究人员也明确提到了这个系统的不足和未来的研究方向：提高判断的成功率会是我们未来努力的一个方向，因为即使这个系统已经可以处理大部分物体和人的相互阻挡场景，但不确定性也较高，有时机器人不得不重新判断。此外，他们计划让系统从数据中学习不同的抓握类型，而不是依赖于人为制定的规则。
