机器人学习中的一个经典问题就是排序：从一堆杂乱无章的物品中取出目标物品。从快递分拣员的角度来看，这几乎是一个不需要思考的过程，但对于机械臂来说，这意味着复杂的矩阵计算。快递分拣机正在分拣。事实上，使用智能系统来处理人类需要大量时间的数学问题是非常容易的。然而，无需思考即可做出的分类动作，是全世界机器人研究专家关注的焦点。机械臂的抓取需要确定机械臂各节段的位姿。首先，机械臂需要一个视觉伺服系统来确定物体的位置。根据末端执行器（手）与视觉传感器（眼）的相对位置，可分为Eye-to-Hand和Eye-in-Hand两种系统。Eye-to-Hand的分离分布使视野保持恒定。相机的标定精度越高，视觉定位和抓取的精度就会越高。Eye-in-Hand用视觉传感器固定机械臂，视野随着机械臂的运动而变化。传感器越近，精度越高，但如果太近，目标可能会超出视野。精密的视觉系统与灵活的机械臂相结合，才能完成完美的抓取，这是当前机器人操作中的核心问题。可以概括为一件事：找到一个合适的抓取点（或吸附点），抓住它。传输的后续执行属于运动规划的分支。目前主流的解决方案有几种Model-based（基于模型的方法）。这种方法很容易理解，就是知道要抓什么，提前用物理扫描的方法，把模型数据提前给机器人系统。得到中间的需要较少的计算：1.离线计算：根据安装的终端类型计算每个对象模型的局部抓取点；2、在线感知：通过RGB或点云图像3D姿态计算出每个物体的位置；3、计算抓取点：在现实世界的坐标系中，根据防碰撞等要求，为每个物体选择最佳抓取点。RGB色彩空间由红、绿、蓝三种基本色组成，可以叠加成任何颜色。同样，任何一种颜色也可以分解成三种基本色的组合。机器人通过颜色坐标值来认识“颜色”。这种方法类似于人眼识别颜色的方向，广泛应用于显示屏。CGrasp对精密轴承的随机抓取Half-Model-based（半模型法）在这种训练方法中，不需要完全预测抓取的物体，而是需要大量相似的物体来训练算法，使得算法可以将图像有效地“分割”在一堆物体中，识别出物体的边缘。这种训练方法需要这些过程：1.离线训练图像分割算法，即根据物体区分图片中的像素点。这种工作一般由专门的数据标注员处理，根据工程师的需要对大量图片进行标注。2.在线处理图像分割，在人工标记的物体上找到合适的抓取点。这是目前应用比较广泛的一种方式，也是机械臂抓取推进的主要推力。机械臂技术发展缓慢，但计算机视觉的图像分割进展迅速，这也从侧面撬动了机器人、无人驾驶等产业的发展。Model-free（自由模型）这种训练方式不涉及“对象”的概念。机器直接从RGB图像或点云图像中计算出合适的抓取点。基本思想是在图像上找到Antipodal（对映点），也就是有可能被“抓到”的点，逐渐训练抓取策略。这种训练方式往往让机器人尝试大量不同类型的物品进行自我监督学习。谷歌的ArmFarm就是代表之一。GoogleArmFarm值得注意的是，对于机械手来说，抓取不同形状物体的难度差别很大。即使是相同形状的物体，由于表面反射率和环境光照的影响，在不同场景下的抓取难度也大不相同。从实验室到商业落地，还有相当长的路要走。高精度相机的研制是机器人“感知”物体的第一步。在实际业务场景中，最头疼的对象永远是“下一个对象”。工业机器人要真正融入实际生产系统，只有拥有聪明的大脑，针对不同工况灵活调整，才能拓宽工业机器人的使用场景。
