视觉伺服系统以视觉信息作为反馈信号，控制和调整机器人的位置和姿态。这方面的应用主要体现在半导体和电子行业。机器视觉系统也广泛应用于质量检测、工件识别、食品分选、包装等各个方面。通常，机器人视觉伺服控制是基于位置视觉伺服或基于图像的视觉伺服，也分别称为三维视觉伺服和二维视觉伺服。这两种方法各有优点和适用性，但也存在一些缺陷。.基于位置的视觉伺服系统利用摄像头的参数建立图像信息与机器人末端执行器位置/姿态信息的映射关系，实现末端执行器位置的闭环控制的机器人。通过实时拍摄图像中提取的末端执行器的位置信息和定位目标的几何模型，估计末端执行器的位姿误差，然后根据位姿误差，新的位姿参数每个关节都获得。基于位置的视觉伺服要求在视觉场景中始终观察末端执行器，并计算其三维位置和姿态信息。消除图像中的干扰和噪声是保证位姿误差计算准确的关键。二维视觉伺服将相机拍摄的图像的特征与给定的图像（不是三维几何信息）进行比较，得到误差信号。然后对关节控制器、视觉控制器和机器人当前的工作状态进行修正，使机器人完成伺服控制。与3D视觉伺服相比，2D视觉伺服对相机和机器人的标定误差具有更强的鲁棒性。然而，在设计视觉伺服控制器时，难免会遇到图像雅可比矩阵的奇异性和局部Minor问题。针对三维和二维视觉伺服方法的局限性，提出了一种2.5维视觉伺服方法。解耦相机平移和旋转的闭环控制，根据图像特征点重构三维空间中物体的方位和成像深度比。平移部分由特征点在图像平面上的坐标表示。该方法能够成功地将图像信号与基于图像提取的位姿信号结合起来，并将它们产生的误差信号合成进行反馈，很大程度上解决了鲁棒性、奇异性和局部极小等问题。但是该方法还存在一些问题需要解决，例如在伺服过程中如何保证参照物始终在相机视野内，分解单应矩阵时解法不唯一等。在建立视觉控制器模型时，需要找到一个合适的模型来描述机器人末端执行器与相机之间的映射关系。图像雅可比矩阵法是机器人视觉伺服研究领域广泛应用的一种方法。图像的雅可比矩阵是时变的，需要在线计算或估计。
