机器视觉系统有哪些难点?解析多相机视觉系统的难点及应用

　　自动化集成系统配套服务商-日弘智能今天为大家讲讲机器视觉系统有哪些难点?解析多相机视觉系统的难点及应用。随着机器视觉应用的日益广泛，大幅面 多相机 视觉系统的需求越来越多，主要应用方向为大幅面高精度的定位与测量和场景拼接等。

　　多相机视觉系统的难点在于多相机坐标系的统一. 可以分为两类，一是相机视野间无重叠部分，二是相机视野间有重叠部分。

　　相机间无重叠部分的情况主要用于大幅面多相机高精度的定位和测量，相机间有重叠部分的情况主要用于场景的拼接等。

　　一. 相机间无重叠部分，介绍两种典型方法。

　　1. 使用大标定板统一坐标

　　(1) 通过机械手的移动获取标定所用坐标 (三点线性标定法)

　　组1相机1：

　　把Mark点移动到相机视野中，定相机的初始位置，得到初始Mark点的中心坐标Point11(cRow11, cColumn11)，机械手沿X方向移动一定距离(5mm)后得到Mark点的中心坐标Point12 (cRow12, cColumn12)，机械手沿Y方向移动一定距离(6mm)后得到Mark点的中心坐标Point13(cRow13, cColumn13)，同时可以得到在上述三个位置机械手的空间坐标Robot11(X1[0]，Y1[0])、 Robot12(X1[1]，Y1[1]) 、Robot13(X1[2]，Y1[2])。

　　组1相机2：

　　同上，把相同Mark点移动到相机视野中，通过相同的操作得到坐标：Point21 (cRow21, cColumn21)、Point22 (cRow22, cColumn22)、Point23 (cRow23, cColumn23)、Robot21 (X2[0]，Y2[0])、 Robot22(X2[1]，Y2[1])、Robot23(X2[2]，Y2[2])。

　　(2) 图像距离和实际距离之间转换比例关系的确定：

　　通过数学运算可计算得到比例关系。

　　(3) 旋转中心的确定

　　依据三个点就可以确定一个圆的原理，让机械手在初始位置旋转三次，得到Robot31，Robot32和Robot33三个相对于机械手坐标系的坐标点，三个点的坐标就可以求出旋转圆心的坐标。

　　(4) 标准线斜率求取：

　　需要在两个相机的视野中各选取一点作为标准线的起始点和终点，然后求取此标准线在机械手坐标系中的斜率。调整机械手到合适位置，确定此处为标准位置，此时组1的两支相机分别拍摄初始位置的两个不同的Mark点的图像。通过模板匹配方法找到两个相机初始位置视野中两个Mark点的中心坐标Point10(Row10,Column10)和Point20(Row20,Column20)，Point10和Point20确定为标准线的起始点和终点。求取Point10在机械手中的坐标如下图所示，下图中XOY是机械手坐标系，X1O1Y1是组1相机1的图像坐标。

　　定位校准

　　以后在每次进行检测时，得到的结果都和标准线进行比较，可以得到和标准线的夹角和相对于标准位置的位置偏差，根据得到的角度和位置偏差进行校正。在校正过程中需要先旋转后平移，做一个闭环反馈系统实时校正。

　　应用领域：

　　手机或平板电脑触摸屏和外壳的装配定位。

　　二. 相机间有重叠部分，介绍两种典型方法。

　　1. 标定方法拼接图像

　　方案简介：

　　对于有些大幅面物体 ，可以通过拍摄多幅图像，每幅图像覆盖物体的不同的部分。如果摄像机经过标定并且它们与一个共有的世界坐标系之间的相对关系已知，就可以通过不同的图像进行精确测量。 甚至可以将多幅图像拼接为一副覆盖整个物体的大图，这个可以通过将每幅图像都校正到同一个测量平面上实现。在结果图像上，可以直接在世界坐标系中进行测量。 图像拼接示意图：

　　安装：

　　两个摄像机或多个摄像机必须安装在一个稳定的平台上，并且每幅图像覆盖整个场景的一部分。摄像机的方位可以随意，也就是说不需要它们看起来平行或垂直于物体表面。调整摄像机焦距、灯光以及交迭区域，使用一个大的可以覆盖整个视野的参照物。为了保证可以将多幅图像拼接为一副大图，它们之间必须存在一个小的交迭区域。交迭区域可以很小，因为这个交迭区域只是为了保证在拼接的结果图像中没有缝隙，下图为交叠区域示意图。

　　标定：

　　图像的标定可以分为两个步骤。

　　确定每个摄像机的内参。可以分别对每个摄像机进行标定求取摄像机的内参。

　　确定所有摄像机的外参。因为最后要将所有的图像转换到某一个世界坐标系中，所以需要使用一个大的标定物，这个标定物可以出现在所有的图像中，它可以由多个标定板组合而成，标定板的数量和使用摄像机的数量一致。下图为两个相机分别拍摄到的标定图像。

　　注意：为了确定摄像机的外参，每个摄像机只需要拍摄一副标定图像就已经足够。标定物在多个摄像机分别进行拍摄标定图像的过程中不可以移动。理想情况下，这些标定图像应该同时获取。

　　将单个图像拼接为一个大图：

　　首先，每幅图像都必须进行校正，将这些图像转换到一个共有的坐标系中，它们之间就会正确匹配。在得到所有进行校正图像需要的映射图后，使用两个摄像机拍摄的每个图像对都可以进行校正并且高效的拼接。拼接的结果图由两幅校正后的图像组成，每个校正后的图像占图像的一个部分。

　　应用领域：

　　液晶面板表面质量的检测

　　2. 非标定方法拼接图像

　　简介：

　　此种方法和前三种方法相比精度较低，适用于不需要实现高精度拼接的应用场合。这种拼接方法的优点是不需要进行摄像机标定，并且每幅单独的图像可以自动进行排列。

　　拍摄单幅图像规则：

　　在拍摄每幅图像时需要遵循下面这些规则：

　　(1) 相邻的图像之间必须有交迭

　　(2) 图像之间的交迭区域必须有比较明显的特征，这样就可以保证比较精确的自动匹配过程。如果在某些交迭区域内的特征不明显那么可以通过定义合适的图像对来克服。如果整个物体的特征都不是特别明显，那么交迭区域就应该更大一些。

　　(3) 交迭的图像的缩放比例必须大约相等。一般情况下，缩放比例的不同不能超过 5-10%

　　(4) 这些图像的亮度应该相似，至少在交迭区域部分的亮度相似。否则，如果亮度区别非常明显的话，图像之间的接缝在结果图像中就非常明显。

　　定义交叠图像对：

　　需要定义一些交迭图像对，通过匹配确定这些图像对之间的转换关系。匹配的过程只会应用在这些交迭图像对上。

　　如果需要拼接的图像比较多，或者交迭图像每行图像比较多，此时合理彻底地安排图像对的配置十分重要。否则就可能有些图像不能实现精确匹配。这主要是因为噪声造成点坐标的一些误差导致不能准确计算图像之间的转换关系，这些误差会由一个图像传到下一幅图像上。

　　提取图像中的特征点：

　　提取出的特征点的数量影响运行时间以及匹配的结果。特征点的数量越多，匹配的过程就越慢。但是太少的特征点将增大产生错误结果的可能性。

　　在交迭的区域中匹配特征点并且确定图像之间转换关系：

　　在进行图像拼接过程中最重要的任务就是图像对之间的匹配过程。匹配的图像对可以有任意的平移和旋转，唯一的要求就是图像应该有大约相同的缩放比例。如果图像之间平移和旋转的信息可用，它就可以用来限定寻找区域，这样就可以加速匹配过程并且使算法更加健壮。

　　生成拼接图像

　　知道了图像对之间的转换关系，就可以调用函数进行图像拼接。

　　注意：

　　需要注意球面拼接的情况，上述方法只适用于摄像机绕光心旋转或缩放。如果摄像机的移动包含平移或不是严格绕光心的旋转，使用这种方法得到的拼接结果将不准确也就不能够用在精确测量的场合。

　　应用领域：

　　(1) 街景的拼接。

　　(2) 电子地图的制作。

　　(3) 医学影像的拼接。

　　关于机器视觉系统有哪些难点?解析多相机视觉系统的难点及应用的知识点，想要了解更多的，可关注日弘智能官网，如有需要了解更多运动控制卡,运动控制器,Ethercat总线控制器,Codesys,视觉系统,视觉运动控制系统,视觉激光打标机系统,视觉点胶机系统,五轴联动系统,振动刀切割系统,裁布切割系统的相关技术知识，欢迎留言获取!