转自：https://blog.csdn.net/zhaohongliang360/article/details/80675938
1.1 相关技术综述
二维视觉测量采用单摄像机测量目标在特定平面中的位置，如美国的Adept机器人装配系统、足球机器人等。在二维视觉测量中，摄像机与测量平面之间的距离固定，这使得其应用受到很大的限制[1]。
与二维图像信息相比，三维信息能够更全面、真实地反映客观物体，提供更大的信息量。近年来，各种技术应用于三维信息测量中，由此形成了各类三维测量系统。经过几十年发展，三维视觉测量系统已具有较成熟的理论和技术基础，生产实践也不断证明这类系统操作简便、适应性强、精度高[2]。
从狭义上讲，三维视觉测量技术即通过计算机分析处理，让计算机不仅具有和人眼一样的视觉感受，而且能够获得人眼所不能直接获得的经过量化的物体参数。
获取空间三维物体的距离信息是三维成像、三维物体重建和计算机辅助设计中最基础的内容，有着广泛的实际应用价值。进入二十世纪90年代以来，各种硬件和软件技术的发展使得人们不仅能处理二维图像而且开始处理三维图像，许多能获取三维图像的设备和处理分析三维图像的系统研制成功，大大扩展了人们对客观世界的认识[3]。光学三维形貌测量具有非接触、高精度、高效率的特点，并且在科研、医学诊断、工程设计、刑事侦查现场痕迹分析、自动在线检测、质量控制、机器人及许多生产过程中得到越来越广泛的应用。为此，国际光学学会在1994年以信息光学的前沿为主题的年会上，首次将光学三维测量列为信息光学前沿的7个主要领域和方向之一[4]。
80年代初，Marr从信息处理的角度综合了图像处理、心理物理学、神经生理学以及临床病学的研究成果，提出了第一个较为完善的视觉系统框架，称之为Marr视觉理论[3]。该理论从信息处理系统的角度出发，将系统的研究分为三个层次[3]：计算理论层次、表达与算法层次、硬件实现层次。
从视觉计算理论出发，将系统分为自下而上的三个阶段[3]，即视觉信息从最初的原始数据（二维图像数据）到最终对三维环境的表达经历了三个阶段的处理。第一阶段构成所谓“要素图”或“基元图”，基元图由二维图像的边缘点、直线段、曲线、顶点、纹理等基本几何元素或者特征组成；第二阶段，Marr称为对环境的2.5维描述，这是一种形象的说法，意即部分的、不完整的三维信息描述，用“计算”的语言来讲，就是重建三维物体在观察者为中心的坐标系下的三维形状与位置；第三阶段，即三维阶段，是对物体的完整三维描述，即物体本身某一固定坐标系下的描述。
从低层次的处理而言，我们最为关注的是图像数据在计算机中的表达，即计算机如何理解和区分“景物”。在高层，我们希望能够通过高性能的计算机，求解出人眼无法实现的功能，比如精确地识别、定位以及参数的测量等。
图像的预处理：
图像预处理是最低层的操作，输入输出都是亮度图像，需要指出的是，图像的预处理不会增加新的信息量[5]。主要的图像预处理按照在计算新像素亮度时所使用的像素领域的大小分为四类：第一类：像素亮度变换；第二类：几何变换；第三类：局部预处理方法；第四类：图像复原技术。
图像平滑是指用于突出图像的宽大区域低频成分、主干部分或抑制图像噪声和干扰高频成分，使图像亮度平缓渐变，减小突变梯度，改善图像质量的图像处理方法。图像平滑的方法包括[5]：插值法、线性平滑法、卷积法等。
平滑后的图像需要进行边缘检测[5]。两个具有不同灰度值的相邻区域之间总存在边缘，边缘是灰度值不连续的表现。由于边缘是图像上灰度变化最剧烈的地方，传统的边缘检测即利用这一特点，对图像各个像素点进行微分或求二阶微分来确定边缘像素点。常用的边缘检测模板有Canny算子、Laplacian算子、Roberts算子、Sobel算子，以及Laplacian of Gaussian（LoG）算子等[5]。
图像分割[5]是对图像预处理后的图像数据进行分析之前，最重要的步骤之一，它的主要目标是将图像划分为与其中含有的真实世界的物体或区域有强相关性的组成部分。通常，可将图像分割分为三类：第一类，是有关图像或图像部分的全局知识，这种知识一般由图像特征的直方图来表达；第二类，是基于边缘的分割；而第三类是基于区域的分割，在边缘检测或区域增长中可以使用多种不同的特征，例如亮度、纹理、速度场等。
摄像机的标定：
对于摄像机标定，目前已经提出了很多种方法，摄像机标定的理论问题已得到较好的解决。对摄像机标定的研究来说，工作集中在如何针对具体的实际应用问题，采用特定的简便、实用、快速、准确的标定方法。
传统的摄像机标定起源于摄影探测学中的校正。在摄影测量学中所实用的方法是数学解析分析的方法，在标定过程中通常要利用数学方法对从数字图像中获得的数据进行处理。通过数学处理手段，摄像机标定提供了专业测量摄像机与非量测摄像机的联系。在1889年到1951年之间，发表了近百篇与相机校正有关的论文，Brown对此进行了总结并给出了文件列表[6]。
20世纪50年代到70年代是镜头校正技术发展的黄金时期。在这期间，许多镜头像差的表达式陆续提出并被普遍认同和采用，建立起了较多的镜头像差模型。这些模型是在原来摄像测量模型的基础上增添了许多新的概念，如像元、像素、焦距、像元的倾斜等[7]。而从摄像机标定的角度来看，传统摄像机标定的概念已经比较成熟。传统的摄像机标定一般指利用一个标准参照物与其对应图像的约束关系，来确定摄像机模型的参数，可以通过一幅以上的图像进行标定。如果不考虑镜头像差的影响，可以使用线性方法标定，如直接线性变换法。但由于没有考虑成像畸变因素，标定精度较低。1966年，B.Hallert首次将最小二乘法用于对镜头标定多余观察数据的处理，并将其应用在野外立体坐标测量仪上，而得到高精度的测量结果。B.Hallert为非线性优化在摄像机标定中的应用开启了大门。到1975年，W. Faig考虑到摄像机成像过程中的各种因素，建立较为复杂的摄像机成像模型并用非线性优化来求解。非线性优化对提高摄像机标定精度提供了一条很好的途径，非常适合采用多参数的非线性畸变模型的标定，在能提供较好初值、可以较快收敛，从而得到高精度优化的结果。
传统摄像机标定方法总结：
1、TSAI的RAC标定算法：
20世纪80年代中期Tsai提出的基于RAC的定标方法[8,9]是计算机视觉相机标定方面的一项重要工作，该方法的核心是利用径向一致约束来求解除像机光轴方向的平移外的其它像机外参数，然后再求解像机的其它参数。基于RAC方法的最大好处是它所使用的大部分方程是线性方程，从而降低了参数求解的复杂性，因此其定标过程快捷、准确。
2、张正友的平面标定方法：
张正友等人基于2D平面靶标提出了摄像机的三维标定方法。在该方法中，要求摄像机在两个以上不同方位拍摄一个平面靶标，摄像机和2D靶标都可以自由移动，不需要知道运动参数。在标定过程中，假定摄像机内部参数始终不变即不论摄像机从任何角度拍摄靶标，摄像机内部参数都为常数，只有外部参数发生变化。张正友标定法是目前使用最为广泛的方法。
3、摄像机自标定方法：
自标定方法是20世纪90年代中后期在机器视觉领域中最重要的研究方向之一。它是指不使用标定块，仅仅通过图像点之间的对应关系而进行摄像机标定的方法。自从1992年R.L.Hartley和O.D.Faugeras提出自标定的思想以后，自标定方法成为了计算机视觉领域的热点研究问题之一。近年来在国际计算机视觉会议（ICCV）、欧洲计算机视觉会议（ECCV）、计算机视觉和模式识别会议（CVPR）、国际模式识别会议（ICPR）及相关领域的重要会议杂志上大量与自标定技术相关内容文章的问世说明了这一点。大体来讲，摄像机自标定主要分为两类：基于Kruppa方程的自标定方法和基于绝对二次曲面的方法。
三维形貌测量方法：
三维形貌测量的方法从测量方式上可分为接触式和非接触式。
传统的接触式测量方法发展已有几十年历史，其机械结构及电子系统已经相当成熟。三坐标测量机（CMM, Coordinate Measuring Machine）和接触式粗糙度轮廓仪是接触式三维测量的典型代表，其原理是用采样头的探针接触模型表面，采集一个轮廓点的数据，然后横向移动一个间距，采集相邻的轮廓点数据，最后构筑整个表面的线框模型。接触式测量方法具有较高的准确性和可靠性，但也存在以下缺点[11]：
（1）测量时测量头与被测物之间有接触压力，它不适合测量柔性物体，而且对测量头无法触及的表面没有很好的测量效果；另外不当的操作容易损伤被测物体的表面，特别是高精度表面，同时也会使测量头磨损。
（2）测量头本身的半径以及接触测量时被测物体受到测量头挤压发生局部形变会影响测量的精度。
（3）接触式测量是以逐点扫描的方式进行测量的，所以测量速度慢，尤其在测量较大物体时，非常耗时。
（4）由于测量机的机械结构复杂，对工作环境要求很高，必须防震、防灰、恒温等，使其应用范围收到一些限制。
尽管世界各国生产厂家都试图用各种高新技术来改变这一现状，但至今都未能从根本上解决测量机原理本身所造成的结构庞大和复杂的不足，难以满足当今高效率、高精度测量的需求。
非接触测量方法[12,13]主要是指光学测量方法。随着光电子技术、微电子技术的发展，各种新型器件不断出现，如电荷耦合器件（CCD, Charge Coupled Device）、数字投影仪（DLP, Digital Light Processing）等。非接触式光学测量技术得到快速发展，并开始在一些领域中得到广泛应用。非接触式光学测量方法由于其高灵敏度、高速度、无损坏、获取数据多等优点而被公认为最有前途的三维面形测量方法。
目前，光学三维视觉测量方法的种类主要分为：摄影测量法、飞行时间法、三角法、投影条纹法、成像面定位法、干涉测量法等。而获取宏观物体的三维信息的基本方法可以分成两大类[11]：被动三维传感和主动三维传感。被动三维传感采用非结构光（自然光）照明方式，从一个或多个摄像系统获取的二维图像中确定的距离信息，形成三维面形数据。被动三维传感需要进行大量的相关匹配运算，当被测目标的结构信息过于简单或过于复杂，或者被测物体上各点的反射率没有明显差异时，这种相关匹配运算将变得十分复杂和困难。主动三维传感启用结构光照明方式，这是由于物体三维表面对结构光场的空间或时间调制，观察到的变形广场包含了物体三维面形的信息，对变形广场进行解调，便可以获得三维面形数据。主动三维传感具有非接触、高自动化、高灵敏度、高精度等优点，因此，大多数以三维精细面形测量为目的的系统都采用主动三维传感方式。
根据物体三维表面对结构照明光场调制方式的不同，人们又将主动三维传感方法分为时间调制与空间调制两类。其中更为常用的是空间调制方法，根据测量原理的不同，空间调制又可以分为两类：直接三角法和相位测量法。直接三角法轮廓测量是以纯粹的三角测量原理为基础，通过出射点、投影点和成像点三者之间的几何成像关系确定物体各点高度。直接三角法的优点是信号处理简单可靠，无需复杂的条纹分析就能唯一确定各个测量点的绝对高度信息，自动分辨物体凹凸，即使物体上的物理断点（台阶、裂缝）、阴影等使图样不连续的缺陷也不会影响测量；缺点是精度不高，不能实现全场测量。而近几年来兴起的相位测量法是采用面结构光照明的三角光路测量法，这类方法首先将规则的光栅条纹图像投影到被测物表面，从另一角度看，可以观察到由于受物体高度的影响而发生变形的条纹。这种变形可解释为相位和振幅均为被调制的空间载波信号。采集变形条纹并从被调制的结构光场中提取所需的相位信息，然后再根据高度与相位的映射关系计算出被测物体的三维面形信息。相位测量法采用面结构光进行投影，不需要对物体扫描就可以得到物体面形的三维信息，具有全场测量、高速测量的特点。但是由于求解相位时用到了反三角函数运算，相位截断在三角函数的主值范围内，因此还需要进行相位展开才能得到被测物体真实的相位分布。
1.2 国内外发展现状
1、线结构光视觉测量系统国内外研究现状及应用领域：
目前市场上线结构光视觉测量系统比较知名的品牌有英国的3D Scanners公司、德国的Leica公司、法国的Kreon公司、瑞士的Tesa公司、比利时的Metris公司、美国的Perceptron公司等，其中英国的3D Scanner公司是世界上最早开发三维激光系统的公司[14]。国内外学者在视觉测量方面也做了大量的研究。Boyer和Kak提出彩色编码结构光主动三维测量法[15]。Pancewicz将提出的基于光纹投影应用于CAD/CAM/CAE的物体三维建模算法[16]。德国GOM公司的Atos系列流动式光学扫描仪，利用视觉测量定位技术和物理光栅进行投影，精度可达0.02 mm，可自动实现不同视角点云数据的拼接。英国的3D Scanners公司开发了Reversa型激光测头，采用单线结构光双目视觉原理实现三维测量，每秒采样点可达1-1.5万个，深度测量精度为0.01 mm。国内许多学者也将基于线结构光测量原理的许多研究成果应用于工业生产和日常生活中。清华大学的罗先波等人开发的一种基于线结构光原理的多用途传感器技术，可对腐蚀性物体表面和移动物体进行实时和非接触三维测量，且重建结果具有较高的精确度。北京航空航天大学研究所设计的按照径向基函数（RBF）神经网络原理而发明的结构光三维视觉检测方法，不用考虑光学调整误差、视觉模型误差等相关因素对视觉检测系统测量精度所造成的误差，可以较好克服利用一般建模方法所存在的缺陷和不足，同时还能提高视觉测量系统的测量准确度。武汉大学的郑莉等人推到了像点到物方空间三维点的数学模型，主要应用与不规则镜面物体的三维重建技术。该方法集成了传统摄影测量方法的优点，且具有灵活性以及无需匹配同名点。
2、单目视觉测量系统发展现状：
由于采用测棒测量方式，克服了传统的视觉坐标测量系统直接从被测表面获取被测信息的缺点，改变了以往的由于被测表面形状复杂而使应用受到限制的缺点，能够实现遮挡点及高光点的测量，所以该方法得到了广泛的研究。国外在这方面的研究起步比较早，已开发出成熟产品，如Metronor公司的SCS系统、Lecia公司的V-STARS/S系统和Aicon公司的ProCam系统。
Metronor公司的SCS系统由数码传感器、专利光笔、测头、笔记本电脑及三脚架等组成。它以光学测头上的红外发光二极管作为成像目标，由摄像机获取的单幅图像实现单机视觉测量，其测量范围为1.5~10m，分辨率为 0.001 mm，长度测量三轴精度指标：±0.035 mm，±0.090 mm，±0.188 mm。该系统结构简单、轻巧，使用快捷方便，并且精度高、测量空间大，具有进行CAD对比测量、LED补偿、最佳匹配等功能，可用于汽车、航空、造船及铸造领域中各种大、小部件的测量，能轻松测量不同尺寸的部件，包括：点、线、平面、圆孔、圆柱、圆锥等几何元素，同时也可满足曲面、边界、槽等测量。
瑞士 Leica 公司和美国 GSI 公司联合推出了系列 V-STARS 系统(摄像-STARS 系统)。V-STARS 系统是一种基于高分辨率、高精度的固态影像传感器的视频摄影测量系统，由一台高性能像机、手提电脑、V-STARS 软件及测棒等一些附件构成。V-STARS/S 系统以测棒上的反射特征点作为成像目标，通过激光跟踪方法确定深度信息，实现单机视觉测量。该系统精度高，可达被测物体尺寸的。若物体长 6 m 时，精度为±（0.025~0.075）mm；速度快，能在十分钟乃至数分钟内完成复杂工业目标的全部测量；体积小；软件功能强大；自动化程度高；广泛地应用于国外航空航天、造船、天线制造、核工业、汽车等行业。
Aicon 公司的 ProCam 系统，它与上述两种系统不同，数字摄像机设置在沿轨道滑动的移动测头上，以固定在摄像机视场范围内合适位置的目标模板作为空间特征点约束，从而得到测头上的触测点相对于模板坐标系的空间坐标位置，实现坐标的测量。
国内在这方面的研究相对起步较晚，还处于理论探索阶段，目前还没有开发出成型产品。哈尔滨工业大学测控技术与质量工程研究所是国内较早进行这方面研究的单位，对基于测棒成像的单目视觉坐标测量方法进行了研究，并在1998年研制出实验样机。另外，天津大学的精仪学院和上海大学等院校也正在进行该方面的研究工作。
3、双目视觉系统发展现状：
双目视觉测量系统大致分为三种类型：1）利用单台或两台摄像机和激光扫描或LCD编码光投影的三角测量方法，如GOM公司的ATOS三维数字化测量仪，主要用于自由曲面测量；2）利用两台外部方位固定的摄像机构成的被动式立体视觉测量系统或附加投影的主动式立体视觉测量系统，由于像机预先安置在固定支架上，在实验室中完成外参校准工作，所以限制了系统使用的灵活性，不能根据不同的测量体进行调整，限制了测量范围，难以满足大型构件的在线测量要求；3）利用两台任意放置的摄像机构成，两台摄像机的外部方位通过现场校准的方法确定。为实现大型构件的真正在线测量，从上个世纪九十年代中期起，科技工作者对立体视觉测量系统的现场校准问题进行了广泛的研究，开发出了适用于现场测量的立体视觉测量系统，如Metronor的DCS系统和Lecia的V-STARS/M系统。
Metronor 的 DCS 系统，由两台摄像机、专利光学测头、外参校准棒、笔记本电脑及三脚架等组成。DCS 系统采用带有 6 个光学特征点的外参校准棒完成双机系统的在线校准，同样利用含有 5 个光学特征点的光学测头进行大空间三维测量，其测量范围为1.5 m~10 m，分辨率为0.001 mm，长度测量精度指标：±0.020 mm/2.5 m，±0.03 mm/6 m,±0.06 mm/10 m。该系统应用于汽车、航空、造船及铸造领域中各种大型部件的测量。
Lecia 的 V-STARS/M 系统也是现场校准的立体视觉测量系统的典型代表，其测量精度高，在世界范围内获得了广泛应用。它也采用接触式光学测头作为成像目标，利用含有反射式光学特征点的光学测棒实现大尺寸三维坐标测量。该系统在大范围内几何尺寸测量方面具有较强的技术优势，主要表现在测量速度快、方便携带、使用灵活、可在狭小的空间测量、受温度影响小、可在振动环境下工作和测量精度高，在10 m范围内其测量精度可达到0.06 mm~0.085 mm。因此广泛地应用于航空航天以及天线安装等大型装置的测量。上述两个系统根据被测工件的特点在现场按照一定的布局进行设置，利用光学参考棒对两台摄像机之间的外部方位参数进行现场校准。
就双目立体视觉技术的发展现状而言，要构造出类似于人眼的通用双目立体视觉系统，还有很长的路要求，进一步的研究方向可归纳如下：
（1）如何建立更有效的双目立体视觉模型，能更充分地反映立体视觉不确定性的本质属性，为匹配提供更多的约束信息，降低立体匹配的难度；
（2）探索新的实用于全面立体视觉的计算理论和匹配的准则及算法结构，以解决存在灰度失真、几何畸变（透视、旋转、缩放等）、噪声干扰，及对特殊结构（平坦区域、重复相似结构等）、遮掩景物的匹配问题；
（3）算法向并行化发展，提高速度、减少运算量、增强系统的实用性；
（4）强调场景与任务的约束，针对不同的应用目的，建立有目的的面向任务的双目立体视觉系统。
4、多目视觉系统发展现状：
三摄像机视觉测量系统是多摄像机视觉测量系统的一个特例，是人们在进行立体视觉测量时为减小特征点误匹配常采用的一种方法，该系统通
常将外部参数已经精确校准的三台摄像机固定在一个支架上，利用三台摄像机对被测空间点进行成像来确定其空间位置，如Krypton公司推出的400-CMM和600-CMM系统。测量时将系统任意摆放在被测件附近，使被测体处于系统视场范围内，通过光学接触式测头进行逐点测量。测头上包含9个位置关系确定的光学特征点，通过测头和测尖的组合变换可以实现不可见点的测量；系统不需要现场校准，可以根据被测体的大小和位置来改变测量系统的摆放位置，但是由于三台像机位置固定不动，所以其视场范围受到了很大的限制，并且该系统还比较笨重。
参考文献：
[1] 洪启松.基于三维视觉技术的物体深度测量系统的研究[D].华南理工大学,2010.
[2] 唐巍,叶东.三维视觉测量系统[J].红外与激光工程,2008,37(S1):328-332.
[3] 张广军.视觉测量[M].第1版.北京:科学出版社,2008.
[4] 孙园，李大心.相位测量轮廓术的应用现状及发展趋势[J].无损检测,2006,3(28):130~132.
[5] Milan S著,艾海舟译.图像处理、分析与机器视觉[M].北京:机械工业出版社,2003.
[6] Brown DC. Decentering Distortion of Lenses[J]. Photogrammetric Engineering and Remote Sensing. 1966:444-462.
[7] Wong K.W. Mathematical foundation and digital analysis in close range photogrammetric[C]. Pattern Analysis and Machine Intelligence IEEE Transactions,1976.
[8] Wei G., Ma S. Implicit and explicit camera calibration: theory and experiments[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1994,16(5):469-480.
[9] Hallert B. Notes on calibration of cameras and photographs in photogrammetry[J]. Photogramtria.23,1968:163-178.
[10] Z.Y Zhang. A Flexible New Technique for Camera Calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2000.22(11):1330-1334.
[11] 周文莲.物体形态的三维测量技术[J].人类学学报,2000,19(4):324~331.
[12] 陈晓荣,蔡平,施文康.光学非接触三维形貌测量技术新进展[J].光学精密工程,2002,10(5):528~532.
[13] 江毅,黄尚廉.用投影光栅法测量三维物体表面轮廓形状的评述.应用光学,1994,15(4):58~62.
[14] 李硕.线结构光三维视觉测量系统的关键技术研究[D].广东工业大学.2016.
[15] K.Boyer, A.Kak. Color-encoded structured light for rapid active ranging[J].IEEE transactions on pattern analysis and machine intelligence,1987,9(1):14-28.
T.Pancewicz, M.Kujawinska. CAD/CAM/CAE representation of 3D objects measured by fringe projection[C]. Proc.SPIE 3479,1998,pp:70-75.
来源：oschina
链接：https://my.oschina.net/u/4407777/blog/3909385