镜头畸变

2015-07-21 16:59 原创 Randy Orton http://www.leiphone.com/news/201507/7j46BjWsSitKML13.html 虚拟现实 设备自从去年至今，一直是消费电子领域炙手可热的产品，特别是在Oculus被 Facebook 以高大20亿美金收购后，几乎所有科技巨头均开始涉及VR领域，国内各类型的VR眼镜（头盔）公司也如雨后春笋般的进入人们视野中，这些公司中除了少数有独立显示屏外，绝大部分都以手机作为媒介，这可以更进一步降低价格，从而推动VR产品快速进入市场。值得一提的是，国内已经有公司推出了不仅带有独立显示屏，还带手机模组的VR头盔，即正在淘宝 众筹 的星云Nebula。当然，笔者之所以会关注到星云Nebula，主要还是因为其采用了非球面双凸型透镜及弯月型透镜双镜片的镜片组方案。 目前VR头盔的价格差距很大，从只要几美元的谷歌Cardboard，到预计售价350美元的Oculus消费者版本，但他们的原理基本相同，最主要的部件都包括屏幕，陀螺仪，光学镜片以及一些塑料部件。其中对用户沉浸感影响最大的部件是两对光学镜片。在各类型的 智能硬件 中，大部分元件都是电子元器件，很少包含光学元件。较为困难的是，评价其质量的指标不能用常见的内存大小，主频高低，内核的数量等很直观的指标来衡量。看似简单的两个圆形镜片想要达到理想的成像效果

一、原理介绍 图像拼接(Image Stitching)是一种利用实景图像组成全景空间的技术，它将多幅图像拼接成一幅大尺度图像或360度全景图，图像拼接技术涉及到计算机视觉、计算机图形学、数字图像处理以及一些数学工具等技术。图像拼接其基本步骤主要包括以下几个方面：摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接（融合），以及亮度与颜色的均衡处理等，以下对各个步骤进行分析。 摄相机标定 由于安装设计，以及摄相机之间的差异，会造成视频图像之间有缩放（镜头焦距不一致造成）、倾斜（垂直旋转）、方位角差异（水平旋转），因此物理的差异需要预先校准，得到一致性好的图像，便于后续图像拼接。 相机的运动方式与成像结果之间的关系见下图。 图1：相机的运动方式与成像结果之间的关系 图像坐标变换 在实际应用中，全景图像的获得往往需要摄像机以不同的位置排列和不同的倾角拍摄。例如由于机载或车载特性，相机的排列方式不尽相同，不能保证相机在同一面上，如柱面投影不一定在同一个柱面上，平面投影不一定在同一平面上；另外为了避免出现盲区，相机拍摄的时候往往会向下倾斜一定角度。这些情况比较常见，而且容易被忽略，直接投影再拼接效果较差。因而有必要在所有图像投影到某个柱面（或平面）之前，需要根据相机的位置信息和角度信息来获得坐标变换后的图像。

镜头到底怎么选择、根据什么选择，这个问题可能是很多数码单反用户面临的一个问题。为便于用户选择镜头时有所参考，日本摄影家马场信幸认为，购买镜头时主要依据焦距、最大光圈、近摄能力和描写力四大方面来选择。下面就这四大方面进行具体介绍。 一、焦距 选 择镜头第一个要注意的是镜头的焦距，焦距实际上就是视角问题，焦距不同视角也不同。另外用户自己要明确，我购买镜头的主要目的是什么？是为拍风景还是 拍人物等等。众所周知，拍风景宜用广角镜头，而拍人物则宜用望远镜头，所以首先要根据摄影目的来决定自己所要选购的镜头焦距。 拍摄风 景最佳焦段是广角焦段24mm、望远焦段200mm（均以35mm规格为标准，下同）。当标准变焦镜头广角焦段从28mm进化到24mm后视角变大，可收 纳的景物范围大大拓宽。一般来说拍摄风景对镜头最大光圈要求不太高。如果主要是拍风景的话，选择变焦镜头时广角焦段是24mm基本就够用了。至于望远焦 段，起码得是200mm，如果望远焦段是300mm或400mm就更理想了，自由度会大大提高。传统变焦镜头的望远焦段多是300mm，用在数码单反上就 是450mm，焦距扩大了1.5倍，用起来会令人感到更加痛快，这一点正是数码单反的价值所在。现在出品的数码专用超广角镜头的广角焦段一般到12mm， 相当于35mm规格的18mm，比起35mm规格的28mm焦段将近扩大了1.5倍

关键述语： 1、EFL(Effective Focal Length）有效焦距 定义：指镜头中心到焦点的距离(下图)。 镜头的焦距分为像方焦距和物方焦距(下图)： 像方焦距是指像方主面（后主面）到像方焦点（后焦点）的 距离。 物方焦距是指物方主面（前主面）到物方焦点（前焦点）的距离。 注意事项： （1）焦距过短则视场角过大，导致畸变和主光线出射角难以控制，相对照度过低， 镜片弯曲严重，相差校正困难，因此难以设计。 （2）焦距过长镜头将过长，不利于系统小型化，而且视场角过小，不能满足用户 需求（FOV>60°） 2、TTL(Total Track Length) 镜头总长 镜头总长分为光学总长和机构总长： 光学总长是指由镜头中镜片的第一面到像面的距离。 机构总长是指由镜筒端面到像面的距离。 3、BFL（Back Focal Length）光学后焦距定义： 由光学系统中镜片的最后一面到像面的距离。 4、FFL(Front Focal Length）光学前焦距 定义：由光学系统中镜片的第一面到物面的距离 注意事项：要与机构后焦距FFL区分 5、FBL/FFL(Flange Focal Length）机构后焦（法兰焦距） 定义：由镜组的最后一个机构面到像面的距离 6、FOV(Field Of View）视场角定义： 是指镜头能拍摄到的最大视场范围。 视场角可分为对角线视场角（FOV-D)

在计算机视觉中，通过相机标定能够获取一定的参数，其原理是基于三大坐标系之间的转换和摄像机的畸变参数矩阵。在实验中经常用张正友标定发，进行摄像机标定，获取到内参数矩阵和外参数矩阵以及畸变参数矩阵。在应用中要区分三者作用。这也是在程序中函数输入量。 一、三大坐标系 在计算机视觉中，利用图像中目标的二维信息获取目标的三维信息，肯定需要相机模型的之间转化。 1、图像坐标系 在计算机系统中，描述图像的大小是像素，比如图像分辨率是1240*768.也就就是以为图像具矩阵rows是1024，cols是768.那图像的原点是在图像的左上角。 以图像左上角为原点建立以像素为单位的直接坐标系u-v。像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数。这是像素坐标，而不是物理坐标，为了后续的模型转换，有必要建立图像坐标系。 图像坐标系是以图像中心为原点，X轴和u轴平行，Y轴和v轴平行。 dx和dy标示图像中每个像素在X轴和Y轴的物理尺寸，其实就是换算比例。比如图像大小是1024*768，图像坐标系x-y中大小为19*17.那么dx就是19/1024 . 则图像中的每个像素在u-v坐标系中的坐标和在x-y坐标系中的坐标之间都存在如下的关系： (上述公式中我们假设物理坐标系中的单位为毫米，那么dx的的单位为:毫米/像素。那么x/dx的单位就是像素了，即和u的单位一样都是像素） 为了使用方便

相机模型 数码相机图像拍摄的过程实际上是一个光学成像的过程。相机的成像过程涉及到四个坐标系： 世界坐标系、相机坐标系、图像坐标系、像素坐标系 以及这四个坐标系的转换。 一、理想透视模型——针孔成像模型 相机模型是光学成像模型的简化，目前有线性模型和非线性模型两种。实际的成像系统是透镜成像的非线性模型。最基本的透镜成像原理如图所示： 其中 u 为物距， f 为焦距，v 为相距。三者满足关系式： 相机的镜头是一组透镜，当平行于主光轴的光线穿过透镜时，会聚到一点上，这个点叫做 焦点 ，焦点到透镜中心的距离叫做 焦距 f 。数码相机的镜头相当于一个凸透镜，感光元件就处在这个凸透镜的焦点附近，将焦距近似为凸透镜中心到感光元件的距离时就成为小孔成像模型。小孔成像模型如图所示。 　　　　　　　　　　　　　　　　小孔成像模型 为了简化分析，我们将成像平面放在小孔前面，并且成的像也是正立的。 小孔成像模型是相机成像采用最多的模型。在此模型下，物体的空间坐标和图像坐标之间是线性的关系，因而对相机参数的求解就归结到求解线性方程组上。四个坐标系的关系图如下图所示，其中 M 为三维空间点，m 为 M 在图像平面投影成的像点。 ① 世界坐标系 ：是客观三维世界的绝对坐标系，也称客观坐标系。因为数码相机安放在三维空间中，我们需要世界坐标系这个基准坐标系来描述数码相机的位置

在机器视觉领域，摄像头的标定指通过技术手段拿到相机的内参、外参及畸变参数。 相机内参长这样，利用针孔模型，将 3d 物体透视投影到 2d 的相机屏幕上。 P = [ f x 0 c x 0 f y c y 0 0 1 ] P = \begin{bmatrix} f_{x} & 0 & c_{x} \\ 0 & f_{y} & c_{y}\\ 0 & 0 & 1 \end{bmatrix} P = ⎣ ⎡ ​ f x ​ 0 0 ​ 0 f y ​ 0 ​ c x ​ c y ​ 1 ​ ⎦ ⎤ ​ 畸变参数包括 2 类， 径向畸变和切向畸变 。 径向畸变 最明显的例子就是鱼眼相机的效果。 大家仔细观察上面的图片，它就能很好地介绍径向畸变。越往镜头边缘，线条弯曲的越明显，本来是直线，现在都变成了曲线，消除畸变就是为了把这些曲线尽量还原成本来的样子。 径向畸变可以被纠正，公式如下。 除了径向畸变外，还有一个畸变就是 切向畸变 。 切向畸变 一般来说，是因为相机镜头制造工艺精度不够，透镜和感光器原件没有平行。从而造成了图像的变形。 矫正公式如下： 两个畸变的参数通常用一个向量表示。 但一般只用 4 个参数。 [ k 1 , k 2 , p 1 , p 2 ] [k_{1} ,k_{2},p_{1},p_{2}] [ k 1 ​ , k 2 ​ , p 1 ​ , p 2 ​ ] 如果用

这里写自定义目录标题 欢迎使用Markdown编辑器 新的改变 功能快捷键 合理的创建标题，有助于目录的生成 如何改变文本的样式 插入链接与图片 如何插入一段漂亮的代码片 生成一个适合你的列表 创建一个表格 设定内容居中、居左、居右 SmartyPants 创建一个自定义列表 如何创建一个注脚 注释也是必不可少的 KaTeX数学公式 新的甘特图功能，丰富你的文章 UML 图表 FLowchart流程图 导出与导入 导出 导入 一下是从photoscan中的相机矫正中获得的镜头畸变的相关参数： 2019-10-21 08:33:29 F = 5053.72 ± 9.46791 2019-10-21 08:33:29 Cx = 13.0664 ± 5.96412 2019-10-21 08:33:29 Cy = -71.5016 ± 3.76871 2019-10-21 08:33:29 K1 = -0.207553 ± 0.00797099 2019-10-21 08:33:29 K2 = 0.299002 ± 0.0728575 2019-10-21 08:33:29 K3 = -0.330907 ± 0.197423 2019-10-21 08:33:29 P1 = 0.000606011 ± 0.000227254 2019-10-21 08:33:29 P2 = -0

世界坐标系，相机坐标系，图像坐标系，图像像素坐标系这四个坐标系的转换实质就是刚体变换、透视投影和数字化图像这几个成像里的步骤。 一、世界坐标系到相机坐标系 世界坐标系，也称为测量坐标系，它是一个三维直角坐标系(xw,yw,zw)。在世界坐标系中可以描述相机和待测物体的空间位置。世界坐标系的位置根据实际情况自行确定。 相机坐标系也是一个三维直角坐标系(xc,yc,zc)。相机坐标系的原点是镜头的光心，x、y轴分别与相面的两边平行，z轴为镜头的光轴，与像平面垂直。 世界坐标系到相机坐标系的变换是刚体变换，也就是只改变物体的空间位置（平移）和朝向（旋转），而不改变物体的形状。用旋转矩阵R和平移向量t可以表示这种变换。 在齐次坐标下，旋转矩阵R是正交矩阵，可通过Rodrigues变换转换为只有三个独立变量的旋转向量。因此刚体变换用6个参数就可以表示（3个旋转向量，3个平移向量），这6个参数就是相机的外参。相机外参决定了空间点从世界坐标系到相机坐标系的变换。 齐次坐标下可表示为 二、相机坐标系到图像坐标系 从相机坐标系到图像坐标系，属于透视投影关系，从3D转换到2D。 图像坐标系也叫平面坐标系，用物理单位表示像素的位置，单位是mm。坐标原点为摄像机光轴与图像坐标系的交点位置。 根据相似三角原理 在齐次坐标下表示为 这一步完成了相机坐标系到理想的图像坐标系的转换

本文作者蔡量力，公众号：计算机视觉life成员，由于格式原因，公式显示可能出问题，建议阅读原文链接： 综述 | 相机标定方法 另外推荐几个原创的号 计算机视觉，Python，自然语言处理、数据挖掘相关，汇总最新资源，学习更高效！ ​ 在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数（内参、外参、畸变参数）必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定（或摄像机标定）。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高标定精度是科研工作的重点所在。 ​ 标定的目的主要为解决两个问题： ​ a、确定世界坐标系下三维空间点与像素平面像素点间的转换关系（内外参）； ​ b、确定相机成像过程中的畸变系，用于图像矫正。 针孔相机模型 相机将三维世界中的坐标点（单位：米）映射到二维图像平面（单位：像素）的过程能够用一个几何模型来描述，其中最简单的称为 针孔相机模型 (pinhole camera model) ，其框架如下图所示: 其中，涉及到相机标定涉及到了四大坐标系，分别为： 像素坐标系