图像拼接技术

1图像获取 全景图像素材的获取有两种方式：一是采用专门全景设备，如全景相机或者带有鱼眼镜头或者广角镜头的相机；二是利用普通相机拍摄局部图像，然后经过投影后拼接形成全景图。 第一种方法的优点是操作简单，无需复杂建模，非常容易的能够形成全景图，缺点是专用设备价格非常昂贵，不易普及和使用。 第二种方法对拍摄要求非常高，通常需要借助一些设备，如三角架等完成拍摄。相对前者更加复杂，但是费用低，仍然为目前的主流。 2图像投影 由于相邻局部实景图像是在相机转过了一定的角度，在不同的视角上拍摄得到的，因此它们的投影平面存在一定的夹角。如果对局部图像直接进行无缝拼接，将会破坏实际场景中视觉的一致性，比如把一曲线变成了直线等，同时也很难进行无缝拼接。为了维持实际场景中的空间约束关系，必须把拍照得到的实景图像投影到某一曲面上，图像信息以曲面的形式保存在计算机上。投影完成后，去掉了旋转关系，保留了平移关系，为图像的拼接做好了准备。通常，比较常见的全景投影方式有：球面投影、柱面投影和立方体投影。 2.1球面模型 2.2圆柱面模型 2.3立方体模型 全景图模型可以提供场景水平方向360度全方位浏览，球面全景和立方体全景还能够提供垂直方向180度的浏览，能使人们产生三维立体感，其场景能够拥有非常高的逼真度。 3图像拼接 图像拼接技术是全景技术的关键技术之一，也是全景制作环节的关键环节

一、原理介绍 图像拼接(Image Stitching)是一种利用实景图像组成全景空间的技术，它将多幅图像拼接成一幅大尺度图像或360度全景图，图像拼接技术涉及到计算机视觉、计算机图形学、数字图像处理以及一些数学工具等技术。图像拼接其基本步骤主要包括以下几个方面：摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接（融合），以及亮度与颜色的均衡处理等，以下对各个步骤进行分析。 摄相机标定 由于安装设计，以及摄相机之间的差异，会造成视频图像之间有缩放（镜头焦距不一致造成）、倾斜（垂直旋转）、方位角差异（水平旋转），因此物理的差异需要预先校准，得到一致性好的图像，便于后续图像拼接。 相机的运动方式与成像结果之间的关系见下图。 图1：相机的运动方式与成像结果之间的关系 图像坐标变换 在实际应用中，全景图像的获得往往需要摄像机以不同的位置排列和不同的倾角拍摄。例如由于机载或车载特性，相机的排列方式不尽相同，不能保证相机在同一面上，如柱面投影不一定在同一个柱面上，平面投影不一定在同一平面上；另外为了避免出现盲区，相机拍摄的时候往往会向下倾斜一定角度。这些情况比较常见，而且容易被忽略，直接投影再拼接效果较差。因而有必要在所有图像投影到某个柱面（或平面）之前，需要根据相机的位置信息和角度信息来获得坐标变换后的图像。

ADAS 摄像头图像环视拼接算法 输入输出接口 Input： （1）4个摄像头采集的图像视频分辨率 （整型int） （2）4个摄像头采集的图像视频格式 （RGB，YUV，MP4等） （3）摄像头标定参数（中心位置（x,y）和5个畸变 系数（2径向，2切向，1棱向），浮点型float） （4）摄像头初始化参数（摄像头初始位置和三个坐标方向 的旋转角度，车辆宽度高度车速等等，浮点型float） Output： （1）图像融合和拼接的image/video的坐标位置（浮点型float） （2）图像融合和拼接的图像视频分辨率（整型int） （3）图像融合和拼接的图像视频格式 （RGB，YUV，MP4等） （4）车辆周围障碍物报警 （字符型char） 22.1 功能定义 1）计算图像融合和拼接的image/video的坐标位置。 2）算出图像融合和拼接的图像视频分辨率。 3）确定图像融合和拼接的图像视频格式。 4）检测车辆周围障碍物并报警。 22.2 技术路线方案 在360°全景视图泊车辅助系统中，通过安装在车辆前、后、左、右 4 个方位的广角摄像头采集车辆四周的视频影像，利用图像融合和拼接技术合成一幅车身周围的全景视图，最后在中控台的屏幕上显示，以扩大驾驶员视野。借助360°全景视图泊车辅助系统，驾驶员坐在车中即可直观地看到车辆周围是否存在障碍物以及障碍物的相对方位与距离