图像对齐讲座—旷世成都研究院 & 数据策略产品经理——阿里讲座
刘帅成博士,旷世成都研究院,该院2018年成立, 新加坡国立大学毕业 目录: 1基于传统算法 2基于深度学习 3基于硬件 Image aligment methods图像对齐 应用: 图片拼接:不同视角拍的建筑拼成更大的一个画面,全景图 去噪,防抖 HDR不同曝光的同一场景,选取不同的曝光区域 拼接 多摄像头协同工作,一个是长焦,一个是广角。 视频防抖。 挑战: 1 重复特征:大厦窗口纹理很像,重复纹理 2 弱纹理,无纹理:白色的墙面,海面天空 3 大前景的干扰:有很多路人,视角偏一点,遮挡后面的景象就变化了 4 夜景,噪声的干扰 5 大视差:视角角度差别比较大时 工业界里不是关注什么场景里效果最好能有多好,而是关心实用中最坏情况匹配的多坏 传统算法 Homography 3*3的矩阵 限定:只能描述平面运动,或者相机绕光心的纯旋转运动 依赖特征点; Meshflow 属于Mesh warps算法的一个分支。 给定两帧:t,t-1, 图像划分成小格子,算小格字中的特征点 一个好的特征点的分布应该是均匀的全覆盖在整个图片画面,(而不是SIFT这种会附着在梯度大的地方),在检测不到特征点的地方用另一个方程赋予它特征点,密集地区筛选一些 并且也可以解决图片中深度变化的地方 深度学习方法 Deep Homography 2016 Deep Image Homography