开头的话

一直很想通过博客记录自己的学习生活，一眨眼已经是大四狗了，趁着本科的尾巴，记录一下自己做毕业设计的过程（大概是填坑吧~）。本人毕业设计选题为三维重建方向，同时还需要做一点点模型匹配的工作，主要是足部重建并生成鞋楦，这个课题是一年前的大创，拖到现在，鬼知道我当时为什么要跟导师做这个题目啊！完全是给自己挖坑！因为研究生将要学习的方向是计算机视觉，所以就…那就继续做这个课题吧，暴风哭泣，还是要保持微笑呀（年轻人自我安慰式动力源泉：我可以，我能行！）

记录综述

之前有对三维重建相关的知识进行一些了解，比如相机成像原理、相机标定、SFM、ORB-SLAM等，但是这些知识目前在我的脑海中是零碎的，不构成一个完整的知识系统，所以这次打算从论文学习开始，毕业设计大致的过程如下：

对课题背景进行研究
对自己所做的系统进行初步整体规划：功能、开发平台、相关技术、交互等
找出技术关键，分阶段实现
完整系统的搭建
测试与完善
论文的撰写

开题的时候已经对整个课题进行了背景研究，完成了系统整体规划，现在进入正式的制作阶段，所以接下来的笔记是对相关技术的研究，先阅读论文再着手敲代码。英语六级踩线过水平，因此论文阅读从中文论文开始，再阅读外文文献进行补充，那么我们现在开始吧！

中文文献

一种基于智能手机成像的三维重建方法
照片拍摄：手机+定焦
相机标定方式：张正友标定法
图像处理（可参考）：中值滤波（降低脉冲噪声）+特征增强（减少外界光影响）
特征提取方式：Harris+SURF
特征匹配方式：计算欧氏距离+k邻近+RANSAC去除错误匹配
解算点云：sfm过程
融合手机惯性测量数据的三维重建系统研究
三点创新：
1. 融合IMU进行三维重建，在BA过程加入数据处理得到的旋转矩阵约束
2. 三维点云去噪：去除环境噪声（判断是否在圆柱体内）+去除地面噪声（计算向量几何）+去除离群噪点（区域生长算法）
照片拍摄：手机+IMU数据（可参考）
IMU数据处理：基于李代数对IMU进行处理得到旋转矩阵
解算点云：同sfm（改进了BA，加入了去噪）
基于智能手机的三维重建方法
该论文拍摄时使用了手机闪光灯，利用光度立体视觉算法能重建出布料、硬币等的纹理，虽然重建结果较为精细，但是环境光对结果的影响较大，不考虑此方法。
基于单目相机序列图像的双层过滤三维重建
创新点：
1. 改进了sfm，使用五点法估计本质矩阵
2. 提出了双层过滤算法（可考虑）：离群点过滤、泊松重建后三角面片过滤
离群点过滤算法：（两次迭代）第一次迭代计算每个点的平均邻近点距离m_i ,求m_i的平均值和方差以确定阈值；第二次迭代：根据阈值删除点

三角面片过滤：先用与离群点过滤算法同样的方式删除点，再删除对应的面。

重建过程：稀疏点云重建（改进sfm）→稠密重建（CMVS+PMVS2）→离群点过滤→泊松表面重建→三角面片过滤→结果
一种面向三维重建的改进SIFT图像匹配算法
拟采用opencv提供的SIFT算法（与sfm一致），不考虑。
基于图像序列的稠密三维重建关键技术研究
创新点：
1. 改进了SIFT算法（双线性像素插值法来增加纹理稀疏区域特征点数目，挺有趣的，但不考虑）
2. 优化了PMVS中的初始匹配，解决失真问题，不考虑。
重建过程：同一般三维重建。稀疏重建–稠密重建–表面重建
基于图像特征点的稠密点云三维重建
创新点：
1. 优化匹配过程：只匹配相近图像，从而大大加快了重建速度。
2. 开发的系统可进行冗余点云交互式删除，点云网格化（可考虑），空洞修补等可视化工具，并提供开放接口作为研究平台。

外文文献

3DCapture: 3D Reconstruction for a Smartphone
创新点：
1. 相机位姿预测模块分为在线和离线两个部分，且两部分不相互依赖，大大提高了工作效率。
2. 实时特征点追踪与IMU数据整合双线程同时在线工作，该部分比SLAM少了一些模块，较为轻量。
3. 在BA阶段使用IMU处理的数据结果
重建过程见下图：

总结

通过以上论文阅读找到了基本解决思路，在经典SFM的基础之上可以考虑加入图片的预处理、融合IMU数据、双层过滤以及交互式冗余点删除，这些可以使重建效果更优，也丰富了我的系统。接下来的工作是先进行经典sfm的研究与实现，再对sfm进行优化。（ps：那篇外文文献是三星公司发表的，真的挺厉害了，好像已经投入使用了，不过我就不对自己要求那么高了，这篇文章仅供学习之用啦~）

来源：CSDN

作者：ayayayayo

链接：https://blog.csdn.net/ayayayayo/article/details/103934660

标签

三维重建