图像融合

目标分割FCN 0、 ABSTRACT 1、 INTRODUCTION 2、 稠密预测调整分类器 3、 去卷积--上采样 4、 跳跃结构 Reference 原文： Fully Convolutional Networks for Semantic Segmentation 收录：CVPR 2015 (The IEEE Conference on Computer Vision and Pattern Recognition) 代码： FCN code 年份 模型 重要贡献 2014 FCN 在语义分割中推广使用端对端卷积神经网络，使用反卷积来进行上采样 2015 U-Net 构建了一套完整 的编码解码器 2015 SegNet 将最大池化转换为解码器来提高分辨率 2015 Dilated Convolutions 更广范围内提高了内容的聚合并不降低分辨率 2016 DeepLab v1&v2 2016 RefineNet 使用残差连接，降低了内存使用量，提高了模块间的特征融合 2016 PSPNet 2017 DeepLab V3 ※中心思想 ：全卷积神经网络FCN主要使用以下三种技术： 卷积化（Convolutional） 上采样（Upsample） 跳跃结构（Skip Layer） 0、 ABSTRACT 论文核心思想 ：构建 全卷积网络 ，该网络 接收任意大小的输入

本文部分内容摘自： https://zhuanlan.zhihu.com/p/32553977 1. 背景介绍 在过去的几十年里，由于质量评估(Quality Assessment，QA)在许多领域有其广泛的实用性，比如图像压缩、视频编解码、视频监控等，并且对高效、可靠质量评估的需求日益增加，所以QA成为一个感兴趣的研究领域，每年都涌现出大量的新的QA算法，有些是扩展已有的算法，也有一些是QA算法的应用。 质量评估可分为图像质量评估（Image Quality Assessment, IQA）和视频质量评估（Video Quality Assessment, VQA），本文主要讨论图像质量评估。IQA从方法上可分为主观评估和客观评估。主观评估就是从人的主观感知来评价图像的质量，首先给出原始参考图像和失真图像，让标注者给失真图像评分，一般采用平均主观得分（Mean Opinion Score, MOS）或平均主观得分差异（Differential Mean Opinion Score, DMOS）表示。客观评估使用数学模型给出量化值，可以使用图像处理技术生成一批失真图像，操作简单，已经成为IQA研究的重点。图像质量评估算法的目标是自动评估与人的主观质量判断相一致的客观图像质量。然而，主观评估费时费力，在实际应用中不可行，并且主观实验受观看距离、显示设备、照明条件、观测者的视觉能力

分割算法选择 背景融合 – 高斯模糊 遮罩层生成 不使用GMM或者K-means：处理非常慢 而基于色彩的处理方法 RGB与HSV色彩空间 过程: 加载视频、帧图像、转为HSV、模型Mask、背景融合替换、显示帧图像、下一帧(循环获取帧图像)、终止 # include <opencv2/opencv.hpp> # include <iostream> using namespace std ; using namespace cv ; Mat bg ; //背景图 大小要与 视频流 大小一致 Mat Repalce_and_Belnd ( Mat & frame , Mat & mask ) ; int main ( int argc , char * * argv ) { VideoCapture capture ; capture . open ( "../path.mp4" ) ; if ( ! capture . isOpened ( ) ) { printf ( "could not find the video file...\n" ) ; return - 1 ; } bg = imread ( "../background.jpg" ) ; if ( bg . empty ( ) ) { cout << "could not load image..." <<

在工业上，产品的缺陷检测技术是一项非常重要的技术。而基于图像处理的缺陷检测技术是缺陷检测中的一个热门。下面是我在假期读的一些文章，总结如下： [1] Shankar N G , Ravi N , Zhong Z W . A real-time print-defect detection system for web offset printing[J]. Measurement, 2009, 42(5):645-652. [2] Peng X , Chen Y , Xie J , et al. An Intelligent Online Presswork Defect Detection Method and System[J]. International Conference on Information Technology & Computer Science. IEEE, 2010. [3] Ou Y O Y , Tao H T H , Xuan G X G , et al. An Automation System for High-Speed Detection of Printed Matter and Defect Recognition[J]. IEEE International Conference on Integration Technology.

　　 　　简单加权融合也叫做像素加权平均法（Weighted Averaging，WA）是最简单、直接的图像融合方法。它具有简单易实现、运算速度快的优点，并能提高融合图像的信噪比，但是这种方法削弱了图像中的细节信息，降低了图像的对比度，在一定程度上使得图像中的边缘变模糊，在多数应用场合难以取得满意的融合效果。 优化：主成分分析(Principal Component Analysis，PCA)就是一种常用的系数优化方法，利用主成分分析确定的权值可以得到一幅亮度方差最大的融合图像。PCA方法运用于高分辨率全色图像与低分辨率多光谱图像的融合时，通过用高分辨率全色图像替代由低分辨率多光谱图像提取出的第一主成分，得到同时具有高空间分辨率和高光谱分。 　　从性能上讲，主成分分析法更像是对源图像的选择而不是对源图像中显著信息的融和。局限性：以全局方差作为信息显著性度量通常会把较大的权值分配给方差较大的源图像。实际应用中，当某一传感器输出图像对比度较低时，这种权值分配方法效果会比较好，但就一般情况而言，这种分配方法并不科学。此外，主成分分析法对图像中的死点、噪声等干扰信息非常敏感，这些干扰信息会显著的提高图像的全局方差。 来源： https://www.cnblogs.com/silence-hust/p/4193150.html

《Natural Image Stitching with the Global Similarity Prior》论文笔记（一） @(sinbad)[360sinbad@gmail.com] 简要记录下基于网格优化的图像对齐方法算法的流程步骤，以便日后记忆。 全局单应性VS网格优化 2D图像拼接常利用相机做纯旋转运动或者拍摄场景为平面场景的前提假设对模型进行单应性近似，从而得到图像之间的映射关系。图像对齐时仅仅利用全局单应性往往不够。2011年后陆续出来基于网格优化的图像对齐方法。其中，APAP方法利用多个局部单应性来实现精确对齐，但是在图像变换的约束上仅有局部单应性容易造成图像畸变，使得图像质量变差。GSP方法提出相似性变换优先的思想，利用相机运动模型估计分解出合理的尺度因子和2D旋转角，从而约束了图像变形，可以得到表现更为自然的拼接图像。再结合局部相似性优化项，从而更为通用地解决了图像精确对齐问题。在实际应用中，使用最广泛的两个方向应该是在手机上的全景图像拼接和最近比较火的视频防抖。我估计全景拼接之前都是以opencv的拼接算法为原型，参考论文为 Automatic Panoramic Image Stitching using Invariant Features基于全局单应性变换，然后对重叠边界进行金字塔融合，手机上可以参考google原生相机的全景拼接

近日哈尔滨工业大学、广东工业大学、清华大学与台湾国立清华大学等研究人员共同撰写一篇深度学习在图像去噪上的综述并在arxiv发表，该综述系统地总结图像去噪的重要性、图像去噪技术的发展、传统的机器学习和深度学习的图像去噪技术的优缺点以及刨析出图像去噪技术面对的挑战与潜在的研究点。该综述对学术界和工业界都有重要的指导作用，值得学习。 Deep Learning onImage Denoising: An Overview 论文链接：https://arxiv.org/abs/1912.13171 相关代码链接：https://github.com/hellloxiaotian 1 背景与动机 数字图像设备已经被应用在天气预测、灾难救援、安全监控与医学诊病等多个领域。然而数字设备常受到相机抖动、运动的物体、暗光和噪声等影响而导致捕获的照片不干净。因此图像去噪技术的研究具有重要的理论和实际应用价值。 图像去噪技术在20世纪90年代已经成为研究热点。例如：用非局部相似性来优化稀疏方法能提高去噪的性能。字典学习有助于快速移除噪声[46]。先验知识通过平滑噪声图像来恢复潜在干净图像的细节。更多竞争去噪方法包括MRF 、WNNM 、LSSC、CSF 、TNRD和GHEP能被利用。 虽然这些大部分方法在图像去噪上能达到好的性能，但是他们有以下缺点： (1) 在测试阶段涉及复杂优化方法, (2)

高光谱 (Hyperspectral) 光谱的定义  光谱是复色光经过色散系统（如棱镜、光栅）分光后，被色散开的单色光按波长（或频率）大小而依次排列的图案，全称为光学图谱。  太阳光色散后有红、橙、黄、绿、蓝、靛、紫，顺次连续分布的彩色光谱，覆盖了大约在390到770纳米的可见光区。 光谱的分类 按波长区域  在一些可见光谱的红端之外，存在着波长更长的红外线，同样，在紫端之外，存在波长更短的紫外线。因此，除了可见光谱外，光谱还包括有红外光谱和紫外光谱。 按产生方式  光谱可以分为发射光谱和吸收光谱和 散射 光谱。 多光谱、高光谱、超光谱的区别  高光谱成像是新一代光电检测技术，兴起于20世纪80年代，目前仍在迅猛发展巾。高光谱成像是相对多光谱成像而言，通过高光谱成像方法获得的高光谱图像与通过多光谱成像获取的多光谱图像相比具有更丰富的图像和光谱信息。如果根据传感器的光谱分辨率对光谱成像技术进行分类，光谱成像技术一般可分成3类： 多光谱成像——光谱分辨率在delta_lambda/lambda=0.1数量级，这样的传感器在可见光和近红外区域一般只有几个波段。 高光谱成像——光谱分辨率在delta_lambda/lambda=0.01数量级，这样的传感器在可见光和近红外区域有几卜到数百个波段，光谱分辨率可达nm级。 超光谱成像——光谱分辨率在delta_lambda/lambda=0

视觉方面的研究，但毕业后未能再此领域深耕，故预将研究阶段所做的工业视觉程序进行分享，作为兴趣爱好愿与有识之人一起交流。 0cHM6Ly9ibG9nLmNzZG4ubmV0L01CU0VwZWVr,size_16,color_FFFFFF,t_70) 一、摄像机标定 （1）标定基元的提取——Harris-Plessey角点检测 优点主要有：计算简单，自动化程度高，提取的点特征均匀而且合理；Harris算子对图像中的每个点都计算其最大值，然后在领域中选择最优点，因此可以定量地提取特征点；在有图像的旋转、灰度的变化、噪声影响和视点的变化，它也是最稳定的一种点特征提取算子，同时给出角点处曲率及角点方向等信息。 a.原始图像 b.检测的角点 （2）摄像机标定 1）基于针孔模型下的摄像机标定 a）Roger Tsai的两步法 b）张正友摄像机标定 2）基于隐式模型下的摄像机标定 a）基于图像恢复中几何校正思想多项式变换标定 二者对比试验 Tsai两步法可以得到较高的精度，以及摄像机内外参数，可以实现物体的定位，因此可以作为机器视觉摄像机标定的一般方法应用各个领域。二次多项式法标定精度相对差一点，不能得到摄像机内外参数，但是标定方法简单，如果物体相对于某一个参考坐标系的绝对定位显得并不特别重要，而重要的是物体特征点间相对位置的精度，则可以考虑多项式法。 二、图像预处理 （1）图像滤波 a

加减乘除不说了，反正就是两幅相同的图片运用cv.add(), cv.substract(),cv.multiply(), cv.divide()等实现 逻辑运算就是cv.bitewise_and(),cv.bitewise_or()等等 #调节亮度 import cv2 as cv import numpy as np def control_bright(image, alpha): blank = np.zeros(shape=image.shape, dtype=image.dtype) dst = cv.addWeighted(blank, 1-alpha, image, alpha, 0) cv.imshow("img", image) cv.moveWindow("img", 20, 20) cv.imshow("dst", dst) cv.waitKey(0) img = cv.imread("d:/a.jfif") cv.add() control_bright(img, 2) 上面的代码实现调节一个图片的亮度和对比度的功能。 dst = cv.addWeighted（src1, alpha, src2, beta, gamma）的参数含义如下： 功能, 可以理解为dst = src1*alpha+src2*beta + gamma src1:第一个图像 src2