数字图像基础
一、人眼结构
眼睛由三层膜包裹：角膜与巩膜外壳、脉络膜和视网膜。
- 角膜是一种硬而透明的组织，覆盖着眼睛的前表面，巩膜是一层包围眼球其余部分的不透明膜。
- 脉络膜包含血管网，是眼睛的重要滋养源。
- 视网膜是眼睛最里面的膜。眼睛适当聚焦时，来自眼睛外部物体的光在视网膜上成像。感受器通过感受视网膜表面分布的不连续光形成图案。
光感受器分为：锥状体和杆状体。
每只眼睛中的锥状体数量约为600~700万个，对颜色高度敏感。使用锥状体人可以充分分辨图像细节（每个锥状体都连接到自身的神经末梢）。锥状体视觉称为白昼视觉或亮视觉。
约有7500~15000万个杆状体分布在视网膜表面。用来给出视野内的总体图像。没有色彩感觉，对低照明度敏感。杆状体视觉称为暗视觉或微光视觉。
二、电磁波谱和光
2.1 电磁波谱
电磁波谱可用波长（λ）、频率（v）或能量（E）来描述
λ = c/v
c为光速。电磁波谱的各个分量的能量如下：
E = hv
h是普朗克常量。
频率越高，波长越短的电磁波能量越大。
2.2 光
光是一种特殊的电磁辐射，可被人眼感知。电磁波谱可见光波段分为6个主要区域：紫色、蓝色、绿色、黄色、橘黄色和红色。每种颜色不是突然终止的，而是混合平滑地过渡到另一种颜色的。
人感受到的物体颜色由物体反射的光的性质决定。白色物体，以所有反射的可见光波长均衡；带色物体，物体吸收了其他波长的大部分能量，从而反射某段波长范围的光。
单色光或无色光，没有颜色。唯一属性是强度或大小。常用灰度级表示单色光的强度。从黑到白的单色光的度量值范围通常称为灰度级，单色图像称为灰度图像。
描述彩色光源质量的基本量：发光强度、光通量和亮度。
- 发光强度：光源流出的能量总量，用瓦特度量
- 光通量：观察者从光源感受到的能量。用流明数度量
- 亮度：光感知的主观描绘子，实际不能度量
三、图像的数学模型
f(x,y) = i(x,y)r(x,y)
其中 0<i(x,y)<∞ ，0（全吸收）<r(x,y)<1（全反射）
i(x,y)：入射分量。入射到被观察场景的光源照射总量
r(x,y)：反射分量。场景中物体所反射的光照总量
令单色图像的任何坐标（x0,y0）处的强度表示为 l= f(x0,y0)
l的取值范围为[Lmin，Lmax]。
区间[Lmin，Lmax]为灰度级。实际情况下常令该区间为[0，L-1]，其中l = 0为黑色，l = L-1为白色。
灰度级一般为2的整数次幂。L = 2^k
四、图像的取样和量化
4.1 取样和量化的概念
取样：空间坐标的离散化
量化：灰度离散化
数字图像的质量在很大程度上取决于取样和量化中所用的样本数和灰度级。
4.2 数字图像表示
图像在任何坐标(x,y)处的值记为f(x,y)，其中x和y都是整数。
将图像用数值阵列（M*N）的形式表示
右边是一个实数矩阵，矩阵中的每个元素称为像素。
在某些讨论中，用传统矩阵表示数字图像及像素更方便：
标准右手笛卡尔坐标系：数字图像的原点位于左上角，正x轴向下延伸，正y轴向右延伸。
图像系统的动态范围：系统中最大可度量灰度与最小可检测灰度之比。基本上动态范围由系统能表示的最低和最高灰度级来确定。
对比度：一幅图像中最高和最低灰度级间的灰度差。
存储数字图像所需的比特数为：b = MxN*k
4.3 空间和灰度分辨率
空间分辨率（取样）：图像中可辨别的最小细节的度量。
空间分辨率的度量必须针对空间单位来规定才有意义。
灰度分辨率（量化）：灰度级中可分辨的最小变化，一般用灰度级或比特数表示。最通用的数是8比特。
图像分辨率表示的是能看到图像细节的多少，依赖于MxN和L
保持MxN不变而减少L则会导致伪轮廓
保持L不变而减少MxN则会导致棋盘格。
空间分辨率和灰度分辨率的变化对图像质量的影响：
等偏爱曲线：在N-k平面内对应于主观感觉质量相等的曲线
实验结果：当图像中细节增加时，等偏爱曲线趋于更接近N-k平面内的垂直线。
结论：1）图像质量一般随N和k的增加而增加，在极少数情况下，对固定的N，减少k能改进质量。最有可能的原因是减少k常能增加图像的视觉反差；
2）对具有大量细节的图像，只需很少的灰度级数就可较好的表示
3）N*k为常数的图像主观看起来可以有较大的差异
4.4 图像内插
内插：用已知数据来估计未知位置数值的处理。
图像的放大：1）创立新的像素位置；2）给新像素赋灰度值
最近邻内插：把原图像中最近邻的灰度赋给了每个新位置（不常用）
双线性内插：用4个最近邻去估计给定位置的灰度，令(x,y)表示想要赋灰度值的坐标，令v(x,y)表示灰度值。
v(x,y) = ax + by + cxy + d
4个系数可用由点(x,y)的4个最邻近点写出的未知方程确定
详见：http://www.cnblogs.com/linkr/p/3630902.html
注：双线性内插不是一种线性内插方法，因为其中含xy项
双三次内插：用16个最近邻点估计给定位置的灰度。
注：双三次内插在保持细节方面比双线性内插相对要好。
详见：https://blog.csdn.net/qq_29058565/article/details/52769497
对于普通数字图像处理，双线性内插和双三次内插是典型方法。
4.5 像素间的一些基本关系
4.5.1 相邻像素
4邻域：位于(x,y)的像素p的4个水平和垂直的相邻像素。用N4（p） 表示。
D邻域：p的四个对角相邻像素，用ND（p）表示
8邻域：p的4邻域和D邻域一起构成p的8邻域。
4.5.2 邻接性、联通性、区域和边界
像素的相邻仅说明了两个像素在位置上的关系，若再加上取值相同或相近（灰度值），则成为两个像素邻接。
令V用于定义邻接性的灰度值集合。二值图像中，把具有1值的像素归诸于邻接像素，则V = {1}。在灰度图像中，V一般包含更多的元素。
两个像素p(m,n)和q(s,t)邻接的条件
1）位置相邻
4邻接：(m,n)∈N4（q）或(s,t)∈N4（p）
8邻接：(m,n)∈N8（q）或(s,t)∈N8（p）
m邻接（混合邻接）：1）q在p的4邻域中，或q在p的D邻域中；2）p和q的4邻域交集为空
2）灰度值相同或相近
p∈V和q∈V，其中 V = {v1,v2,……}，称为灰度值相似准则。
m邻接的引入时为了消除采用8邻接时产生的二义性。
8邻接（左）和m邻接（右）
通路：像素p(x0,y0)到像素q(xn,yn)，且其中的每个点与前后两点是k（k可取4，8，m）邻接的，则称p到q是k通路，其中n为通路的长度，若起点p和终点q重合，则称通路为闭合通路。
连通：令S是图像中的一个像素子集，如果S的全部像素之间存在一个通路，则表明两个像素p和q在S中连通。对S中的任何像素p，S中连通到该像素的像素集称为S的连通分量。如果S仅有一个连通分量，则集合S称为连通集。
区域：令R是图像中的一个像素子集，若R是连通集，则称R为一个区域。两个区域，如果它们联合形成一个连通集，则称此为邻接区域，反之为不连接区域。
注：
- 定义区域时，必须指明灰度相似性准则
- 定义邻接区域时，必须指明邻接类型（谈到区域时，考虑的是4邻接或8邻接）
4.5.3 距离度量
前提：
对于坐标分别为(x,y)，(s,t)和(v,w)的像素p，q和z，若
- D(p,q)>=0 [D(p,q) = 0 , 当且仅当p = q] 正定性
- D(p,q) = D(q,p) 且 对称性
- D(p,z) <= D(p,q) + D(q,z) 距离三角不等式
其中D是距离函数或度量。
欧几里得（欧式）距离：
距点(x,y)的距离小于等于某个值r的像素，以p点为圆心半径为r的圆
D4距离（城市街区距离）：
距点(x,y)的距离D4小于等于某个值r的像素形成一个中心在(x,y)的菱形。例如距点(x,y)的距离D4小于等于2的像素形成的固定距离的轮廓如下：
其中D4 = 1的像素是(x,y)的4邻域。
D8距离（棋盘距离）：
距(x,y)的D8距离小于等于某个值r的像素形成中心在(x,y)的方形。
例如距中心点的D8距离小于等于2的像素形成的固定距离的轮廓如下：
其中D8 = 1的像素是(x,y)的8邻域。
注D4和D8距离与任何通路无关（通路可能存在于各点之间，因为以上距离仅与该点的坐标有关）
Dm距离：用点间的最短通路定义。两像素间的距离依赖于沿通路的像素值及其邻点值。
如，考虑如下排列的像素，并假设p，p2，p4的值为1，p1和p3的值为0或1：
假设考虑值为1的像素邻接，即V={1}。
- 若p1 = p3 = 0，则p和p4间的最短m通路的长度为2。
- 若p1 = 1，则p2和p不再是m邻接，最短m通路的长度变为3（p p1 p2 p4）。
- 若p3 = 1，此时最短的m通路距离也是3。
- 若p1 = p3 = 1，此时的最短的m通路距离为4（p p1 p2 p3 p4）
五、数字图像处理中的数学工具介绍
5.1 阵列与矩阵操作
图像间的操作是用矩阵理论执行的。以2*2的图像进行说明。
两幅图像的阵列相乘（点乘（内积））
矩阵相乘（叉乘（外积））
若未特别说明，书中均是阵列操作。
5.2 线性操作和非线性操作
对一般的算子H，该算子对于给定输入图像f(x,y),产生一副输入图像g(x,y)
若
则H为线性算子，即求和算子是线性的
同理，可将求最大值的算子代入上式，结果表明求最大值的操作非线性的
5.3 算术操作
算术运算是指对两幅或多幅输入图像进行点对点的加、减、乘、除计算而得到输出图像的运算。
图像算术操作涉及相同大小的图像，只涉及一个空间位置（像素）的运算。
如针对降噪的带噪图像相加（平均）；用于增强图像之间差别的图像相减；用于阴影校正的图像相乘或相除。
给定一幅图像f，保证图像间算术操作的整个值域落入某个固定比特数的方法如下：
该操作生成最小值为0的一幅图像。
该操作生成一幅标定的图像fs，其值在[0,K]范围内。
在处理8比特图像时，置K = 255，得到一幅灰度范围从0到255的8比特满标度图像。
注在执行除法操作时，需要将一个较小的数加到除数图像的像素上，以避免除0的情况。
5.4 集合和逻辑操作
5.4.1 集合操作
图像中的逻辑操作主要以像素对像素为基础，在两幅或多幅图像间进行。
灰度值的并集操作和交集操作通常分别定义为相应像素对的最大和最小。而补集操作定义为常数与图像中每个像素的灰度间的两两之差。
令灰度级图像的元素用集合A来表示，元素是三元组的形式（x,y,z），其中x和y是坐标，z为灰度。
两个灰度集合A和B的并集可定义为：
5.4.2 逻辑操作
处理二值图像时，OR、AND、NOT分别对应并、交、补，XOR表示异或。
5.5 空间操作
空间操作直接在给定图像的像素上执行。
5.5.1 单像素操作
我们对数字图像执行的最简单的操作是，以灰度为基础改变单个像素的值。
s = T(z)
z是原图像中像素的灰度，s是处理后的图像中相应像素的（映射）灰度。
5.5.2 邻域操作
令Sxy表示图像f中以任一点(x,y)为中心的一个邻域的坐标集，然后再输出图像g中的相同坐标处生成一个相应的像素，该像素的值由输入图像中坐标在Sxy内的像素经指定操作决定。
如指定操作是计算大小为m*n、中心在(x,y)的矩形邻域中的像素的平均值。该区域的像素位置组成集合Sxy。
其中r和c所像素的行和列坐标。
5.5.3 几何空间变换和图像配准
几何变换改进图像中像素间的空间关系。
几何变换由两个基本操作组成：1）坐标的空间变换；2）灰度内插。即对空间变换后的像素赋灰度值。可考虑最近邻、双线性和双三次内插。
坐标变换由下式表示：
(x,y) = T{(v,w)}
(v,w)是原图像中像素的坐标，(x,y)是变换后图像中像素的坐标。
最常用的空间坐标变换之一是仿射变换，一般形式如下：
根据矩阵T中元素所选择的值，对一组坐标点做尺度、旋转、平移会偏移变换。
对仿射变换公式的使用有两种方法：
- 前向映射：扫描输入图像的像素，由输入图像的像素通过公式计算出输出图像的对应像素的空间位置。
- 反向映射：扫描输出图像的像素位置，将公式反向变换，计算出输入图像像素的对应位置。
反向映射比前向映射更有效。
图像配准：将不同时间、不同传感器（成像设备）或不同条件下（气候、照度、摄影位置和角度等）获取的两幅或多幅图像进行对齐、匹配、叠加的过程。
根据输入图像和输出图像（参考图像）确定特定的变化T
约束点（控制点）：在输入图像和参考图像中其位置恰好已知的相应点。
5.6 向量和矩阵操作
多光谱图像处理是使用向量和矩阵操作的典型领域。
RGB彩色空间中，RGB图像的每个像素用一个列向量表示
z1是红色图像的像素的亮度，以此类推，z2，z3表示绿色和蓝色。
如，一个像素向量z和一个任意点a在n维控件的欧氏距离D可用一个向量积定义：
像素向量的线性变换：
A是大小为mxn的矩阵，z和a是n*1大小的列向量。
图像线性处理：
f表示输入图像的MNx1向量，n表示一个M*N噪声模式的MNx1向量，g表示处理后图像的MNx1向量，H是用于对输入图像进行线性处理的MNxMN矩阵。
5.7 图像变换
之前的图像处理都是在图像像素上进行的，即空间域，但有些情况，需要 输入图像来表达图像处理任务，在变换域执行特定的任务，之后用反变换到空间域。
二维线性变换：
f(x,y)是输入图像，r(x,y,u,v)称为正变换核。u和v称为变换变量
反变换：
s(x,y.u.v)称为反变换核。上述二式称为变换对
若
表示正向变换核是可分的。另外，若r1(x,y) = r2(x,y)，则称变换核是对称的。若用s代替r，则同理。
离散傅里叶变换对：
其中
5.8 概率方法
最简单的方式是以随机量处理灰度值。
如，令zi，i = 1,2,……，L-1,表示一幅M*N大小的数字图像中所有可能的灰度值。则在给定图像中灰度级zk出现的概率为：
nk为灰度zk在图像中出现的次数，MN为总像素数。
平均灰度：
灰度的方差
方差是z值关于均值的展开度的度量，故方差是图像对比度的有用度量。
方差的单位是灰度值的平方，在比较对比度值时，通常使用标准差来替代，因为其维数直接取决于灰度值。
来源：CSDN
作者：一千种风的味道
链接：https://blog.csdn.net/denglavender/article/details/104156725