非常详细的一个说明,珍藏了。
今天,我们学习一下图像(2维平面)到图像(2维平面)的四种变换,等距变换,相似变换,仿射变换,投影变换 首先介绍它的原理,最后介绍matlab的实现
1.数学基础
射影变换矩阵HH属于射影群PL(n)PL(n)中的一个,仿射群是由PL(3)PL(3)中最后一行为(0,0,1)(0,0,1)的矩阵组成的子群,包括仿射群,ŷʽȺ,其中欧式群是仿射群的子群,其左上角的矩阵是正交的,当它的行列式为1是称为定向欧式群,距离是欧式群的不变量,但不是相似群的不变量,而夹角是这两个群的不变量。
听了这么多群,不变量的数学概念,可能有点晕,下面我用最直观的语言解释。线性空间中的线性变换可以用矩阵来描述,因此我们用矩阵来刻画这四种变换。我们以数学系的经典代数入门教材北大版的《高等代数》为例,研究这些变换是如何进行的
2. 等距变换
等距变换(isometric transform),保持欧式距离不变,当图像中的点用齐次坐标表示时,
其中RR是旋转矩阵。tt是平移矢量,有3个自由度(1旋转角θθ+两个平移tx,tytx,ty),需要2组点4个方程求解,等距变换的不变量是:长度,角度,面积。用matlab实现等距变换如下:
clear;close all;clc I=imread('book1.jpg'); figure,imshow(I); [w,h]=size(I); theta=pi/4; t=[100,100]; s=0.5; % test Eucludian transform H_e=projective2d([cos(theta) -sin(theta) t(1); sin(theta) cos(theta) t(2); 0 0 1]'); newimg=imwarp(I,H_e); figure,imshow(newimg);
可以看出,等距变换就是对图像的旋转+平移
3. 相似变换
相似变换(similarity transform):等距变换+均匀缩放,当图像中的点用齐次坐标表示时,变换矩阵如下所示:
其中RR是旋转矩阵。tt是平移矢量,ss是缩放尺度,有4个自由度(1旋转角θθ+2个平移tx,tytx,ty+1个缩放尺度),需要2组点4个方程求解,相似变换的不变量是:角度,长度的比例,面积的比例。用matlab实现相似变换如下:clear;close all;clc I=imread('book1.jpg'); figure,imshow(I); [w,h]=size(I); theta=pi/4; t=[100,100]; s=0.5; %% test similar transform H_s=projective2d([s*cos(theta) -s*sin(theta) t(1); s*sin(theta) s*cos(theta) t(2); 0 0 1]'); newimg=imwarp(I,H_s); figure,imshow(newimg);
可以看出,等距变换就是对图像的旋转+平移+缩放,这个图相对原图是变小了一些。
4. 仿射变换
仿射变换(affine transform):非奇异变换+均匀缩放,当图像中的点用齐次坐标表示时,变换矩阵如下所示:
其中AA是仿射矩阵。tt是平移矢量,ss是缩放尺度,有6个自由度(4个仿射矩阵的元素+2个平移tx,tytx,ty),需要3组点6个方程求解。这里多说一句,仿射变换的AA矩阵是可以做SVD分解的,即:A=R(θ)R()DR()
D=diag(λ1,λ2)D=diag(λ1,λ2)仿射变换AA可以看作是一个旋转+x,yx,y方向按照比例因子λ1,λ2λ1,λ2的缩放+回转+旋转θθ的复合变换,
仿射变换的不变量是:平行线,平行线的长度的比例,面积的比例。用matlab实现仿射变换如下:
可以看出,仿射变换就是对图像的旋转+平移+缩放+切变(shear),相比前两种变换图像的形状发生了改变,但是原图中的平行线仍然保持平行。
可以看出,射影变换就是对图像的旋转+平移+缩放+切变+射影,相比前三种变换图像的形变更为自由,原图中的平行线经过变换之后已经不在平行,而可能相交于一点,射影变换就是把理想点(平行直线在无穷远处相交)变换到图像上。
clear;close all;clc I=imread('book1.jpg'); figure,imshow(I); [w,h]=size(I); theta=pi/4; t=[100,100]; s=0.5; %% test affine transform H_a=projective2d([1 0.5 t(1); 0 0.5 t(2); 0 0 1]'); newimg=imwarp(I,H_a); figure,imshow(newimg);
可以看出,仿射变换就是对图像的旋转+平移+缩放+切变(shear),相比前两种变换图像的形状发生了改变,但是原图中的平行线仍然保持平行。
5. 射影变换
射影变换(projection transform):当图像中的点的齐次坐标的一般非奇异线性变换。
其中AA是旋转矩阵。tt是平移矢量,ss是缩放尺度,有8个自由度(矩阵中的8个h),需要4组点8个方程求解。同样的,射影变换的AA矩阵是可以做分解的,QR分解,SVD分解都有各自不同的含义。我们常说的矩阵内外参数矩阵就是QR分解中的一种(QR分解不唯一),即把单应性矩阵分解成=内参矩阵××外参矩阵 。给定世界坐标系中的二维平面,用相机对二维平面拍照,通过对应点求拍摄照片的单应性矩阵(射影矩阵)的过程就称为相机标定,直接用代数的方法求解参数会有一定的误差,在张正友的标定方法中,讲的就是如何通过迭代使得误差最小。具体可以见我写的第一篇文章张正友相机标定法。对一般的两张照片也可以求单应性矩阵,具体的应用就是把其中的一张变换到另一张上,进一步可以做图像融合。
射影变换的不变量是:长度的交比。用matlab实现射影变换如下:clear;close all;clc I=imread('book1.jpg'); figure,imshow(I); [w,h]=size(I); theta=pi/4; t=[100,100]; s=0.5; %% test projective transform H_P=projective2d([0.765,-0.122,-0.0002; -0.174,0.916,9.050e-05; 105.018,123.780,1]); newimg=imwarp(I,H_P); figure,imshow(newimg);
可以看出,射影变换就是对图像的旋转+平移+缩放+切变+射影,相比前三种变换图像的形变更为自由,原图中的平行线经过变换之后已经不在平行,而可能相交于一点,射影变换就是把理想点(平行直线在无穷远处相交)变换到图像上。
6 应用
说了这么多,下边举一个简单的小应用,就是把通过求两幅对应点的单应性矩阵(射影矩阵),把一种图片变换成另一张的形状。如图:
选择两幅图像对应的四个点
第一幅
第二幅
变换的结果
这样就成功把第二幅图片变成第一副图片的角度
下面附上代码
%% Initial clear; clc; img_num=2; %the number of image compress_scale=0.4; %define image compress scale points_p=[0 0;1 0;2 1;2 0]; %define cordinate of 2D plain in 3D space %% define a cell that load image Image=cell(1,img_num); %% read the image Image{1,1}=imread('book1.jpg'); Image{1,2}=imread('book2.jpg'); %% image compression, transform rgb to gray, and select feature points feature=[]; for i=1:img_num Image{1,i}=imresize(Image{1,i},compress_scale); I{:,:,i}=Image{1,i}; Image{1,i}=rgb2gray(Image{1,i}); imshow(Image{1,i}); hold on; for j=1:4 [x,y]= ginput(1); %select the corner x=round(x); y=round(y); plot(x,y,'ro'); feature(j,2*i-1)=x; %feature is a matrix containing corner cordination feature(j,2*i)=y; end close all; end %% calculate homegraphy matrix for each matrix featurep1=feature(:,1:2); featurep2=feature(:,3:4); h = calc_homography(featurep2, featurep1); Im=I{:,:,2}; [a,b]=size(I); tform=projective2d(h); J=imwarp(Im,tform); % matlab自带的处理图像变换的函数 figure,imshow(I{:,