目标
在这一章当中,
- 我们将学习SIFT算法的概念
- 我们将学习如何找到SIFT关键点和描述符。
理论
在最后几章中,我们看到了一些角落探测器,如哈里斯等。它们是旋转不变的,这意味着,即使图像旋转了,我们也可以找到相同的角落。这是显而易见的,因为角落在旋转的图像中也是角落。但是缩放呢?如果图像缩放,角落可能不是角落。例如,请查看下面的简单图片。放大同一个窗口时,小窗口内的小图像中的一个角落是平坦的。所以哈里斯的角落不是规模不变的。
因此,2004年,不列颠哥伦比亚大学的D.Lowe在他的论文中提出了一种新的算法 - 尺度不变特征变换(SIFT),该算法从尺度不变关键点获取特征图像特征,提取关键点并计算其描述符。(本文很容易理解,并被认为是SIFT上最好的资料,所以这个解释只是本文的一个简短摘要)。
SIFT算法主要涉及四个步骤。我们将逐一看到他们。
1.尺度空间极值检测
从上图中可以看出,我们不能使用相同的窗口来检测不同比例的关键点。小角落也行。但要检测更大的角落,我们需要更大的窗口。为此,使用缩放空间滤波。其中,高斯拉普拉斯可以找到具有各种
值的图像。LoG作为一个斑点检测器,可以检测由于变化而产生的各种大小的斑点。总之,作为缩放参数。例如,在上面的图像中,低的高斯内核为小角部提供高值,而高斯内核高度适合较大的角部。因此,我们可以在规模和空间中找到局部最大值,这给我们一个值列表,这意味着在(x,y)规模上存在潜在的关键点。但是这个LoG有点贵,所以SIFT算法使用高斯差分,这是LoG的近似值。高斯的差作为图像的高斯模糊的用两种不同的差得到
,让它和。这个过程是在高斯金字塔的不同八度的图像中完成的。它在下面的图像中表示:一旦找到这个DoG,图像就会在比例和空间上搜索到局部极值。例如,图像中的一个像素与其8个邻居以及下一个尺度的9个像素和先前尺度的9个像素相比较。如果它是一个局部极值,这是一个潜在的关键点。它基本上意味着这个关键点最能体现在这个尺度上。它显示在下面的图像中:
关于不同的参数,给出这可以概括为,八度= 4,等级水平= 5,初始的数目的数目一些经验数据
,等等作为最佳值。2.关键点本地化
一旦找到潜在的关键点位置,就必须对其进行改进以获得更准确的结果。他们使用泰勒级数展开的尺度空间来获得更精确的极值位置,并且如果这个极值的强度小于阈值(根据纸张为0.03),它将被拒绝。该阈值在OpenCV中称为contrastThreshold
DoG对边缘有更高的响应,所以边缘也需要去除。为此,使用了类似于Harris角点检测器的概念。他们用2×2 Hessian矩阵(H)来计算市政曲率。我们从Harris角点检测器知道,对于边缘,一个特征值比另一个大。所以这里他们使用了一个简单的函数
如果此比率大于阈值(在OpenCV中称为edgeThreshold),则丢弃该关键点。在纸上给出10。
因此它消除了任何低对比度关键点和边缘关键点,并且仍然存在强烈的兴趣点。
3.方向分配
现在为每个关键点分配一个方向以实现图像旋转的不变性。根据规模在关键点位置周围采取邻居关系,并在该地区计算梯度大小和方向。创建一个方向直方图,其中36个方框覆盖360度。(它通过梯度幅度和高斯加权圆窗口
等于关键点尺度的1.5倍进行加权,获得直方图中的最高峰值,并且任何高于80%的峰值也被认为是计算方向,它创建关键点具有相同的位置和规模,但方向不同,有助于匹配的稳定性。4.关键点描述符
现在创建关键点描述符。关键点周围有一个16x16的街区。它分为16个4x4大小的子块。对于每个子块,创建8个方向直方图。所以共有128个bin值可用。它被表示为形成关键点描述符的向量。除此之外,还采取了几项措施来实现对光照变化,旋转等的鲁棒性。
5.关键点匹配
两幅图像之间的关键点通过识别它们最近的邻居来匹配。但在某些情况下,第二个最接近的匹配可能非常接近第一个。这可能是由于噪音或其他原因。在那种情况下,采用最近距离与第二近距离的比率。如果它大于0.8,则被拒绝。根据论文,它排除了大约90%的错误匹配,而丢弃只有5%的匹配正确。
所以这是SIFT算法的总结。欲了解更多细节和理解,强烈建议阅读原文。记住一件事,这个算法是获得专利的。所以这个算法被包含在OpenCV中的非自由模块中。
OpenCV中的
现在让我们看看OpenCV中提供的SIFT功能。让我们从关键点检测开始并绘制它们。首先,我们必须构建一个SIFT对象。我们可以将不同的参数传递给它,这些参数是可选的,并且在文档中有很好的解释。
import cv2 import numpy as np img = cv2.imread('home.jpg') gray= cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) sift = cv2.SIFT() kp = sift.detect(gray,None) img=cv2.drawKeypoints(gray,kp)
sift.detect()函数在图像中查找关键点。如果您只想搜索图像的一部分,则可以传递掩码。每个关键点都是一个特殊的结构,它具有许多属性,如它的(x,y)坐标,有意义的邻域的大小,指定其方向的角度,指定关键点强度的响应等。
OpenCV还提供cv2.drawKeyPoints()函数,用于绘制关键点位置上的小圆圈。如果你传递一个标志cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS给它,它将绘制一个尺寸为关键点的圆,它甚至会显示它的方向。看下面的例子。
img=cv2.drawKeypoints(gray,kp,flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS) cv2.imwrite('sift_keypoints.jpg',img)
看到下面的两个结果:
现在计算描述符,OpenCV提供了两种方法。
- 既然你已经找到了关键点,你可以调用sift.compute()来计算我们找到的关键点的描述符。例如:
kp,des = sift.compute(gray,kp)
- 如果您没有找到关键点,可以使用函数sift.detectAndCompute()在一个步骤中直接找到关键点和描述符。
我们将看到第二种方法:
sift = cv2.SIFT() kp, des = sift.detectAndCompute(gray,None)
这里kp将是一个关键点列表,des是一个形状不规则的数组
。参考:
http://opencv-python-tutroals.readthedocs.io/en/latest/py_tutorials/py_feature2d/py_sift_intro/py_sift_intro.html
转载注明出处!!!
来源:oschina
链接:https://my.oschina.net/u/3702502/blog/1815335