1、SIFT特征提取算法介绍

1.1 算法综述

尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。

1.2 算法特性

SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；
独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；
多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；
高速性，经优化的SIFT匹配算法甚至可以达到实时的要求；
可扩展性，可以很方便的与其他形式的特征向量进行联合。

1.3 主要步骤

建立尺度空间，即建立高斯差分(DoG)金字塔
在尺度空间中检测极值点，并进行精确定位和筛选创建默认大小的内存存储器
特征点方向赋值，完成此步骤后，每个特征点有三个信息：位置、尺度、方向
计算特征描述子

2、SIFT特征提取

2.1 实现代码

# -*- coding: utf-8 -*-

from PIL import Image

from pylab import *

from PCV.localdescriptors import sift

from PCV.localdescriptors import harris

# 添加中文字体支持

from matplotlib.font_manager import FontProperties

font = FontProperties(fname=r"c:\windows\fonts\SimSun.ttc", size=14)

imname = 'picture1.jpg'

im = array(Image.open(imname).convert('L'))

sift.process_image(imname, 'picture1.sift')

l1, d1 = sift.read_features_from_file('picture1.sift')

figure()

gray()

subplot(131)

sift.plot_features(im, l1, circle=False)

title(u'SIFT特征', fontproperties=font)

subplot(132)

sift.plot_features(im, l1, circle=True)

title(u'用圆圈表示SIFT特征尺度', fontproperties=font)

# 检测harris角点

harrisim = harris.compute_harris_response(im)

subplot(133)

filtered_coords = harris.get_harris_points(harrisim, 6, 0.1)

imshow(im)

plot([p[1] for p in filtered_coords], [p[0] for p in filtered_coords], '*')

axis('off')

title(u'Harris角点', fontproperties=font)

show()

2.2 实现结果

图片较简单

2）图片较复杂

2.3 实现小结

由图可以看出，SIFT可以检测出较多的特征点。通过两种算法的比较可以看出，两种算法所选特征点的位置是不同的，SIFT算法比起Harris算法，提取图像的特征点更加准确全面精准，更具有稳健性，效果上比起Harris算法更好。但是SIFT算法的运行速度相对来说慢很多，实时性不高。

3、两图片SIFT特征匹配

3.1 实现代码

from PIL import Image

from pylab import *

import sys

from PCV.localdescriptors import sift

if len(sys.argv) >= 3:

    im1f, im2f = sys.argv[1], sys.argv[2]

else:

    im1f = 'picture3.jpg'

    im2f = 'picture4.jpg'

im1 = array(Image.open(im1f))

im2 = array(Image.open(im2f))

sift.process_image(im1f, 'out_sift_1.txt')

l1, d1 = sift.read_features_from_file('out_sift_1.txt')

figure()

gray()

subplot(121)

sift.plot_features(im1, l1, circle=False)

sift.process_image(im2f, 'out_sift_2.txt')

l2, d2 = sift.read_features_from_file('out_sift_2.txt')

subplot(122)

sift.plot_features(im2, l2, circle=False)

# matches = sift.match(d1, d2)

matches = sift.match_twosided(d1, d2)

print('{} matches'.format(len(matches.nonzero()[0])))

figure()

gray()

sift.plot_matches(im1, im2, l1, l2, matches, show_below=True)

show()

3.2 实现结果

1）两图片差异较小
在这里插入图片描述
2）两图片差异较大

3.3 实现小结

由上面两张图可知，SIFT算法匹配出的特征点更多，这是因为SIFT算法具有尺度和旋转不变性，即使两张图大小不一样、角度不一致也不会影响匹配结果，具有准确性和稳定性。

4、图库检索最高匹配

4.1 获取并保存图库中全部图片的特征数据

1）实现代码

import cv2
import numpy as np
from os import walk
from os.path import join

def create_descriptors(folder):
    files = []
    for (dirpath, dirnames, filenames) in walk(folder):
        files.extend(filenames)
    for f in files:
        if '.jpg' in f:
            save_descriptor(folder, f, cv2.xfeatures2d.SIFT_create())

def save_descriptor(folder, image_path, feature_detector):
    # 判断图片是否为npy格式
    if image_path.endswith("npy"):
        return
    # 读取图片并检查特征
    img = cv2.imread(join(folder,image_path), 0)
    keypoints, descriptors = feature_detector.detectAndCompute(img, None)
    # 设置文件名并将特征数据保存到npy文件
    descriptor_file = image_path.replace("jpg", "npy")
    np.save(join(folder, descriptor_file), descriptors)

if __name__=='__main__':
    path = 'images'
    create_descriptors(path)

2）实现结果
在这里插入图片描述

4.2 检索最高匹配

1）实现代码

from os.path import join
from os import walk
import numpy as np
import cv2

query = cv2.imread('pic3.jpg', 0)
folder = 'images'
descriptors = []
# 获取特征数据文件名
for (dirpath, dirnames, filenames) in walk(folder):
    for f in filenames:
        if f.endswith("npy"):
            descriptors.append(f)
    print(descriptors)

# 使用SIFT算法检查图像的关键点和描述符
sift = cv2.xfeatures2d.SIFT_create()
query_kp, query_ds = sift.detectAndCompute(query, None)

# 创建FLANN匹配器
index_params = dict(algorithm=0, trees=5)
search_params = dict(checks=50)
flann = cv2.FlannBasedMatcher(index_params, search_params)

potential_culprits = {}
for d in descriptors:
    # 将图像query与特征数据文件的数据进行匹配
    matches = flann.knnMatch(query_ds, np.load(join(folder, d)), k=2)
    # 清除错误匹配
    good = []
    for m, n in matches:
        if m.distance < 0.7 * n.distance:
            good.append(m)
    # 输出每张图片与目标图片的匹配数目
    print("img is %s ! matching rate is (%d)" % (d, len(good)))
    potential_culprits[d] = len(good)

# 获取最多匹配数目的图片
max_matches = None
potential_suspect = None
for culprit, matches in potential_culprits.items():
    if max_matches == None or matches > max_matches:
        max_matches = matches
        potential_suspect = culprit

print("potential suspect is %s" % potential_suspect.replace("npy", "").upper())

2）实现结果
在这里插入图片描述
待检索图

检索结果最高匹配前三图
first: pic3-1

second: pic3-3

third: pic3-4