Cross-Spectral Image Patch Matching by Learning Features of the Spatially Connected Patches 论文阅读

摘要：由于不同的成像原理造成跨光谱图像块的匹配存在困难与挑战；根据不同光谱的成像数据在高级特征桑语义特征存在共同性，（共享语义特征空间）更好的学习，提出了（SCFDM: progressive comparison of spatially connected feature
metric learning with a feature discrimination constrain）使用特征差分约束的度量学习-空间对比连接特征网络；此网络保持了在其相对应的光谱域的底层特征，在高层特征空间进行跨光谱特征的交互，特征差分约束增强了网络框架去提炼共享的高级语义特征；

1.简介

 

•可见光:依赖光照

•红外：不依赖光照，但无颜色信息

•深度：超声波，核磁共振等

 

获取更加丰富复杂的信息必然进行相互补充，第一步就需要校准，问题就是 不同的成像光谱所产生的图片，存在非线性的表面特征差别；

传统的基于手工特征提取	SIFT,SURF,shape-context,ORB SURF(speeded-up robust feature) BRIEF(binary-robust-independent-elementary features) ..
最近几年的深度学习
1、基于深度学习的局部特征学习	在于 特征距离选择、损失函数设计、训练样本挖掘等
	Traditional cnn ,Siamese-network, a positive-negative network二、三、四层网络设计、相似性度量等
2、度量学习	把匹配任务转换为分类任务
	如图的两种
共同的特点都是针对单光谱的图片匹配

 

特征提取网络	目前：提取特征 进一步阐述了像素级别与图像块的区别、并采用图像块的原因 每层的卷积核的作用，感受野也是逐步增加 2-branch设计，加速空间对比
度量网络	组成：3个FC+softmax （在FC中使用了dropout=0.25避免overfitting） 度量学习：cross_entropy
特征差分网络	对特征图进行全局平均池化，减少参数/避免过拟合 约束： 差分使用欧式距离

 

目的：enforcing the network to extract patch features from the shared space

 

1. 去除提取的低价特征，保留高级的语义特征
2. 借用度量学习的优势，建立度量特征差分约束，对比连接的空间特征

a progressive comparison of spatially connected feature metric learning with a feature discrimination constrain (SCFDM)the feature network is constrained by a contrastive loss, which penalizes the non-matched patch-pairs with a small distance and the matched patch-pairs with a larger distance. The cross-entropy loss function of metric learning network optimizes the whole framework, which makes the predicted matching labels more consistent with the ground truth

效果与结论：

 

 

 

 

 

 

来源：https://blog.csdn.net/weixin_44576543/article/details/102729542