图像配准

一、Motivation 1 磁共振（MR）和经直肠超声（TRUS）图像配准是MR-TRUS融合的关键组成部分。 2.由于图像外观之间的巨大差异以及图像对应关系的较大差异。 3 提出了对抗图像配准（AIR）框架。 通过同时训练两个深度神经网络，一个是生成器，另一个是判别器。 4 而且还有一个度量网络，可以帮助评估图像配准的质量。 5 但是，多模式图像配准是一项非常艰巨的任务，因为很难定义鲁棒的图像相似性度量。 6 由于超声图像的嘈杂外观以及MR和TRUS之间的成像分辨率不均匀，因此MR和TRUS的配准更加困难。 二、Contribution 我们提出了一种基于生成对抗网络（GAN）框架[9]并同时训练了CNN的多模态图像配准方法，用于 变换参数估计和配准质量评估 . 提出的AIR-net不仅可以通过G网络的有效前馈直接估计转换参数，而且可以评估D网络估计的配准质量。 AIR-net以端到端的方式进行训练，训练完成后，G和D都将可用。 三、Method 该框架包含两个部分： 1)registration generator 2)registration discriminator 配准生成器用于直接估计变换参数。 图像重采样器然后使用估计的变换参数Test或ground truth变换Tgt对moving image进行插值以获得新的重采样的moving image。 配准判别器（D

作者：Tom Hardy Date：2020-2-26 来源： 基于点云方式的6D姿态识别 前言 除了对应点方式，还可以将点云将与整个形状对齐，获得6D姿态。通常，首先进行粗配准以提供初始对准，然后进行密集配准方法，如迭代最近点（ICP），以获得最终的6D姿态。针对点云方式，挑选了一些相关的paper，在这里做下基本思想分享。 1、Go-ICP: A Globally Optimal Solution to 3D ICP Point-Set Registration 迭代最近点（ICP）算法是目前应用最广泛的点集配准方法之一。然而，基于局部迭代优化的ICP算法易受局部极小值的影响。它的性能严重依赖于初始化的质量，并且只保证局部最优性。本文提出了在ICP定义的L2误差度量下，两个三维点集欧氏（刚性）配准的第一个全局最优算法Go-ICP。Go-ICP方法基于搜索整个3D运动空间SE（3）的分枝定界（BnB）方案。利用SE（3）几何的特殊结构，推导了新的配准误差函数的上下界。在BnB方案中引入局部ICP，在保证全局最优的同时加快了新方法的速度。本文还讨论了扩展，解决了异常值健壮性问题。实验结果表明，该方法能够在不考虑初始值的情况下产生可靠的配准结果。Go-ICP可应用于需要最佳解决方案或无法始终获得良好初始化的情况。 2、SUPER 4PCS Fast Global Pointcloud

ANTsPy主页： https://github.com/ANTsX/ANTsPy ANTsPy官方文档： https://antspyx.readthedocs.io/_/downloads/en/latest/pdf/ 配准ants.registration() import os import ants import numpy as np import time fix_path = 'img_fix.png' move_path = 'img_move.png' # 配准所使用的各种方法 各方法耗时：https://www.cnblogs.com/JunzhaoLiang/p/12308200.html types = ['Translation', 'Rigid', 'Similarity', 'QuickRigid', 'DenseRigid', 'BOLDRigid', 'Affine', 'AffineFast', 'BOLDAffine', 'TRSAA', 'ElasticSyN', 'SyN', 'SyNRA', 'SyNOnly', 'SyNCC', 'SyNabp', 'SyNBold', 'SyNBoldAff', 'SyNAggro', 'TVMSQ'] # 保存为png只支持unsigned char & unsigned short

BIGEMAP无偏移影像叠加配准(ArcGIS版) 第一步 工具准备 ArcGIS 10.2下载地址： http://pan.baidu.com/s/1qWDljC4 BIGEMAP地图下载器： http://www.bigemap.com/Home/Product/index.html 本实例使用ArcMap 10.2软件进行影像与矢量数据叠加配准。首先 ArcMap中是可以自动匹配坐标系；例如先导入西安80的矢量数据文件，再加载影像图层就会自动将影像从源坐标系转换到西安80坐标系。亦可利用BIGEMAP或ArcMap工具手动转换（见第三步）（谷歌地球、天地图（经纬度直投）下载后为WGS84地理坐标系；其他图源为WGS84墨卡托投影坐标系。）。 第二步 影像下载 影像须使用BIGEMAP地图下载器中Google Earth无偏移影像，并具有无Google小水印、免封IP、影像更新更快等特点。首先在图源列表中选中Google Earth图源，实现与矢量数据准确套合、叠加。在此通过矩形区域选择下载边界（如图 1所示），然后双击下载并选择合适的层级(如图 2所示）。 图 1 选择下载边界 第三步 坐标系转换（可选） 1. BIGEMAP投影变换 BIGEMAP提供了投影变换工具，在软件右侧工具列表中(如图 3所示）；点击“投影变换”工具弹出影像投影变换对话框(如图 4所示）。 图 3

在逆向工程，计算机视觉，文物数字化等领域中，由于点云的不完整，旋转错位，平移错位等，使得要得到的完整的点云就需要对局部点云进行配准，为了得到被测物体的完整数据模型，需要确定一个合适的坐标系，将从各个视角得到的点集合并到统一的坐标系下形成一个完整的点云，然后就可以方便进行可视化的操作，这就是点云数据的配准。点云的配准有手动配准依赖仪器的配准，和自动配准，点云的自动配准技术是通过一定的算法或者统计学规律利用计算机计算两块点云之间错位，从而达到两块点云自动配准的效果，其实质就是把不同的坐标系中测得到的数据点云进行坐标系的变换，以得到整体的数据模型，问题的关键是如何让得到坐标变换的参数R（旋转矩阵）和T（平移向量），使得两视角下测得的三维数据经坐标变换后的距离最小，，目前配准算法按照过程可以分为整体配准和局部配准，。PCL中有单独的配准模块，实现了配准相关的基础数据结构，和经典的配准算法如ICP。 PCL中实现配准算法以及相关的概念 两两配准的简介：一对点云数据集的配准问题是两两配准（pairwise registration 或 pair-wise registration）.通常通过应用一个估计得到的表示平移和选装的4*4缸体变换矩阵来使得一个点云的数据集精确的与另一个点云数据集（目标数据集）进行完美的配准 具体的实现步骤： （1）首先从两个数据集中按照同样的关键点选取的标准

《Weakly-Supervised Convolutional Neural Networks for Multimodal Image Registration》 摘要 ：在多模态图像配准的监督学习中，最基本的挑战之一是体素级空间对应的基值的缺乏。本工作描述了一种从包含在解剖标签中的高级对应信息中推断体素级变换的方法。我们认为，这种标签获取对比体素对应关系是比通过参考图像集更可靠和实用方式。典型的感兴趣的解剖标签可能包括实体器官、血管、导管、结构边界和其他指定的特别标志。提出的端到端卷积神经网络方法旨在训练过程中对单个图像对的多个标记对应结构进行对齐从而预测位移场，而仅使用未标记的图像对作为网络输入进行推理。我们强调了该策略的通用性，使用不同类型的解剖标签用于训练，这些标签不需要在所有训练图像对上可辨别。在推断，得到的三维可形变图像配准算法实时运行，是全自动的，不需要任何解剖标签或初始化。比较了几种网络结构变体，以配准来自前列腺癌患者的T2-weight磁共振图像和3D经直肠超声图像。在交叉验证实验中，来自76名患者的108对多模态图像经过高质量的解剖标签测试，得到的标记中心的目标配准误差中值为3.6 mm，前列腺的Dice中值为0.87。 关键字 ：医学图像配准;图像引导介入;卷积神经网络;弱监督学习;前列腺癌。 1、引言

点云概念 点云与三维图像的关系： 三维图像是一种特殊的信息表达形式，其特征是表达的空间中三个维度的数据，表现形式包括：深度图（以灰度表达物体与相机的距离），几何模型（由CAD软件建立），点云模型（所有逆向工程设备都将物体采样成点云）。和二维图像相比，三维图像借助第三个维度的信息，可以实现天然的物体——背景解耦。点云数据是最为常见也是最基础的三维模型。点云模型往往由测量直接得到，每个点对应一个测量点，未经过其他处理手段，故包含了最大的信息量。这些信息隐藏在点云中需要以其他提取手段将其萃取出来，提取点云中信息的过程则为三维图像处理。 点云的概念： 点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。 点云的获取设备： RGBD设备是获取点云的设备，比如PrimeSense公司的PrimeSensor、微软的Kinect、华硕的XTionPRO。 点云的内容： 根据激光测量原理得到的点云，包括三维坐标（XYZ）和激光反射强度（Intensity），强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。 根据摄影测量原理得到的点云，包括三维坐标（XYZ）和颜色信息（RGB）。 结合激光测量和摄影测量原理得到点云，包括三维坐标（XYZ）、激光反射强度

https://learn2reg.github.io/ https://github.com/learn2reg/tutorials2019 Introduction to Medical Image Registration 什么是医学图像配准？ 建立图像之间的空间关系，也称之为空间归一化 spatial normalisation 。 图像配准关注与寻找到图像空间之间的空间变换或映射 spatial transformation or mapping 为什么需要配准？ 病患的移动（不同时刻的对齐） 病患的变化（治疗前后的对比） 病患的对照（基于atlas的分析） 信息融合（补充方式或时间，计划转移） 运动补偿改进重建 视场放大(拼接) 本地化和视觉伺服 关键的组成 空间变换 模型 spatial transformation model 刚体变换Rigid、仿射变换affine、基于局部基函数、位移场displacement field.等 图像 匹配 驱动Image matching driver 稀疏配对特征Spare paired features。图像 强度 比较image intensity comparisons 正则化 regularisation 空间变化平滑先验spatial transformation smoothness 数据驱动先验data

找了各种资料，把自己需要的整理了以下。 图像配准的概念 （1）图像配准是使用某种方法，基于某种评估标准，将一副或多副图片（局部）最优映射到目标图片上的方法。 （2）对于一组图像数据集中的两幅图像，通过寻找一种空间变换把一幅图像映射到另一幅图像，使得两图中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。 （3） 图像配准是使用某种方法，基于某种评估标准，将一副或多副图片（局部）最优映射到目标图片上的方法。通常情况下，它将一副图片 （源图像，Moving Image） 的坐标映射到另一幅图像 （目标图像，Fixed Image ）上，得到 配准后的图像对（Moved Image） 。 在做 医学图像分析 时 ,经常要将同一患者几幅图像放在一起分析 ,从而得到该患者的多方面的综合信息 ,提高 医学诊断 和治疗的水平。对几幅不同的图像作定量分析 ,首先要解决这几幅图像的严格对齐问题 ,这就是我们所说的图像的 配准 。医学图像配准是指对于一幅医学图像寻求一种 (或一系列 )空间变换 ,使它与另一幅医学图像上的对应点达到空间上的一致。 这种一致是指 人体上的同一解剖点在两张匹配图像上有相同的 空间位置 。 配准的结果应使两幅图像上所有的解剖点 ,或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。 个人感觉第2个概念更容易理解一些。在医学图像领域，举个例子

导师给了方向，所以最近在看点云配准相关论文“ 点云配准是计算机视觉的一个分支方向： 一、点云配准基础知识 1．入门知识及背景 1）点云概念 　　点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为 “点云”（Point Cloud）。 2）点云图像是最基础也是最常见的三维图像。 　　那什么是三维图像呢？三维图像是一种特殊的图像信息表达形式。相比较于常见的二维图像，其最大的特征是表达了空间中三个维度（长度宽度和深度）的数据。 3）三维图像的表现形式 　　深度图（以灰度表达物体与相机的距离），几何模型（由 CAD软件建立），点云模型（所有 逆向工程 设备都将物体采样成点云）。 4）点云根据测量原理主要分为两种 　　根据激光测量原理得到的点云，包括三维坐标（ XYZ）和激光反射强度（Intensity）。强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。 　　根据摄影测量原理得到的点云，包括三维坐标（ XYZ）和颜色信息（RGB）。 　　当然也有把激光和摄影相结合在一起的（多传感器融合技术），这种结合激光测量和摄影测量原理得到点云，包括三维坐标（ XYZ）、激光反射强度（Intensity）和颜色信息（RGB）。 5）点云的获取设备 　　RGBD设备（深度摄像机