learn2reg-配准介绍

北慕城南 提交于 2019-12-16 06:43:52

https://learn2reg.github.io/

https://github.com/learn2reg/tutorials2019

Introduction to Medical Image Registration

什么是医学图像配准?

建立图像之间的空间关系,也称之为空间归一化spatial normalisation

图像配准关注与寻找到图像空间之间的空间变换或映射spatial transformation or mapping

为什么需要配准?

  • 病患的移动(不同时刻的对齐)
  • 病患的变化(治疗前后的对比)
  • 病患的对照(基于atlas的分析)
  • 信息融合(补充方式或时间,计划转移)
  • 运动补偿改进重建
  • 视场放大(拼接)
  • 本地化和视觉伺服

关键的组成

  • 空间变换模型spatial transformation model

刚体变换Rigid、仿射变换affine、基于局部基函数、位移场displacement field.等

  • 图像匹配驱动Image matching driver

稀疏配对特征Spare paired features。图像强度比较image intensity comparisons

  • 正则化regularisation

空间变化平滑先验spatial transformation smoothness

数据驱动先验data driven pripors

  • 优化策略optimisation strategy

梯度下降gradient descent,无导数连续优化器 derivative-free continuous optimiser,离散图论优化器discret graph-based optimiser

统计学Stistical, 机器学习maching-learing based

配准最主要的两种方法

  • 基于特征匹配Feature-based matching

识别成对的对应点、线或其他几何图元

根据对应特征,拟合一个空间变换模型

  • 基于强度的配准Intensity-based registration

定义一个用于比较图像间相似度的代价函数

使用空间变换来warp图像

通过优化warped image间的代价函数,找到空间变换

经典基于强度的配准:最优化问题

符号:

  • F:fixed image 。作用域

  • M:Moving image。作用域

  • :空间变换。

  • G:变换模型;空间变换的空间s
  • :图像相似度的度量
  • :可选的正则项

空间转换的示例空间和相关的复杂性

  • 空间变换不一定需要生成向量空间
  • 加法:没有几何意义

  • 自然操作:合成

  • 李群结构:需要找到一个好的空间内在参数化或使用约束优化

https://zh.wikipedia.org/wiki/%E6%9D%8E%E7%BE%A4

杨梦铎, 李凡长, 张莉. 李群机器学习十年研究进展[J]. 计算机学报, 2015(07):33-52.

李群是连续的群,也即其元素可由几个实参数描述。李群为连续对称性的概念提供了一个自然的模型,例如三维旋转对称性。

经典基于强度的配准:优化问题

  • 要解决的优化问题(省略权重因素)

  • 迭代求解

从经典到基于学习的方法

  • 经典方法

一对图像或者F和M:

  • 基于学习方法的扩展(省略权重因素)

利用多对图像对:

在训练的时候使用额外的信息E(注释,真实模拟):定义一个监督损失

使用

参数逼近函数(例如CNN)

编码

在所有的训练集上优化

许多其他基于学习的选项(如学习相似或学习更新步骤)

基于强度配准:隐藏的困难

许多选择:

  • Sim,Reg,G,optimiser, parameters, weighting, etc.
  • 大多数选择针对指定问题
  • 从数据中很难了解其中的许多:可用的基本事实
  • 没有最好的方法

经典的方法提出了困难的优化问题:

  • 高维度
  • 强非线性问题
  • 强非凸能量函数,局部极小:具有许多深度学习的特征

从离散样本到连续问题

  • 数字图像通常是一个规则的体素网格上的样本集合
  • 空间变换不能用精确的(离散的)体素匹配来精确地表示:需要连续的表示
  • 图像相似性度量通常依赖于连续积分
  • 插值和重采样用来“绕过”这个难题
  • 对于基于深度学习的方法,重要的是确保步骤是可区分的

插值和重采样

  • 体素位置

    一般不落在

    体素位置。
  • :

对于Nyquist-Shannon采样定理,利用sinc核可以准确地从一组离散样本中恢复带限连续函数

在实际应用中,由于sinc的计算复杂度和相关的伪影(如振铃),使用了最近邻、线性或三次插值

变换的方向

插值策略的影响

用小的旋转重采样多次:避免多次重采样!如果使用一次,线性插值是好的。

基本配准的策略

  • :使用齐次坐标homogeneous coordinates,变换后的坐标
  • 相似性度量
  • 正则化
  • 积分的作用域:

  • :fixed图像和moving图像的逆变换图像交集
  • 如何计算积分:

    ;

  • 如何优化:需要计算Sim的梯度(或者一般),使用链式法则chain rule。
  • 通过梯度下降:

    ;步长规则,线搜索?一阶收敛。
  • Newton-Raphson(使用Hessian)可能是一种选择:如何得到代价函数的Hessian的稳定评估?这个比例可以进行变形配准吗?

图像相似度的度量-示例

  • 用于相同强度 +高斯噪声的差平方和(SSD)Sum of squared differences
  • 仿射关系的标准化互相关(NCC) Normalised Cross-correlation:光照差异小,对比度变化小;局部化版本(LNCC)提供了良好的通用性
  • 联合熵,用于强度之间的非参数统计关系的联合图像直方图中的散度和(标准化)相互信息:多模态配准

联合直方图

空间多分辨率金字塔spatial multiresolution pyramids

  • 图像的多尺度表示:在小图像上有效地捕获大规模信息;传播到更细粒度的级别并细化
  • 简单的下采样/次采样会引入混叠误差
  • 先应用低通low-pass,然后向下采样:Gaussian平滑+下采样通过采样因素2是最经典的方法

用于图像配准的高斯金字塔

通常提高配准的速度、准确性和健壮性

需要真么复杂的处理么?

非常简单的形变配准算法:CURT

基于闭型解的非刚性配准算法来最大化秩相关约束Rank Correlation criterion。图像相似度和组织重叠度来的评价标准更好image similarity and tissue overlap scores。不需要仿射变换处理。

验证方法

FRE:Fiducial Registration Error配准误差基准 -配准后对应基准点之间的均方根距离

FLE:Fiducial Localisation Error定位误差基准 -定位基准点的误差

TRE:Target Registration Error配准误差目标-除了基准点以外,对应点之间的距离,这是最重要的

随着目标与基准形心的距离增加,TRE值也增加

FRE不是一个可靠的配准准确性指标(!!)

  • FRE独立于基准配置。
  • FRE与偏置误差无关(如MRI梯度、数字化仪相机失调、手持探头弯曲)。
  • TRE近似有

    的相关性

:均方基准配准误差

:基准数

:目标点到基准配置原理轴k的距离(平方)

:基准点与基准配置原则轴k之间的RMS(平方)。

对于基于学习的图像注册,注意事项仍然有效

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!