Adversarial Image Registration with Application for MR and TRUS Image Fusion

 ̄綄美尐妖づ 提交于 2020-03-12 14:11:42

一、Motivation

1 磁共振(MR)和经直肠超声(TRUS)图像配准是MR-TRUS融合的关键组成部分。

2.由于图像外观之间的巨大差异以及图像对应关系的较大差异。

3 提出了对抗图像配准(AIR)框架。 通过同时训练两个深度神经网络,一个是生成器,另一个是判别器。

4 而且还有一个度量网络,可以帮助评估图像配准的质量。

5 但是,多模式图像配准是一项非常艰巨的任务,因为很难定义鲁棒的图像相似性度量。

6 由于超声图像的嘈杂外观以及MR和TRUS之间的成像分辨率不均匀,因此MR和TRUS的配准更加困难。

二、Contribution

我们提出了一种基于生成对抗网络(GAN)框架[9]并同时训练了CNN的多模态图像配准方法,用于变换参数估计和配准质量评估.

提出的AIR-net不仅可以通过G网络的有效前馈直接估计转换参数,而且可以评估D网络估计的配准质量。

AIR-net以端到端的方式进行训练,训练完成后,G和D都将可用。 

三、Method

该框架包含两个部分:1)registration generator 2)registration discriminator

配准生成器用于直接估计变换参数。

图像重采样器然后使用估计的变换参数Test或ground truth变换Tgt对moving image进行插值以获得新的重采样的moving image。

配准判别器(D)尝试使用转换Test或Tgt判断其输入图像对是否对齐。

生成器的网络结构描述如下图:(这是我第一个看见不画网络图的文章)

对于生成器的输出:6个参数对应于3D图像的刚性配准或者为12个参数的3D图像的仿射变换。

D网络的结构几乎与G网络相同,最后一个全连接的层只有一个具有Sigmoid激活功能的输出单元,用于评估配准性能。

Adversarial Training

众所周知,原始GAN由于不稳定的损失而难以训练。Arjovsky等人的Wasserstein GAN(WGAN)的改进版本。在我们的工作中被采用。

为了使网络快速收敛以生成良好的图像配准,还使用扰动变换来计算部分损失,以便网络可以识别较差的配准。

在本文中If为MR图像,Im为 TRUS图像。

第一部分损失表示给定对齐良好的MR-TRUS图像对时判别器的误差期望。

第二部分损失表示在随机扰动的情况下,判别器的误差预期。

生成器的损失定义如下:

Test是生成器产生的配准变化。后面一部分是预测的变换和随机创建的变化之间的欧式距离。alpha是权重参数。

在W-Gan中,在每轮训练之后,都需要裁剪D网络的参数以保持稳定性。

在我们的工作中,裁剪参数设置为0.01。 一旦D网络更新了两次,即参数设置为2,就对G网络进行了训练。值得注意的是,尽管我们使用变换参数之间的欧氏距离作为AIR-Net损失函数的一部分,但是没有它,仍然可以训练AIR-net。 训练过程只需要更长的时间,并且需要仔细调整参数。

关于数据集的描述可以去看原文。

四、Experiments

在测试过程,也会对图像进行随机扰动。然后在初始配准时计算目标配准错误(TRE)和鉴别分数(D分数)

The improved image alignment is also reflected by the D-Scores. As the registration quality improves, the D-scores also increase. This suggests that both the generator and discriminator networks are working effectively。

五、Conclusions

本文提出了一种基于GAN框架的AIR-net多模态图像配准方法。 据我们所知,这是使用GAN进行多模态医学图像配准的第一项工作。 所提出的方法不仅提供了配准生成器,还同时提供了配准后的质量评估器,可用于质量检查以检测潜在的配准错误。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!