一、Motivation
1 磁共振(MR)和经直肠超声(TRUS)图像配准是MR-TRUS融合的关键组成部分。
2.由于图像外观之间的巨大差异以及图像对应关系的较大差异。
3 提出了对抗图像配准(AIR)框架。 通过同时训练两个深度神经网络,一个是生成器,另一个是判别器。
4 而且还有一个度量网络,可以帮助评估图像配准的质量。
5 但是,多模式图像配准是一项非常艰巨的任务,因为很难定义鲁棒的图像相似性度量。
6 由于超声图像的嘈杂外观以及MR和TRUS之间的成像分辨率不均匀,因此MR和TRUS的配准更加困难。
二、Contribution
我们提出了一种基于生成对抗网络(GAN)框架[9]并同时训练了CNN的多模态图像配准方法,用于变换参数估计和配准质量评估.
提出的AIR-net不仅可以通过G网络的有效前馈直接估计转换参数,而且可以评估D网络估计的配准质量。
AIR-net以端到端的方式进行训练,训练完成后,G和D都将可用。
三、Method
该框架包含两个部分:1)registration generator 2)registration discriminator
配准生成器用于直接估计变换参数。
图像重采样器然后使用估计的变换参数Test或ground truth变换Tgt对moving image进行插值以获得新的重采样的moving image。
配准判别器(D)尝试使用转换Test或Tgt判断其输入图像对是否对齐。
生成器的网络结构描述如下图:(这是我第一个看见不画网络图的文章)
对于生成器的输出:6个参数对应于3D图像的刚性配准或者为12个参数的3D图像的仿射变换。
D网络的结构几乎与G网络相同,最后一个全连接的层只有一个具有Sigmoid激活功能的输出单元,用于评估配准性能。
Adversarial Training
众所周知,原始GAN由于不稳定的损失而难以训练。Arjovsky等人的Wasserstein GAN(WGAN)的改进版本。在我们的工作中被采用。
为了使网络快速收敛以生成良好的图像配准,还使用扰动变换来计算部分损失,以便网络可以识别较差的配准。
在本文中If为MR图像,Im为 TRUS图像。
第一部分损失表示给定对齐良好的MR-TRUS图像对时判别器的误差期望。
第二部分损失表示在随机扰动的情况下,判别器的误差预期。
生成器的损失定义如下:
Test是生成器产生的配准变化。后面一部分是预测的变换和随机创建的变化之间的欧式距离。alpha是权重参数。
在W-Gan中,在每轮训练之后,都需要裁剪D网络的参数以保持稳定性。
在我们的工作中,裁剪参数设置为0.01。 一旦D网络更新了两次,即参数设置为2,就对G网络进行了训练。值得注意的是,尽管我们使用变换参数之间的欧氏距离作为AIR-Net损失函数的一部分,但是没有它,仍然可以训练AIR-net。 训练过程只需要更长的时间,并且需要仔细调整参数。
关于数据集的描述可以去看原文。
四、Experiments
在测试过程,也会对图像进行随机扰动。然后在初始配准时计算目标配准错误(TRE)和鉴别分数(D分数)
The improved image alignment is also reflected by the D-Scores. As the registration quality improves, the D-scores also increase. This suggests that both the generator and discriminator networks are working effectively。
五、Conclusions
本文提出了一种基于GAN框架的AIR-net多模态图像配准方法。 据我们所知,这是使用GAN进行多模态医学图像配准的第一项工作。 所提出的方法不仅提供了配准生成器,还同时提供了配准后的质量评估器,可用于质量检查以检测潜在的配准错误。
来源:CSDN
作者:原反补移码
链接:https://blog.csdn.net/paopaovae/article/details/104813862