图像配准模型的训练方法、图像配准方法和计算机设备[发明专利]

(12)发明专利申请

(10)申请公布号 CN 110838139 A(43)申请公布日 2020.02.25

(21)申请号 2019110283.5(22)申请日 2019.11.04

(71)申请人 上海联影智能医疗科技有限公司

地址 200232 上海市徐汇区龙腾大道2879

号3楼3674室(72)发明人 马姗姗　曹晓欢　薛忠　(74)专利代理机构 北京华进京联知识产权代理

有限公司 11606

代理人 乔改利(51)Int.Cl.

G06T 7/33(2017.01)G06T 7/00(2017.01)

权利要求书2页 说明书14页 附图4页

CN 110838139 A()发明名称

图像配准方法和图像配准模型的训练方法、

计算机设备(57)摘要

本申请涉及一种图像配准模型的训练方法、图像配准方法和计算机设备。图像配准模型的训练方法包括：获取第一训练样本图像和第二训练样本图像；将第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场；根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，以及根据第一变形场和第二变形场计算逆一致性损失；根据图像配准损失和逆一致性损失计算网络损失，利用网络损失对初始图像配准网络进行训练；当网络损失满足预设条件时，初始图像配准网络训练完成，得到图像配准模型。该方法保证了图像配准模型的精度，同时使得根据图像配准模型得到的变形场可逆。

CN 110838139 A

权　利　要　求　书

1/2页

1.一种图像配准模型的训练方法，其特征在于，包括：获取第一训练样本图像和第二训练样本图像；

将所述第一训练样本图像和所述第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场；

根据所述第二变形场、所述第一训练样本图像以及所述第二训练样本图像计算图像配准损失，以及根据所述第一变形场和所述第二变形场计算逆一致性损失；

根据所述图像配准损失和所述逆一致性损失计算网络损失，利用所述网络损失对所述初始图像配准网络进行训练；当所述网络损失满足预设条件时，所述初始图像配准网络训练完成，得到图像配准模型。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述第二变形场计算变形场平滑损失；根据所述图像配准损失、所述逆一致性损失和所述变形场平滑损失计算所述网络损失。

3.根据权利要求1或2所述的方法，其特征在于，所述将所述第一训练样本图像和所述第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场，包括：

将所述第一训练样本图像作为浮动图像，所述第二训练样本图像作为参考图像输入所述初始图像配准网络进行图像配准，得到所述第一变形场；

将所述第二训练样本图像作为浮动图像，所述第一训练样本图像作为参考图像输入所述初始图像配准网络进行图像配准，得到所述第二变形场。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第二变形场、所述第一训练样本图像以及所述第二训练样本图像计算图像配准损失，包括：

利用所述第二变形场对所述第二训练样本图像进行图像空间变换，得到配准图像；计算所述配准图像与所述第一训练样本图像之间的差异值，将所述差异值作为所述图像配准损失。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一变形场和所述第二变形场计算逆一致性损失，包括：

利用所述第二变形场对所述第一变形场进行变形场空间变换，得到空间变换后的变形场；

根据所述空间变换后的变形场和所述第二变形场计算所述逆一致性损失。6.根据权利要求5所述的方法，其特征在于，所述根据所述空间变换后的变形场和所述第二变形场计算所述逆一致性损失，包括：

将所述空间变换后的变形场与所述第二变形场中对应位置的像素点值进行求和，得到求和结果；

计算所述求和结果的平方和，将所述平方和作为所述逆一致性损失。7.根据权利要求5或6所述的方法，其特征在于，所述利用所述第二变形场对所述第一变形场进行变形场空间变换，得到空间变换后的变形场，包括：

确定所述第二变形场中像素点的指向位置，利用插值算法计算所述第一变形场在所述指向位置的值；

2

CN 110838139 A

权　利　要　求　书

2/2页

将所述指向位置的值作为所述空间变换后的变形场在所述像素点的值，得到所述空间变换后的变形场。

8.根据权利要求2所述的方法，其特征在于，所述根据所述第二变形场计算变形场平滑损失，包括：

计算所述第二变形场一阶梯度的所有像素点值的平方和，将所述平方和作为所述变形场平滑损失。

9.一种图像配准方法，其特征在于，包括：获取待配准图像和参考图像；

将所述待配准图像和所述参考图像输入图像配准模型进行图像配准，得到所述待配准图像的配准结果；其中，所述图像配准模型的训练方式包括：

获取第一训练样本图像和第二训练样本图像；

将所述第一训练样本图像和所述第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场；

根据所述第二变形场、所述第一训练样本图像以及所述第二训练样本图像计算图像配准损失，以及根据所述第一变形场和所述第二变形场计算逆一致性损失；

根据所述图像配准损失和所述逆一致性损失计算网络损失，利用所述网络损失对所述初始图像配准网络进行训练；当所述网络损失达到满足预设条件时，所述初始图像配准网络训练完成，得到图像配准模型。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求9所述方法的步骤。

3

CN 110838139 A

说　明　书

1/14页

图像配准模型的训练方法、图像配准方法和计算机设备

技术领域

[0001]本申请涉及图像处理技术领域，特别是涉及一种图像配准模型的训练方法、图像配准方法和计算机设备。

背景技术

[0002]图像配准是将两幅图像进行空间匹配的过程，若要将图像A配准到图像B，则是将B作为参考图像，A作为浮动图像，得到图像A配准到图像B的变形场。医学影像配准技术是医学影像处理的基础，在图像信息融合、辅助诊断、手术规划以及医学基础理论研究等领域发挥着十分重要的作用。早期的医学影像配准方法主要是基于灰度的配准方法，根据光流场理论将待配准影像作为连续运动的影像序列的两帧，然后计算变形场的大小，从而实现影像的配准。但是此方法在医学影像质量较差、且形变较大的情况下，配准精度明显下降。[0003]随着人工智能技术的不断发展，基于深度学习的医学影像配准方法也应运而生，其需要大量的训练样本通过不断迭代的方式学习数据的特征。传统技术通常是将变形场的一阶梯度作为正则损失函数，指导图像配准网络训练过程中网络参数的更新，以训练得到收敛的图像配准网络。[0004]但是，传统技术只考虑了变形场局部的平滑性，得到的图像配准网络精度较低，从而使用图像配准网络进行图像配准的结果准确度也较低，且不具备良好的逆一致性。发明内容

[0005]基于此，有必要针对传统技术图像配准的结果准确度也较低，且不具备良好的逆一致性的问题，提供一种图像配准模型的训练方法、图像配准方法和计算机设备。[0006]第一方面，本申请实施例提供一种图像配准模型的训练方法，包括：[0007]获取第一训练样本图像和第二训练样本图像；

[0008]将第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场；[0009]根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，以及根据第一变形场和第二变形场计算逆一致性损失；

[0010]根据图像配准损失和逆一致性损失计算网络损失，利用网络损失对初始图像配准网络进行训练；当网络损失满足预设条件时，初始图像配准网络训练完成，得到图像配准模型。

[0011]在其中一个实施例中，上述方法还包括：[0012]根据第二变形场计算变形场平滑损失；[0013]根据图像配准损失、逆一致性损失和变形场平滑损失计算网络损失。[0014]在其中一个实施例中，将第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场，包括：[0015]将第一训练样本图像作为浮动图像，第二训练样本图像作为参考图像输入初始图

4

CN 110838139 A

说　明　书

2/14页

像配准网络进行图像配准，得到第一变形场；[0016]将第二训练样本图像作为浮动图像，第一训练样本图像作为参考图像输入初始图像配准网络进行图像配准，得到第二变形场。[0017]在其中一个实施例中，根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，包括：[0018]利用第二变形场对第二训练样本图像进行图像空间变换，得到配准图像；[0019]计算配准图像与第一训练样本图像之间的差异值，将差异值作为图像配准损失。[0020]在其中一个实施例中，根据第一变形场和第二变形场计算逆一致性损失，包括：[0021]利用第二变形场对第一变形场进行变形场空间变换，得到空间变换后的变形场；[0022]根据空间变换后的变形场和第二变形场计算逆一致性损失。[0023]在其中一个实施例中，根据空间变换后的变形场和第二变形场计算逆一致性损失，包括：

[0024]将空间变换后的变形场与第二变形场中对应位置的像素点值进行求和，得到求和结果；

[0025]计算求和结果的平方和，将平方和作为逆一致性损失。[0026]在其中一个实施例中，利用第二变形场对第一变形场进行变形场空间变换，得到空间变换后的变形场，包括：[0027]确定第二变形场中像素点的指向位置，利用插值算法计算第一变形场在指向位置的值；

[0028]将指向位置的值作为空间变换后的变形场在像素点的值，得到空间变换后的变形场。

[0029]在其中一个实施例中，根据第二变形场计算变形场平滑损失，包括：[0030]计算第二变形场一阶梯度的所有像素点值的平方和，将平方和作为变形场平滑损失。[0031]第二方面，本申请实施例提供一种图像配准方法，包括：[0032]获取待配准图像和参考图像；

[0033]将待配准图像和参考图像输入图像配准模型进行图像配准，得到待配准图像的配准结果；其中，图像配准模型的训练方式包括：

[0034]获取第一训练样本图像和第二训练样本图像；

[0035]将第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场；[0036]根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，以及根据第一变形场和第二变形场计算逆一致性损失；

[0037]根据图像配准损失和逆一致性损失计算网络损失，利用网络损失对初始图像配准网络进行训练；当网络损失达到满足预设条件时，初始图像配准网络训练完成，得到图像配准模型。

[0038]第三方面，本申请实施例提供一种图像配准模型的训练装置，包括：[0039]第一获取模块，用于获取第一训练样本图像和第二训练样本图像；[0040]第一图像配准模块，用于将第一训练样本图像和第二训练样本图像输入初始图像

5

CN 110838139 A

说　明　书

3/14页

配准网络进行相互图像配准，得到第一变形场和第二变形场；[0041]计算模块，用于根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，以及根据第一变形场和第二变形场计算逆一致性损失；[0042]训练模块，用于根据图像配准损失和逆一致性损失计算网络损失，利用网络损失对初始图像配准网络进行训练；当网络损失满足预设条件时，初始图像配准网络训练完成，得到图像配准模型。[0043]第四方面，本申请实施例提供一种图像配准装置，包括：[0044]第二获取模块，用于获取待配准图像和参考图像；[0045]第二图像配准模块，用于将待配准图像和参考图像输入图像配准模型进行图像配准，得到待配准图像的配准结果。[0046]第五方面，本申请实施例提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：[0047]获取第一训练样本图像和第二训练样本图像；

[0048]将第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场；[0049]根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，以及根据第一变形场和第二变形场计算逆一致性损失；

[0050]根据图像配准损失和逆一致性损失计算网络损失，利用网络损失对初始图像配准网络进行训练；当网络损失满足预设条件时，初始图像配准网络训练完成，得到图像配准模型。[0051]第六方面，本申请实施例还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：[0052]获取待配准图像和参考图像；

[0053]将待配准图像和参考图像输入图像配准模型进行图像配准，得到待配准图像的配准结果；其中，图像配准模型的训练方式包括：

[00]获取第一训练样本图像和第二训练样本图像；

[0055]将第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场；[0056]根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，以及根据第一变形场和第二变形场计算逆一致性损失；

[0057]根据图像配准损失和逆一致性损失计算网络损失，利用网络损失对初始图像配准网络进行训练；当网络损失达到满足预设条件时，初始图像配准网络训练完成，得到图像配准模型。[0058]第七方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

[0059]获取第一训练样本图像和第二训练样本图像；

[0060]将第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场；[0061]根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，

6

CN 110838139 A

说　明　书

4/14页

以及根据第一变形场和第二变形场计算逆一致性损失；

[0062]根据图像配准损失和逆一致性损失计算网络损失，利用网络损失对初始图像配准网络进行训练；当网络损失满足预设条件时，初始图像配准网络训练完成，得到图像配准模型。[0063]第八方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：[00]获取待配准图像和参考图像；

[0065]将待配准图像和参考图像输入图像配准模型进行图像配准，得到待配准图像的配准结果；其中，图像配准模型的训练方式包括：

[0066]获取第一训练样本图像和第二训练样本图像；

[0067]将第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场；[0068]根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，以及根据第一变形场和第二变形场计算逆一致性损失；

[0069]根据图像配准损失和逆一致性损失计算网络损失，利用网络损失对初始图像配准网络进行训练；当网络损失达到满足预设条件时，初始图像配准网络训练完成，得到图像配准模型。

[0070]上述图像配准模型的训练方法、图像配准方法、装置、计算机设备和可读存储介质，首先获取第一训练样本图像和第二训练样本图像；将第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场；然后根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，以及根据第一变形场和第二变形场计算逆一致性损失；最后根据图像配准损失和逆一致性损失计算网络损失，利用网络损失对初始图像配准网络进行训练；当网络损失满足预设条件时，初始图像配准网络训练完成，得到图像配准模型。该方法中，除考虑图像配准时的配准损失，保证了图像配准模型的精度，还考虑了图像相互配准得到的变形场之间的逆一致性损失，即考虑了fAB与fBA变形场之间大小相等方向相反的性质，由此使得根据图像配准模型得到的变形场可逆，即由fAB可变换得到fBA，无需再由网络模型进行计算。附图说明

[0071]图1为一个实施例提供的图像配准模型的训练方法的流程示意图；[0072]图2为另一个实施例提供的图像配准模型的训练方法的流程示意图；[0073]图3为又一个实施例提供的图像配准模型的训练方法的流程示意图；[0074]图3a为一个实施例提供的变形场空间变换过程的示意图；[0075]图3b为一个实施例提供的图像配准模型的训练过程的示意图；[0076]图4为一个实施例提供的图像配准方法的流程示意图；

[0077]图5为一个实施例提供的图像配准模型的训练装置的结构示意图；[0078]图6为一个实施例提供的图像配准装置的结构示意图；[0079]图7为一个实施例提供的计算机设备的内部结构示意图。

7

CN 110838139 A

说　明　书

5/14页

具体实施方式

[0080]本申请实施例提供的图像配准模型的训练方法，可以适用于进行图像配准的网络模型的训练过程，此图像可以为医学图像，也可以为其他领域中的图像。图像配准主要分为刚性和非刚性两类，刚性配准主要解决简单的图像整体移动，如平移、旋转等问题；非刚性配准主要解决的是图像的弹性变换的问题，它容许变换过程中任意两个像素点之间的对应关系发生变动。医学图像配准技术是手术计划定制、影像引导放射治疗以及医学影像融合处理等方面的基础和前提，具有重要的临床应用价值；同时，人体的大部分组织和器官具有非刚性特征，因而针对非刚性医学影像的研究具有重要意义。

[0081]医学图像配准是指对于一幅医学图像寻求一种或者一系列的空间变换，使它与另外一幅医学图像或者多幅图像上的对应点达到空间上的一致。这种一致是建立两幅图像中相同解剖结构的匹配对应关系。通常配准算法的策略是，假定两幅待配准的图像分别为M和F，定义一个目标函数(也称能量函数)E＝E(M,T(F))，其中T代表对图像F作空间变换，一般认为E值的大小代表了图像的配准程度，对于特定的配准任务，图像M和F是确定的，因此E是空间变换T的函数，即E＝E(T)。这样配准的问题就转化为寻求一定的空间变换T使E＝E(T)取最优值得问题。根据E的定义不同，最优值对应为最大值或最小值，在定义了E之后，还必须解决一个问题，即如何找到空间变换T，使得E取得最优值。理论上图像A和图像B点与点之间存在一对一的变换关系，理想情况下空间位置的对应关系是相互的，即从图像A配到图像B的空间变换关系可以通过某种转换变成从图像B配到图像A的空间变换关系。对于非刚性配准任务来讲，这种空间变换关系在非刚性配准模型得到的变形场中得以体现，即变形场应该具有逆一致性。[0082]近年来，随着计算机计算能力的大幅增强，具备了处理海量数据的能力，人工智能神经网络技术在实际应用中发挥了巨大的作用，同时深度学习也成为了人工智能领域中的核心话题。在医疗健康领域，深度学习在医学图像的应用主要表现为辅助诊断或者影像检测。基于深度学习的医学图像配准直接从大量的训练样本中通过不断迭代的方式学习数据的特征，通过组合低层特征形成更加抽象的高层特征，从而得到网络模型实现图像的配准。对于基于深度学习的医学图像配准而言，T为网络结构，E为损失函数，E的优化问题为根据损失函数的损失值通过反向传播算法迭代更新网络结构的相关参数。[0083]基于深度学习的非刚性医学图像配准方法主要分为两大类：监督学习和非监督学习。然而监督的学习方法需要大量的带标注的数据，医学图像配准任务很难获取金标准数据。所以，基于深度学习的非监督方法成为医学图像非刚性配准任务的首选，其常用的网络结构为基于卷积神经网络的UNet网络结构，通过回归学习，实现待配准图像对到形变场的映射。另外，为了得到更加平滑的变形场，传统技术通常将变形场的一阶梯度作为正则损失函数，指导网络训练过程中的参数的更新，使得学习出的变形场更加平滑。但是这种控制变形场平滑的方法只考虑了变形场局部的平滑性，无法避免变形场出现交叉的情况，进行图像配准的结果准确度较低，也无法从根本上保证非刚性配准模型得到的变形场具有逆一致性。本申请提供的图像配准模型的训练方法、图像配准方法和计算机设备，旨在解决上述技术问题。

[0084]为了使本申请的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本申请实施例中的技术方案进行进一步的详细说明。应当理解，此处所描述的具体实

8

CN 110838139 A

说　明　书

6/14页

施例仅用以解释本申请，并不用于限定本申请。[0085]需要说明的是，下述方法实施例的执行主体可以是图像配准模型的训练装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例以执行主体为计算机设备为例进行说明，该计算机设备可以是终端，也可以是服务器，可以为单独的计算设备，也可以集成于医学成像设备上，只要能完成图像配准模型的训练即可，本实施例对此不做限定。

[0086]图1为一个实施例提供的图像配准模型的训练方法的流程示意图。本实施例涉及的是计算机设备利用第一训练样本图像和第二训练样本图像对初始图像配准网络进行训练，得到图像配准模型的具体过程。如图1所示，该方法包括：[0087]S101，获取第一训练样本图像和第二训练样本图像。[0088]具体的，计算机设备首先需要获取大量的训练样本图像，本实施例将训练样本图像分为第一训练样本图像和第二训练样本图像，是基于图像配准过程需一个图像作为参考图像、一个图像作为浮动图像而言，其并没有实质性区别。其中，可以将训练样本图像分为两组，一组作为第一训练样本图像，另一组作为第二训练样本图像，也可以将训练样本图像任意两两组合，作为第一训练样本和第二训练样本图像。[00]可选的，训练样本图像可以为核磁共振成像(Nuclear Magnetic Resonance Imaging，MRI)、正电子发射型计算机断层成像(Positron Emission Computed Tomography，PET)及电子计算机断层扫描成像(Computed Tomography，CT)等，可以是脑部图像、胸部图像、腹部图像等，但值得说明的是，进行图像配准的两个训练样本图像需为同一类型的图像。可选的，计算机设备获取训练样本图像的方式可以为从计算机设备的存储器中直接调取，也可以为从影像归档和通信系统(Picture Archiving and Communication Systems，PACS)中获取，本实施例对此不做。[0090]S102，将第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场。[0091]具体的，计算机设备将上述第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，可以得到第一变形场和第二变形场。可选的，计算机设备可以先将第一训练样本图像A作为浮动图像、第二训练样本图像B作为参考图像输入初始图像配准网络进行图像配准，得到第一变形场fAB；再将第二训练样本图像B作为浮动图像、第一训练样本图像A作为参考图像输入初始图像配准网络进行图像配准，得到第二变形场fBA。可选的，计算机设备也可以先将第二训练样本图像B作为浮动图像、第一训练样本图像A作为参考图像进行图像配准，再将第一训练样本图像A作为浮动图像、第二训练样本图像B作为参考图像进行图像配准，对于这个次序本实施例不做。[0092]可选的，上述初始图像配准网络可以为神经网络模型，可以为卷积神经网络(Convolutional Neural Networks，CNN)、全卷积网络(Fully Convolutional Networks，FCN)，也可以为其他网络模型。可选的，该初始图像配准网络为UNet网络，整个网络结构分为压缩路径和非压缩路径两部分，即缩小和扩大图像的特征映射，并将缩小端的低层特征送入扩大端的相应位置，为模型训练提供更多的有效信息，加速训练过程中模型的收敛。[0093]S103，根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，以及根据第一变形场和第二变形场计算逆一致性损失。

9

CN 110838139 A[0094]

说　明　书

7/14页

具体的，计算机设备可以根据第二变形场、第一训练样本图像以及第二训练样本

图像计算图像配准损失，此处的第二变形场为初始图像配准网络最后一次进行图像配准得到的变形场，可以为fAB，也可以为fBA，依据的是其处理次序，并不特指是哪个变形场。假设第二变形场为fBA，那么根据fBA和第二训练样本图像可得到配准之后的图像，然后将配准之后的图像与第一训练样本图像进行比较，得到图像配准损失。可选的，图像配准损失的损失函数可以为均方误差损失(MSE Loss)或者归一化交叉相关损失(Normalization cross correlation，NCC Loss)。[0095]然后，计算机设备还根据第一变形场和第二变形场计算逆一致性损失，假设第一变形场为fAB，第二变形场为fBA，计算机设备将fAB变换到fBA空间坐标系下得到fAB’，理论上fAB’与fBA应具有大小相等方向相反的关系，即fAB’+fBA＝0。但因此时的初始图像配准网络还未收敛，fAB’与fBA的和与0有一定的差异，利用该差异可得到对应的逆一致性损失。[0096]S104，根据图像配准损失和逆一致性损失计算网络损失，利用网络损失对初始图像配准网络进行训练；当网络损失满足预设条件时，初始图像配准网络训练完成，得到图像配准模型。

[0097]具体的，计算机设备可以根据图像配准损失和逆一致性损失计算网络损失，可选的，可以将图像配准损失和逆一致性损失进行直接求和，或者平均求和，或者加权求和，得到网络损失。当为加权求和时，每个损失都有各自不同的权重，权重的大小代表该损失的重要程度；权重越大，该损失在训练过程中起的作用越大。然后计算机设备利用得到的网络损失调整初始图像配准网络的网络参数，可选的，可以采用反向梯度传播的方法调整网络参数。

[0098]以上述方式迭代训练初始图像配准网络，当某次迭代过程的网络损失满足预设条件时，表征初始图像配准网络训练完成，便得到了收敛的图像配准模型。可选的，预设条件可以为网络损失达到收敛，也可以为网络损失小于或者等于预设阈值，对此本实施例不做。

[0099]本实施例提供的图像配准模型的训练方法，计算机设备将获取的第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场；然后根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，以及根据第一变形场和第二变形场计算逆一致性损失；最后根据图像配准损失和逆一致性损失计算网络损失，利用网络损失对初始图像配准网络进行训练，直至得到收敛的图像配准模型。该方法中，除考虑图像配准时的配准损失，保证了图像配准模型的精度，还考虑了图像相互配准得到的变形场之间的逆一致性损失，即考虑了fAB与fBA变形场之间大小相等方向相反的性质，由此使得根据图像配准模型得到的变形场可逆，即由fAB可变换得到fBA，无需再由网络模型进行计算。[0100]可选的，在其中一些实施例中，上述方法还包括：根据第二变形场计算变形场平滑损失；根据图像配准损失、逆一致性损失和变形场平滑损失计算网络损失。[0101]可选的，计算机设备可以计算第二变形场一阶梯度的所有像素点的平方和，将该平方和作为变形场平滑损失。可选的，计算机设备可以将图像配准损失、逆一致性损失和变形场平滑损失进行直接求和，或者平均求和，或者加权求和，得到上述网络损失。由此本申请还考虑了变形场的局部平滑性，进一步提高了得到的图像配准模型的精度。

10

CN 110838139 A[0102]

说　明　书

8/14页

图2为另一个实施例提供的图像配准模型的训练方法的流程示意图。本实施例涉

及的是计算机设备根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失的具体过程。在上述实施例的基础上，可选的，如图2所示，S103可以包括：[0103]S201，利用第二变形场对第二训练样本图像进行图像空间变换，得到配准图像。[0104]具体的，计算机设备利用第二变形场对第二训练样本图像(即浮动图像)进行图像空间变换，即根据第二变形场提供的坐标位置对应关系，利用插值算法对第二训练样本图像进行计算，得到配准图像。本实施例的第二变形场为第二训练样本图像B作为浮动图像、第一训练样本图像A作为参考图像输入初始图像配准网络进行图像配准，得到的变形场fBA，但不限于fBA。[0105]S202，计算配准图像与第一训练样本图像之间的差异值，将差异值作为图像配准损失。

[0106]具体的，计算机设备计算配准图像与第一训练样本图像(即参考图像)之间的差异值，可选的，可以计算配准图像与第一训练样本图像对应坐标位置的像素差异值，将该差异值作为图像配准损失。

[0107]本实施例提供的图像配准模型的训练方法，计算机设备利用第二变形场对第二训练样本图像进行图像空间变换，得到配准图像，然后计算配准图像与第一训练样本图像之间的差异值，将差异值作为图像配准损失。通过计算参考图像与配准图像之间的图像配准损失，在初始图像配准网络更新过程中作为部分损失进行梯度回传，可进一步提高得到的图像配准模型的配准精度。

[0108]图3为又一个实施例提供的图像配准模型的训练方法的流程示意图。本实施例涉及的是计算机设备根据第一变形场和第二变形场计算逆一致性损失的具体过程。在上述实施例的基础上，可选的，如图3所示，S103可以包括：[0109]S301，利用第二变形场对第一变形场进行变形场空间变换，得到空间变换后的变形场。

[0110]S302，根据空间变换后的变形场和第二变形场计算逆一致性损失。[0111]具体的，计算机设备可以利用第二变形场对第一变形场进行变形场空间变换，假设第一变形场为fAB，第二变形场为fBA，可选的，利用fBA对fAB进行变形场空间变换，得到空间变换后的变形场的过程可以为：确定第二变形场fBA中像素点a(x,y)的指向位置b(x+dx,y+dy)，利用插值算法计算第一变形场fAB在指向位置b处的值c；将c的值作为空间变换后的变形场fAB’在像素点a处的值，最终可得到空间变换后的变形场fAB’。[0112]然后，计算机设备根据空间变换后的变形场fAB’和第二变形场fBA计算逆一致性损失，可选的，可以将空间变换后的变形场fAB’与第二变形场fBA中对应位置的像素点值进行求和，得到求和结果，以及计算该求和结果的平方和，将平方和作为上述逆一致性损失。可选的，计算机设备可以根据

的关系式计算该逆一致性损失，其中，i为像素点位

置，fi’为fAB’中i点的像素点值，gi为fBA中i点的像素点值。关于变形场空间变换过程的示意图可以参见图3a所示。关于图像配准模型的训练过程可以参见图3b所示的示意图。[0113]本实施例提供的图像配准模型的训练方法，计算机设备利用第二变形场对第一变形场进行变形场空间变换，得到空间变换后的变形场，根据空间变换后的变形场和第二变

11

CN 110838139 A

说　明　书

9/14页

形场计算逆一致性损失。通过将第一变形场变换到第二变形场空间坐标系下来计算第一变形场和第二变形场之间的逆一致性损失，可提高计算的逆一致性损失的准确性，在初始图像配准网络更新过程中作为部分损失进行梯度回传，可大大提高图像配准模型的变形场可逆性。

[0114]在上述图像配准模型训练完成之后，便可以利用该模型进行图像配准，图4为一个实施例提供的图像配准方法的流程示意图，该方法包括：[0115]S401，获取待配准图像和参考图像。[0116]S402，将待配准图像和参考图像输入图像配准模型进行图像配准，得到待配准图像的配准结果；其中，图像配准模型的训练方式包括：获取第一训练样本图像和第二训练样本图像；将第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场；根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，以及根据第一变形场和第二变形场计算逆一致性损失；根据图像配准损失和逆一致性损失计算网络损失，利用网络损失对初始图像配准网络进行训练；当网络损失达到满足预设条件时，初始图像配准网络训练完成，得到图像配准模型。[0117]具体的，计算机设备获取待配准图像和参考图像后，将待配准图像作为浮动图像与参考图像输入图像配准模型进行图像配准，可以得到待配准图像的配准结果。可选的，该配准结果可以为待配准图像到参考图像的变形场。而关于该图像配准模型的训练过程，可以参见上述实施例所示的方法，其实现过程与原理类似，在此不再赘述。[0118]本实施例提供的图像配准方法，所采用的图像配准模型具有一定的变形场可逆性及较高的精度，使得得到的待配准图像的配准结果准确度也较高，同时也具有逆一致性。[0119]应该理解的是，虽然图1-图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序，这些步骤可以以其它的顺序执行。而且，图1-图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

[0120]图5为一个实施例提供的图像配准模型的训练装置的结构示意图。如图5所示，该装置包括：第一获取模块11、第一图像配准模块12、计算模块13和训练模块14。[0121]具体的，第一获取模块11，用于获取第一训练样本图像和第二训练样本图像。[0122]第一图像配准模块12，用于将第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场。[0123]计算模块13，用于根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，以及根据第一变形场和第二变形场计算逆一致性损失。[0124]训练模块14，用于根据图像配准损失和逆一致性损失计算网络损失，利用网络损失对初始图像配准网络进行训练；当网络损失满足预设条件时，初始图像配准网络训练完成，得到图像配准模型。

[0125]本实施例提供的图像配准模型的训练装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

12

CN 110838139 A[0126]

说　明　书

10/14页

在其中一个实施例中，计算模块13，还用于根据第二变形场计算变形场平滑损失；

训练模块14，还用于根据图像配准损失、逆一致性损失和变形场平滑损失计算网络损失。[0127]在其中一个实施例中，第一图像配准模块12，具体用于将第一训练样本图像作为浮动图像，第二训练样本图像作为参考图像输入初始图像配准网络进行图像配准，得到第一变形场；以及将第二训练样本图像作为浮动图像，第一训练样本图像作为参考图像输入初始图像配准网络进行图像配准，得到第二变形场。[0128]在其中一个实施例中，计算模块13包括图像空间变换单元和计算单元；图像空间变换单元，用于利用第二变形场对第二训练样本图像进行图像空间变换，得到配准图像；计算单元，用于计算配准图像与第一训练样本图像之间的差异值，将差异值作为图像配准损失。

[0129]在其中一个实施例中，计算模块13还包括变形场变换单元；变形场变换单元，用于利用第二变形场对第一变形场进行变形场空间变换，得到空间变换后的变形场；计算单元，还用于根据空间变换后的变形场和第二变形场计算逆一致性损失。[0130]在其中一个实施例中，计算单元，具体用于将空间变换后的变形场与第二变形场中对应位置的像素点值进行求和，得到求和结果；计算求和结果的平方和，将平方和作为逆一致性损失。

[0131]在其中一个实施例中，变形场变换单元，具体用于确定第二变形场中像素点的指向位置，利用插值算法计算第一变形场在指向位置的值；将指向位置的值作为空间变换后的变形场在像素点的值，得到空间变换后的变形场。[0132]在其中一个实施例中，计算模块13，具体用于计算第二变形场一阶梯度的所有像素点值的平方和，将平方和作为变形场平滑损失。

[0133]图6为一个实施例提供的图像配准装置的结构示意图。如图6所示，该装置包括：第二获取模块21和第二图像配准模块22。[0134]具体的，第二获取模块21，用于获取待配准图像和参考图像。[0135]第二图像配准模块22，用于将待配准图像和参考图像输入图像配准模型进行图像配准，得到待配准图像的配准结果。其中，图像配准模型的训练过程可以参见上述图像配准模型的训练装置实施例的实现过程。

[0136]本实施例提供的图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

[0137]关于图像配准模型的训练装置和图像配准装置的具体限定可以参见上文中对于图像配准模型的训练方法和图像配准方法的限定，在此不再赘述。上述图像配准模型的训练装置和图像配准装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。[0138]在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。

13

CN 110838139 A

说　明　书

11/14页

该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像配准模型的训练方法或图像配准方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

[0139]本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。[0140]在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：[0141]获取第一训练样本图像和第二训练样本图像；

[0142]将第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场；[0143]根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，以及根据第一变形场和第二变形场计算逆一致性损失；

[0144]根据图像配准损失和逆一致性损失计算网络损失，利用网络损失对初始图像配准网络进行训练；当网络损失满足预设条件时，初始图像配准网络训练完成，得到图像配准模型。

[0145]本实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

[0146]在一个实施例中，处理器执行计算机程序时还实现以下步骤：[0147]根据第二变形场计算变形场平滑损失；[0148]根据图像配准损失、逆一致性损失和变形场平滑损失计算网络损失。[0149]在一个实施例中，处理器执行计算机程序时还实现以下步骤：[0150]将第一训练样本图像作为浮动图像，第二训练样本图像作为参考图像输入初始图像配准网络进行图像配准，得到第一变形场；[0151]将第二训练样本图像作为浮动图像，第一训练样本图像作为参考图像输入初始图像配准网络进行图像配准，得到第二变形场。[0152]在一个实施例中，处理器执行计算机程序时还实现以下步骤：[0153]利用第二变形场对第二训练样本图像进行图像空间变换，得到配准图像；[01]计算配准图像与第一训练样本图像之间的差异值，将差异值作为图像配准损失。[0155]在一个实施例中，处理器执行计算机程序时还实现以下步骤：[0156]利用第二变形场对第一变形场进行变形场空间变换，得到空间变换后的变形场；[0157]根据空间变换后的变形场和第二变形场计算逆一致性损失。[0158]在一个实施例中，处理器执行计算机程序时还实现以下步骤：

[0159]将空间变换后的变形场与第二变形场中对应位置的像素点值进行求和，得到求和结果；

[0160]计算求和结果的平方和，将平方和作为逆一致性损失。[0161]在一个实施例中，处理器执行计算机程序时还实现以下步骤：

14

CN 110838139 A[0162]

说　明　书

12/14页

确定第二变形场中像素点的指向位置，利用插值算法计算第一变形场在指向位置将指向位置的值作为空间变换后的变形场在像素点的值，得到空间变换后的变形在一个实施例中，处理器执行计算机程序时还实现以下步骤：计算第二变形场一阶梯度的所有像素点值的平方和，将平方和作为变形场平滑损

的值；

[0163]

场。

[01][0165]

失。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储

有计算机程序，该处理器执行计算机程序时实现以下步骤：[0167]获取待配准图像和参考图像；

[0168]将待配准图像和参考图像输入图像配准模型进行图像配准，得到待配准图像的配准结果；其中，图像配准模型的训练方式包括：

[0169]获取第一训练样本图像和第二训练样本图像；

[0170]将第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场；[0171]根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，以及根据第一变形场和第二变形场计算逆一致性损失；

[0172]根据图像配准损失和逆一致性损失计算网络损失，利用网络损失对初始图像配准网络进行训练；当网络损失达到满足预设条件时，初始图像配准网络训练完成，得到图像配准模型。

[0173]本实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

[0174]在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

[0175]获取第一训练样本图像和第二训练样本图像；

[0176]将第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场；[0177]根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，以及根据第一变形场和第二变形场计算逆一致性损失；

[0178]根据图像配准损失和逆一致性损失计算网络损失，利用网络损失对初始图像配准网络进行训练；当网络损失满足预设条件时，初始图像配准网络训练完成，得到图像配准模型。

[0179]本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

[0180]在一个实施例中，计算机程序被处理器执行时还实现以下步骤：[0181]根据第二变形场计算变形场平滑损失；[0182]根据图像配准损失、逆一致性损失和变形场平滑损失计算网络损失。[0183]在一个实施例中，计算机程序被处理器执行时还实现以下步骤：[0184]将第一训练样本图像作为浮动图像，第二训练样本图像作为参考图像输入初始图

15

[0166]

CN 110838139 A

说　明　书

13/14页

像配准网络进行图像配准，得到第一变形场；[0185]将第二训练样本图像作为浮动图像，第一训练样本图像作为参考图像输入初始图像配准网络进行图像配准，得到第二变形场。[0186]在一个实施例中，计算机程序被处理器执行时还实现以下步骤：[0187]利用第二变形场对第二训练样本图像进行图像空间变换，得到配准图像；[0188]计算配准图像与第一训练样本图像之间的差异值，将差异值作为图像配准损失。[01]在一个实施例中，计算机程序被处理器执行时还实现以下步骤：[0190]利用第二变形场对第一变形场进行变形场空间变换，得到空间变换后的变形场；[0191]根据空间变换后的变形场和第二变形场计算逆一致性损失。[0192]在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

[0193]将空间变换后的变形场与第二变形场中对应位置的像素点值进行求和，得到求和结果；

[0194]计算求和结果的平方和，将平方和作为逆一致性损失。[0195]在一个实施例中，计算机程序被处理器执行时还实现以下步骤：[0196]确定第二变形场中像素点的指向位置，利用插值算法计算第一变形场在指向位置的值；

[0197]将指向位置的值作为空间变换后的变形场在像素点的值，得到空间变换后的变形场。

[0198]在一个实施例中，计算机程序被处理器执行时还实现以下步骤：[0199]计算第二变形场一阶梯度的所有像素点值的平方和，将平方和作为变形场平滑损失。

[0200]在一个实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：[0201]获取待配准图像和参考图像；

[0202]将待配准图像和参考图像输入图像配准模型进行图像配准，得到待配准图像的配准结果；其中，图像配准模型的训练方式包括：

[0203]获取第一训练样本图像和第二训练样本图像；

[0204]将第一训练样本图像和第二训练样本图像输入初始图像配准网络进行相互图像配准，得到第一变形场和第二变形场；[0205]根据第二变形场、第一训练样本图像以及第二训练样本图像计算图像配准损失，以及根据第一变形场和第二变形场计算逆一致性损失；

[0206]根据图像配准损失和逆一致性损失计算网络损失，利用网络损失对初始图像配准网络进行训练；当网络损失达到满足预设条件时，初始图像配准网络训练完成，得到图像配准模型。

[0207]本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

[0208]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，

16

CN 110838139 A

说　明　书

14/14页

本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。[0209]以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明载的范围。

[0210]以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

17

CN 110838139 A

说　明　书　附　图

1/4页

图1

图2

18

CN 110838139 A

说　明　书　附　图

2/4页

图3

图3a

图3b

19

CN 110838139 A

说　明　书　附　图

3/4页

图4

图5

图6

20

CN 110838139 A

说　明　书　附　图

4/4页

图7

21