基于多模态数据的特发性肺纤维化进展预测研究文献综述

一、文献综述

（一）国内外研究现状

特发性肺纤维化^[1]（idiopathic pulmonary fibrosis，IPF）是一种慢性肺疾病，起病隐匿，病因不明，组织学或影像学表现为普通型间质性肺炎，以进行性呼吸困难和肺功能下降为特征，发病率和患病率分别在每一万人0.09—1.30和 0.33—4.51^[2]。由于IPF病情呈渐进式发展、诊断手段有限，最终可能导致患者完全性肺功能障碍^[3]。IPF患者一般的中位生存时间^[4]只有3—5年，病情的预后存在较大的困难。虽然现在还没有广泛使用的技术可以估计IPF病情的进展，但普遍认为IPF患者的肺功能下降情况可以对IPF 的预后提供一定的指导建议。 而用力肺活量（forced vital capacity，FVC）是评估肺功能下降的一个重要指标。研究预测IPF患者在一定时间范围内的FVC值变化情况对IPF患者的预后具有重要的指导意义。

在肺纤维化病情评估的过程中，CT图像和临床数据起到了不可忽视的作用。石涵宇等人^[5]通过高分辨率CT对患者肺纤维化区域的CT图像参数进行分析，从而对患者病情进行评估。Y Shi等人^[6]利用高分辨率CT建立了一种新的肺纤维化预测模型，在来自多中心临床试验的 50 名 IPF 受试者的HRCT图像上具有 81.8% 的敏感性、82.2% 的特异性和 82.1% 的整体准确率。杜开峰^[7]等人采用3D-CT估算的肺纤维化体积占肺总体积的的百分比对IPF患者进行预后。和小纹^[8]等人通过性别－年龄－生理学指标构成的评分系统(gender－age－physiologic variables，GAP)对IPF患者进行预后，发现GAP模型对不同患者IPF病情的严重性具有一定的区分度。尉轩远^[9]使用改良后的GAP模型对IPF患者的生存期进行预测，具有一定的有效性。2016年中华医学会呼吸病学分会间质性肺疾病学组发布的《特发性肺纤维化诊断和治疗中国专家共识》^[10]肯定了吸烟对患者IPF病情的危害，说明患者的吸烟情况可以作为IPF病情评估的重要数据。除此之外，李伊宁等人^[11]将多种医学数据进行融合形成多模态数据并构建神经网络对多模态数据进行学习，已经在多种疾病的临床治疗中发挥着重要的作用。

人工智能技术在医学临床诊断与评估中逐渐得到广泛应用，Kaggle和开源影像协会（Open Source Imaging Consortium，OSIC）推出的肺纤维化进展挑战赛也极大地启发了利用人工智能技术对IPF预后的决策研究。Mandal等人^[12]为了得到IPF患者的肺活量下降情况，分析和比较多分位数回归、Ridge回归和Elastic Net回归等机器学习模型的性能，并对每个患者的FVC值进行预测。Wong等人^[13]提出了基于深度 CNN 的 Fibrosis-Net，用于从胸部 CT 图像预测肺纤维化进展。Fibrosis-Net 利用患者的胸部 CT 扫描以及肺活量测量和临床元数据来预测未来特定时间点患者的 FVC。Nazi等人^[14]提出一种使用堆叠自注意力层的卷积神经网络框架，将网络提取的卷积CT特征输入堆叠自注意力层进行进一步细化，再结合其它临床特征对IPF患者的FVC值变化情况进行预测。但由于IPF患者的肺部CT图像存在改变多样、异质性大、边界不清等问题。CT图像的特征提取仍存在很大的改进空间。而Glotov和Lyakhov^[15]提出了一种基于DNN、GBDT、NGBoost和ElasticNet 这4种机器学习算法的集成模型，使用临床文本数据进行肺纤维化后IPF患者肺功能下降情况的预测。

（二）研究主要成果

研究主要成果在于针对多模态数据的特征提取问题，提出了一种融合多尺度残差和注意力机制的特发性肺纤维化进展预测模型：提出一个以InceptionV1 为骨干网络的CT特征提取网络，添加残差模块和改进的CBAM通道注意力模块（improved channel attention of convolu-tional block attention module，CBAM-ICA）、与卷积层并行的空洞卷积模块，来增强网络对CT特征的提取能力；提出一个基于注意力模块和多层感知机的多模态特征预测网络，融合CT特征和其它临床特征对IPF患者不同周数的FVC值进行预测；进行一系列模型对比、消融实验，验证本文提出的融合多尺度残差和注意力机制的特发性肺纤维化进展预测模型的有效性，相比其他模型具有更好的拉普拉斯对数似然得分。本研究主要通过对IPF患者不同周数的FVC值进行预测，帮助医生更好了解IPF患者肺功能衰退的严重程度，对IPF患者的预后具有指导意义。但由于IPF患者肺部CT图像的复杂性以及样本量较少，预后结果的准确率仍有待提高。未来将通过扩大样本量，进一步提高特征提取能力和模型预测准确性，以期获得更加全面准确的预后效果。

（三）发展趋势

由于IPF患者肺部CT图像的复杂性以及样本量较少，目前IPF进展预测方法中存在的准确率较低等问题，病情的预后仍存在较大的困难。目前的发展趋势如下：

1. 扩大样本量。对于深度学习来说，数据集太小将导致较低的测试准确性，这可能是因为所选模型过于适合训练集或训练集不足以代表问题，因此需要通过扩大样本量，进一步提高特征提取能力和模型预测准确性，以期获得更加全面准确的预后效果。
2. 利用多模态数据。目前使用CT图像和临床数据形成的多模态数据进行预测得到的预后结果相比于仅使用单种数据大大提高了，由此可见，多模态数据相比于单个医学模态数据，可以有效提高模型预测的精度。利用更多有效的医学数据，是提高模型准确性的重要方法。
3. 改进模型结构。如何在不增加计算成本和降低模型准确性的前提下，改进模型的结构以提高模型精度是当前面临的一个重要问题。
4. 由于CT图像的复杂性，每个患者的CT图像可能都大不相同，这就要求更加有效的CT特征提取网络以增强提取特征的有效性，用于进一步的预测过程。
5. 模型集成。模型集成是融合多个训练好的模型，基于某种方式实现测试数据的多模型融合，这样来使最终的结果能够“取长补短”，融合各个模型的学习能力，提高最终模型的泛化能力。常用的model ensemble方法有：投票(voting), 平均(averaging), 堆叠(Stacking)，非交叉堆叠(Blending)等。

（四）存在的问题