多模态脑图像融合方法及其应用文献综述

文献综述

多模态机器学习[1]有许多类型，其中包括多模态情感分析、多模态语义计算、多模态人机对话、多模态信息融合等。

对于多模态信息融合方面的发展应用于当今医学影像融合技术例如医学影像学中不同的检查设备所产生的图像数据，包括B超（B-Scan ultrasonography）、计算机断层扫描（CT）、核磁共振影像（MRI）、正电子发射断层扫描成像（PET）等。

从目前医学诊断效果较好的MRI核磁共振成像来说，MRI不仅具有无创伤性、较高的空间分辨率和组织对比度等明显的优势，它最主要的一个优点就是具有多种成像模态，例如：功能磁共振成像(functionalmagnetic resonance imaging，fMRI)可以用来研究大脑自发的或在认知任务条件下的神经活动情况，Tl加权像(structural magnetic resonance imaging，sMRI)[2]可以提供大脑的解剖结构信息，弥散张量成像(diffusion tensor imaging，DTI)可以获得大脑的结构连接信息。

采用多模态磁共振成像已经成为多个研究领域特别是神经、精神疾病领域的一个重要研究手段。

多模态医学图像融合技术[3]发展到今天已经有三十多年的历史，从国内外的研究动态的整体来看，国外对该领域的研究较早，而国内在该领域的研究起步较晚，但已经形成了非常完整全面的理论框架并且取得了一定的研究成果。

从上世纪 80 年代开始，医学图像融合开始逐渐引起临床医学界的关注，医学图像融合是将2个或2个以上医学成像设备获得的同一病灶区域[4]的图像进行匹配和迭合，从而获得互补休息，增加信息量，使临床诊断和治疗更加准确和完善。

医学图像融合的目的是结合各种图像的优势，减少不确定性，使医生对病变部位看得更直接,更清晰,从而有利于作出准确的判断，即出现部分之和大于整体的效果,目前已经不少研究将多模态融合方法应用在精神疾病的病变脑区的分析中,以双模态为首，Sui应用多变量典型相关分析(multivariablecanonical correlation analysis, mCCA) 联合独立分量分析（joint independent component analysis, jICA）方法结合任务态 fMRI与弥散张量成像（Diffusion tensor imaging, DTI）的部分各向异性来研究精神疾病患者的精神分裂症(schizophrenia, SZ)、双相情感障碍(bipolar disorder, BP)和健康对照人群（healthy control, HC），发现了可以用来区分患者与正常人的特异脑区[5]。

Camchong 利用联合独立成分分析结合 fMRI 和 DTI 得到了与 SZ 失连接假说一致的大脑区域，特别是在内侧前额叶和前扣带区域[6]。

Calhoun 利用 jICA方法结合灰质(gray matter, GM)和任务态 fMRI，发现在双侧额、顶叶和后颞区域上 SZ 和 HC 的 GM有明显的组间差异，其中病人的灰质浓度 （gray matter concentrations, GMC）降低。