Author: haoransun
Wechat: SHR—97
1. Graph Neural Network-Based Diagnosis Prediction-2020
📎Graph based for Diagnosis.pdf
本文提出了一种基于知识的预测方法，即基于图形神经网络的诊断预测（GNDP），以充分利用医学知识进行准确的诊断预测。与常规的RNN+Attention机制不同，其提出的GNDP是基于时空图卷积网络（ST-GCN）的框架开发的。GNDP可以同时利用EHR中的顺序信息和医学本体中的领域知识，以获得更稳健和准确的患者表示，并在诊断预测任务中执行更准确的预测。
ST-GCN主要用于骨骼的动作识别任务。它捕获了图形结构骨架数据的空间配置和时间动态下的特征，以生成对人类行文的鲁棒和准确预测。由于EHR和骨骼动作数据之间的显著差异，还需要对数据进行特殊的预处理。
EHR数据与医学本体结合转化为图结构。
创新点1
本文提出了GNDP，这是一种基于图卷积网络的端到端的鲁棒诊断预测方法，可以全面利用EHR数据的潜在时空相关性，提高诊断预测的准确性。
创新点2
我们介绍了一种时空患者图构建方法，通过将患者的EHR数据与医学知识图相结合，有助于深度学习模型提取更多有意义的特征。通过实验证明，所提的GNDP在诊断预测任务中优于SOTA(RNN+Attention)方法。
诊断预测是基于EHR数据的临床预测中最重要和最困难的任务之一。这项任务旨在根据患者的历史病历预测患者的未来诊断，关键在于对患者就诊进行有效建模。
RETAIN利用RNN对反向时序EHR数据进行建模。这是受临床实践的启发，即患者的最新健康状况比以前更具有说服力。Dipole将双向LSTM应用于长序列，从而增强预测模型的建模能力。这些方法证明RNN对模拟患者的历史记录是有效的。然而，这两种方法仍然存在数据不足和噪声的问题。KAME和CAMP都采用了医学本体和增强记忆网络的知识引导方法，证明了利用领域知识可以有效提高基于RNN的深度模型在诊断约任务中的性能。
2. Graph-Based Deep Learning for Medical Diagnosis and Analysis: Past, Present and Future-2021
https://baijiahao.baidu.com/s?id=1703327276502784593&wfr=spider&for=pc
医疗诊断是指确定患者患哪一种疾病、何种程度的过程。疾病诊断所需的信息是从患者的病史和各种医学成像数据中获得，包括功能性磁共振成像（fMRI）、磁共振成像（MRI）、电子计算机断层扫描（CT）、超声波（US）成像和X射线（X-ray）成像，以及其他诊断工具如电切割图（EEG）。然而，诊断过程不仅耗时长久，还容易产生和患者真实情况有差异的主观解释。借助计算机辅助诊断系统，临床专家已经有所受益。另外，自动化在医疗卫生服务和医生有限的情况下也十分有益，可以提高医疗卫生系统的质量、降低成本。
GNN 是一种处理由顶点和边构成的图结构信息的神经网络，近几年已成为机器学习领域的热点。由于化学、生物学、医疗卫生等学科的大部分信息需要复杂的数据结构，并不适用于矢量表示。而图结构的本质是捕获实体之间的关系，可以对它们之间的关系进行编码，因此在这些应用中非常有用。在医疗卫生中，图相关的机器学习方法广泛应用于脑活动分析、脑表面表示、解剖结构的分割和标记、多模态医学数据分析等领域。因此，需要特别注意 GNN 在非结构（无序）和结构（有序）中的泛化。除此以外，此类方法仍然稀缺，而且它们尚且不能完全解决许多具有挑战性的医学问题。
文章主要贡献有以下几个方面：
1.我们确定了传统深度学习在应用于医学数据分析时面临的许多挑战，并强调了图神经网络在克服这些挑战方面的贡献。
2.我们介绍和讨论为医学诊断提出的各种图神经网络框架及其具体应用。我们涵盖了使用图网络结合深度学习技术进行生物医学成像应用的工作。
3.我们总结了基于图的深度学习当前面临的挑战，并根据当前观察到的趋势和局限性提出医疗卫生的未来方向。
2.1 图神经网络在医疗诊断中的热门领域
脑活动分析
大脑信号是图形信号的一个例子，图形表示可以编码大脑的复杂结构，以表示不同大脑区域的物理或功能连接。在结构层面，网络由脑组织区域之间的解剖联系定义。在功能层，图形节点表示感兴趣的脑区域（ROI），而边缘捕捉通过fMRI相关矩阵计算的其活动之间的相关性，并且它们不能单独使用电极的物理位置进行简单建模。GCN在处理离散空间域中的信号的辨别特征提取时具有优势，对于诸如EEG分析的应用，可以捕获来自不同信道的EEG信号之间的隐藏关系。GCN提供了一种有效的方法来发现和建模图或触点的不同节点之间的内在关系。当考虑需要开发深度学习评分模型时，GNN模型也提供了非欧几里得空间的解释。这种解释有助于识别和定位与特定任务的模型决策相关的区域。例如某些脑区如何与特定的神经疾病相关。
脑表皮表示
医学图像中的结构具有球形拓扑结构（即大脑皮层或亚皮层表面），这些结构有时由三角形网格表示，在顶点数量和局部连通性方面，受试者之间和受试者内部存在较大变化。由于缺乏一致和规则的邻域定义，传统的CNN不能直接应用于这些曲面。GCN可以应用于具有不同节点数和连通性的图。球面CNN架构可以在球面空间中呈现有效的参数化，而不会在球面上引入空间扭曲（球面映射），并且可以通过使用表面配准方法来增强几何特征。GCN还可以通过在表面数据以不同方式排列的目标域数据集上提供更好的概括，提供更大的灵活性来分割大脑皮层（表面分割），而无需手动注释或对这些表面进行显式排列。
解剖结构的分割和标记
由于解剖的复杂性，血管和器官的分割是医学图像处理管道中的一个关键但具有挑战性的阶段。传统的深度学习分割方法通过提取高级语义特征将图像的每个像素分类为一个类。由于图像中的区域很少是网格状的，并且需要非本地信息，因此CNN表现不理想。与这些逐像素方法相比，基于图的方法直接学习和回归血管和器官的位置，并允许模型学习局部空间结构。GCN还可以在整个图像中传播和交换局部信息，以学习对象之间的语义关系。
多模态医学数据分析
由于单一模态的限制，多模态神经图像分析越来越流行，这导致数据集越来越大、越来越复杂。将人群中的成像数据和非成像数据组合成一个统一的模型可能很困难。对于疾病分类，传统的基于多模态学习的方法通常通过CNN总结所有模态的特征，这忽略了人群中受试者之间的相互作用和关联。实例（受试者）之间的关联很重要，例如，在学习脑功能网络嵌入时，应考虑图中的相邻患者。最近，研究人员利用图卷积网络的进展来解决这些问题。图提供了一种自然的方式来表示人口数据，并通过组合不同模态的特征来建模复杂交互作用。每个受试者都被建模为一个节点（患者或健康对照）以及一组特征，并根据受试者特征之间的相似性定义边。
2.2 用于医学诊断分析的研究案例研究
2.2.1 大脑中的功能连接分析
功能性磁共振成像（fMRI）
静息态功能性磁共振成像（rs-fMRI）
任务态功能性磁共振成像（t-fMRI）
上述模态是将受试者分为患者或健康对照组的主要数据来源。具体包括：自闭症谱系障碍（ASD）、精神分裂症（SZ）、注意力缺陷多动障碍（ADHD）、重度抑郁症 (MDD)、双相情感障碍（BD）等精神疾病。
依据节点的不同，可以将用于分析 fMRI 成像的 GNN 模型大致分为两类：
（i）个体图(a)：节点是大脑的不同区域，边是随时间序列观察的这些区域之间的功能相关性；
(ii) 群体图(b)：每个节点代表一个具有相应大脑功能连接数据的受试者，边为受试者表型特征（年龄、性别等）之间的相似性。
基于图的fMRI建模方法（个体图&群体图）
个体图用于分析 fMRI 成像的 GNN 模型
群体图用于分析 fMRI 成像的 GNN 模型
图卷积解码大脑功能区域
GNN 还被用于确定与特定认知刺激相关的大脑区域之间的关系，以及生成捕捉大脑功能和结构变化的超高分辨率 MRI 图像。
2.2.2 基于电波图的分析
脑电图（EEG）被广泛应用于情感心理状态、情感认同等情感分析，以及癫痫等神经系统疾病诊断；心电图（ECG）则被用于识别心脏异常。除此以外， GNN 还可以被用于睡眠阶段的分类和脑机交互研究中的监测。
从 EEG 信号中提取特征以构建基于图的架构并对精神心理状态进行分类
具有 Attention 机制的 GNN-LSTM 用于 EEG 信号的分析
2.2.3 解剖结构分析（分类和预测）
- 基于 MRI 数据， GNN 模型可以对阿兹海默和帕金森疾病进行分类；
- 基于 CT 图片， GNN 模型可以对结核病、 COVID-19 进行分类；
- 基于 X 光片， GNN 模型可以对胸部疾病、乳腺癌、肾病进行分类；
- 基于扩散磁共振成像（DMRI）数据， GNN 模型可以对大脑数据做出预测。
基于GCN的标签共现学习框架在语义信息的指导下探索潜在的异常，包括病理共现和相互依赖
2.2.4 解剖结构分析（分割）
在不同的医学图像分割和标记方法中，基于图网络的方法显示出有前景的临床应用结果。主要用于血管分割（冠状动脉、肺动脉和静脉、视网膜血管、颅内动脉、头部和颈部血管）和器官分割（脑皮质、呼吸道、脑组织、眼睛、胰腺和脾脏、前列腺、淋巴结）两大类。
大脑皮层图形被映射到光谱域。源域和目标域与参考模板对齐。GCN分割器学习预测每个域的一般皮质包裹标签。最后，判别器对分割器预测进行分类。
分段的对抗图域自适应
球形U-Net架构。输出表面是皮质分割图或皮质属性图，蓝色框反映球面空间中的特征图。
用于脑皮质分割的球形U-NET架构
超体素是由大脑MRI体积生成的。由这些具有KNN的超体素构建图。GCN用于将超体素分类为不同类型的组织。
基于超体素的脑组织分割
3. 研究挑战和未来方向
3.1 七个主要挑战
- 图表示和估计：大多数研究中的图结构都是手动设计的，缺乏统一的结构知识；不同的属性和任务需要不同的模型架构，图结构估计就是为了找到合适的图，以将数据表示为研究所需的输入形式。
- 动态图和时序图：许多现实世界的医学应用是动态的，这意味着图的节点、边和权重可以随时间变化。因此，静态图在时间场景中工作表现不佳。
- 图模型的复杂性和训练效率：GCN 与它的变体有着相当大的复杂性，这对于不太具有挑战的应用程序来说可能是苛刻且不必要的，需要更简单的图神经网络模型。
- 可解释性和可解读性：缺乏透明度被认为是 AI 在临床实践中采用的主要障碍之一，迈向值得信赖的 AI 的一步是可解释 AI 的发展。
- 图模型的泛化：难以使用异构数据构建准确和强大的学习模型，由于患者隐私和临床数据管理要求，真正集中的开源医疗大数据集团用于深度学习十分罕见，这就需要模型具有很强的泛化能力。
- 数据标注效率和训练范式：由于深度学习利用高度数据驱动的分层特征表示，医疗应用有几个关键挑战，包括注释稀缺、复杂注释和弱注释，以及标签的稀疏性。
- 不确定性的量化：在医学应用中，不确定性可以分为偶然不确定性和认知不确定性：偶然不确定性由数据中的噪声产生；认知不确定性则可能源于模型的不完整。
3.2 三个可能的方向
面部分析：临床专家依靠某些面部特征和症状进行辅助医学诊断，并且已引入计算机视觉来提供面部特征的自动和客观评估。然而， CNN 主要关注面部各区域，没有考虑面部运动之间隐藏的相互关系，这可以用 GCN 捕获。因此，在临床环境中使用 GNN 创建互补的图表示和关系推理方法还有待探索。
潜在应用：术后疼痛管理、血管脉搏监测、面瘫评估，以及几种神经和精神疾病，包括癫痫、多动症、自闭症、双相情感障碍和精神分裂症。
通过 GCN 对面部动作单元进行建模
人体姿势定位：人体姿势捕捉重要的健康相关指标，在评估癫痫、睡眠监测和手术恢复等医疗状况方面具有潜在价值。由于人体姿势估计与图形结构有关，因此 GCN 可以以灵活的方式处理骨架数据。
潜在应用：病床上姿势估计，以跟踪手术和疾病恢复以及其他睡眠障碍（如呼吸暂停、压疮和腕管综合征）造成的损伤。
采用图回归来学习用于变化的时空图作为 GCN 的输入，用于动作特征学习
基于姿势的动作识别和行为分析：运动评估和监测是临床观察过程中的有力工具，并有助于诊断运动和精神障碍。然而，如前所述，骨架本身是图的形式。基于图的人体骨骼表示有一个显着的特点：i）关节和骨骼信息是互补的，将它们结合起来可以进一步改进基于骨骼的动作识别；ii) 时间连续性不仅存在于关节之间，也存在于身体结构中；iii) 空间域和时间域之间存在共存关系；iv) 骨架序列的时间动态也包含识别任务的重要信息。
潜在应用：
运动障碍：癫痫、帕金森、阿尔茨海默病、中风、震颤、亨廷顿舞蹈症和神经发育障碍。
精神障碍：痴呆症、精神分裂症、重度抑郁症、躁郁症和自闭症谱系。
其他情况：呼吸障碍、住院患者跌倒预测、诸如躁动、抑郁、谵妄、异常活动或评估医院环境中的人际交往等健康状况。
