7-2-GNN For AD

Author: haoransun
Wechat: SHR—97

参考文献（17篇）

[143] C. R. Jack Jr, M. A. Bernstein, N. C. Fox, P. Thompson, G. Alexander,D. Harvey, B. Borowski, P. J. Britson, J. L. Whitwell, C. Wardet al.,“The alzheimer’s disease neuroimaging initiative (adni): Mri methods,”J. Magn. Reson. Imaging, vol. 27, no. 4, pp. 685–691, 2008.

[145] R. C. Petersen, P. Aisen, L. A. Beckett, M. Donohue, A. Gamst, D. J.Harvey, C. Jack, W. Jagust, L. Shaw, A. Togaet al., “Alzheimer’sdisease neuroimaging initiative (adni): clinical characterization,”Neu-rology, vol. 74, no. 3, pp. 201–209, 2010.

[152] L. A. Beckett, M. C. Donohue, C. Wang, P. Aisen, D. J. Harvey,N. Saito, and A. D. N. Initiative, “The alzheimer’s disease neuroimag-ing initiative phase 2: Increasing the length, breadth, and depth of ourunderstanding,”Alzheimer’s & Dementia, vol. 11, no. 7, pp. 823–831,2015.

1. Spectral graph convolutions for population-based disease prediction

📎Spectral graph convolutions for population-baseddisease prediction.pdf

[98] S. Parisot, S. I. Ktena, E. Ferrante, M. Lee, R. G. Moreno, B. Glocker,and D. Rueckert, “Spectral graph convolutions for population-based disease prediction,” inProc. Med. Image Comput. Comput.-Assist.Interv. (MICCAI), 2017, pp. 177–185.

摘要

      利用丰富的成像和非成像信息进行疾病预测任务，需要模型能够同时表示个体特征以及来自潜在大人群的受试者之间的数据关联。Graph为此类任务提供了自然框架，但以前的基于图形的方法侧重于成对的相似性，而没有对受试者的个人特征和特征进行建模。另一方面，仅依赖特定于对象的成像特征向量无法模拟对象之间的交互和相似性，这会降低性能。在本文中，我们引入了图形卷积网络（GCN）的新概念，将图像和非图像数据相结合，用于人群的大脑分析。我们将种群表示为一个稀疏图，其中顶点与基于图像的特征向量关联，边缘编码不典型信息。该结构用于训练部分标记图上的GCN模型，旨在从节点特征和受试者之间的成对关联推断未标记节点的类别。我们展示了该方法在具有挑战性的ADNI和ABIDE数据库上的潜力，作为在分类任务中集成上下文信息的益处的概念证明。这对预测的质量有明显的影响，导致ABIDE的准确率为69.5%（超过目前66.8%的现有技术水平），ADNI中MCI转换的准确率达77%，显著优于仅考虑单个特征的标准线性分类器。

架构图

我们考虑一个包括成像（如静息状态MRI或结构MRI）和非成像表型数据（如年龄、性别、采集地点等）的N采集数据库。我们的目标是为每个采集分配一个标签，对应于受试者和时间点，描述对应受试者的疾病状态（如对照或患病）。为此，我们将人口表示为稀疏图G={V，E，W}，其中W是描述图连通性的邻接矩阵。顶点v∈V表示每个采集V与从图像数据中提取的C维特征向量x（v）相关联。图的边缘表示子项目之间的相似性，并包含表型信息。通过使用在标记的图顶点子集上训练的GCN，以半监督的方式完成图标记。直观地说，标签信息将在假设与高边权重连接的节点更具可比性的情况下在图形上传播。

所提出的模型需要两个关键的设计选择人群图构建：

1）描述每个样本的特征向量（v）的定义

2）图边E的定义对样本之间的相互作用进行建模。

对于ADNI数据集，我们只需使用所有138个分段大脑结构的体积。

总结&讨论

代码：https://github.com/parisots/population-gcn

在本文中，我们介绍了用于基于人群的大脑分析的图卷积的新概念。我们提出了一种策略，将基于图像的患者特定信息与基于非成像的信息交互相结合，构建群体图，并使用该结构训练用于半监督群体分类的GCN。作为概念的证明，该方法在具有挑战性的ABIDE和ADNI数据库上进行了测试，分别用于从异构数据库中进行ASD分类和从纵向信息预测MCI转换。我们的实验证实了我们关于上下文成对信息对分类过程的重要性的最初假设。在所提出的半监督学习设置中，由于分布在网络上的监督损失梯度信息，在相邻矩阵上调节GCN允许学习表示，即使对于未标记的节点也是如此。这对预测的质量有明显的影响，与标准线性分类器（仅考虑单个特征）相比，ABIDE提高了4.1%，ADNI提高了10%。

这项工作可以考虑几个扩展。设计一个有效的策略来构建人口图是至关重要的，而且远非显而易见。我们的图在同一边缘包含多种类型的信息。一个有趣的扩展是使用属性图，其中两个节点之间的边设计成向量而不是标量。这将允许利用补充信息，并以不同的方式权衡某些措施的影响。还可以考虑将时间信息与纵向数据相结合。我们的特征向量目前非常简单，因为我们的主要目的是显示图形中上下文信息的影响。我们计划使用更丰富的特征向量来评估我们的方法，可能通过使用来自MRI图像的自动编码器和rs-fMRI连接网络。

2. Disease prediction using graph convolutional networks: application to autism spectrum disorder and alzheimer’s disease

📎Disease prediction using graph convolutional networks.pdf

[21] S. Parisot, S. I. Ktena, E. Ferrante, M. Lee, R. Guerrero, B. Glocker,and D. Rueckert, “Disease prediction using graph convolutional networks: application to autism spectrum disorder and alzheimer’s disease,”Med. Image Anal., vol. 48, pp. 117–130, 2018.

GCNs can beused to classify subjects into healthy or AD. Parisot et al. [21]constructed a population graph by integrating subject-specificimaging (MRI) and pairwise interactions using non imaging(phenotypic) data, then fed the sparse graph to a GCN to per-form a semi-supervised node classification. Their experimentson the ADNI dataset for AD classification (conversion from(MCI) to AD) showed a high performance in comparison to anon-graph method [181]. In addition, comparing to their priorwork [98] they showed a better graph structure (combiningAPOE4 gene data and eliminating AGE information) thatcould increase the accuracy of binary classification of AD onthe ADNI dataset.

GCN可用于将受试者分类为健康或AD。Parisot等人[21]通过使用非成像（表型）数据整合受试者特异性成像（MRI）和成对相互作用构建了群体图，然后将稀疏图馈送给GCN以形成半监督节点分类。他们对AD分类的ADNI数据集（从（MCI）到AD的转换）的实验表明，其性能较高。此外，与他们之前的研究[98]相比，他们显示了更好的图形结构（结合APOE4基因数据并消除AGE信息），可以提高ADNI数据集上AD的二值分类的准确性。

摘要

图被广泛用作一个自然框架，它捕捉了作为图中节点呈现的各个元素之间的交互。具体而言，在医学应用中，节点可以表示潜在大量人群（患者或健康对照）中的个体，并伴有一组特征，而图形边缘以直观的方式结合了受试者之间的关联。这意味着在疾病分类任务中同时结合丰富的成像和非成像信息以及个体受试者特征。在疾病预测的背景下，先前的基于图的监督或非监督学习方法仅关注受试者之间的成对相似性，而忽略了个体特征和特征，或者更确切地说，依赖于受试者特定的图像特征向量，而无法对它们之间的交互进行建模。在这篇论文中，我们对一个通用框架进行了全面评估，该框架利用了成像和非成像信息，可用于大规模人群的大脑分析。该框架利用图形卷积网络（GCN），并将种群呈现为稀疏图，其中其节点与基于图像的特征向量相关联，而表型信息作为边缘权重进行整合。广泛的评估探索了该框架的每个单独组成部分对疾病预测性能的影响，并将其与不同的基线进行了进一步比较。该框架的性能在两个具有不同基础数据的大型数据集ABIDE和ADNI上进行了测试，分别用于预测自闭症谱系障碍和转换为阿尔茨海默病。我们的分析表明，我们的新框架可以改进两个数据库的最新结果，ABIDE的分类准确率为70.4%，ADNI的分类准确度为80.0%。

架构图

我们考虑一个受试者群体，每个受试者由一组互补的、表型和人口统计信息（例如性别、年龄、获取地点）描述/关联。人群包括一组N次成像采集（本文中考虑了结构或功能MRI），N≥S，这意味着一个受试者可以与多个采集（纵向扫描）相关联。我们的目标是根据表型信息提供的成像数据预测每个受试者的状态（健康控制或疾病）。总体表示为加权稀疏图，G={V，E，W}，其中W是描述图连通性的邻接矩阵。由顶点V∈V表示的每个采集V对应于与从成像数据中提取的C维特征向量（V）相关联的对象。图的边缘为相应受试者之间的相似性建模，并纳入表型信息。我们将诊断任务建模为节点分类问题，其中我们的目标是为每个描述受试者患病（l=1）或健康状态（l=0）的图节点分配一个标签∈{0,1}。尽管我们在这项工作中专注于二进制分类，但该模型可以很容易地扩展到多类分类问题。我们采用半监督策略，其中所有节点特征以及总体图都被馈送到GCN，而在训练过程中只有图节点的子集被标记并用于优化过程。直观地说，该图充当正则化器，“鼓励”与高边权重连接的节点以提高标签传播性能的方式为过滤相邻节点的特征做出更多贡献。

主要贡献：

• 在医学成像领域引入GCN进行人群分析。

• 将受试者分类作为一个图形标记问题的新公式，整合了成像和非成像数据。

• 无缝集成已知的非成像特征，允许整合临床专业知识以提高分类性能

所提出的模型需要两个关键的设计选择人群图构建：

1）描述每个图节点/采集的特征向量的定义

2）图的连通性，即图的边S和它们的权重W，其对节点/受试者/扫描质检的相似性及其对应特征进行建模

对于ADNI数据集，我们只需使用所有138个分段大脑结构的体积。

总结&讨论

代码：https://github.com/parisots/population-gcn

在本文中，我们提出了一种利用谱图卷积这一新概念的组级总体诊断方法。我们将群体建模为一个稀疏图，结合了受试者特异性数据和使用表型和其他非成像信息描述的成对交互作用。该稀疏图用于以半监督的方式训练GCN，用于节点分类、在标记节点的子集上学习并评估其余节点。我们在两个大型且具有挑战性的数据库（ABIDE和ADNI）上的实验证实了我们关于上下文成对信息对分类的重要性的初始假设，因为我们以70.4%（ABIDE）和80%（ADNI）的准确度获得了最先进的性能，对应于仅使用节点特征的分类增加了5%和9%。我们的可拓性评估分析了模型的不同组成部分，包括特征选择方法、多项式度和图构建策略。探索不同的图结构和基线，我们展示了我们的表型图公式如何产生更准确和稳定的结果，以及选择合适的表型测量来模拟成对相互作用的重要性。

在这项工作的主要局限性中，我们应该考虑将该框架推广到未知节点，例如在ABIDE案例中。由于这是一种转换学习的应用，对新的不可见领域的推广预计会导致性能下降，特别是如果训练数据集不够大，无法捕捉群体可变性。此外，ADNI图的构建方式，每个受试者的多个扫描被建模为节点并独立分类，可能会向有更多访问的受试者引入偏见。最后但并非最不重要的是，高度阶层失衡的问题构成了一种需要进一步研究的情景。在这项工作中，我们用相对平衡的数据进行了两项研究。然而，在某些类型的人口研究中（例如，全基因组预测任务Yones等人（2017）），可以发现巨大的阶级失衡比例，大约为1:10000。在未来，我们希望研究如何使用图卷积来利用可用的注释数据来简化高度类不平衡问题中的预测率。

3. Tadpole challenge: Prediction of longitudinal evolution in alzheimer’sdisease

📎TADPOLE Challenge.pdf

[146] R. V. Marinescu, N. P. Oxtoby, A. L. Young, E. E. Bron, A. W. Toga,M. W. Weiner, F. Barkhof, N. C. Fox, S. Klein, D. C. Alexanderet al.,“Tadpole challenge: Prediction of longitudinal evolution in alzheimer’sdisease,”arXiv preprint arXiv:1805.03909, 2018.

https://github.com/noxtoby/TADPOLE

4. Inceptiongcn: receptive field aware graph convolutional network for disease prediction

📎InceptionGCN.pdf

[93] A. Kazi, S. Shekarforoush, S. A. Krishna, H. Burwinkel, G. Vivar,K. Kort ̈um, S.A. Ahmadi, S. Albarqouni, and N. Navab, “Inceptiongcn: receptive field aware graph convolutional network for disease prediction,” in Proc. Int. Conf. Inf. Process. Med. Imaging (IPMI),2019, pp. 73–85.

摘要

几何深度学习为医学领域的成像和非成像模式的集成提供了一个原则性和通用性的工具。特别是图形卷积网络（GCN）已经通过利用大型多模态数据集在疾病预测、分割和矩阵完成等多种问题上进行了探索。在本文中，我们介绍了一种新的谱域结构，用于疾病预测图的深度学习。新颖之处在于定义了几何“初始模块”，它能够在卷积过程中捕获图内和图间结构异构性。我们设计了具有不同内核大小的滤波器来构建我们的架构。我们在两个公开可用的数据集上展示了我们的疾病预测结果。此外，我们在模拟数据上提供了关于常规GCN和我们提出的模型在不同输入情景下的行为的见解。

架构图

传统模型在所有层中使用恒定的滤波器大小，这迫使使用固定跳数的邻居来学习每个节点的特征，而不考虑簇大小和形状。我们提出的InceptionGCN模型克服了这一限制，通过改变GC层中的滤波器大小，以产生类别可分离的输出特征。当每个类别分布具有不同的方差和/或类别严重重叠时，我们的模型的这一特性非常理想。利用这种设置，我们的目标是通过合并来自不同图形的不同关联的信息来解决疾病分类任务。我们从亲和图的构建开始详细描述了该模型，随后介绍了数学背景，并讨论了所提出的模型架构。

总结&讨论

InceptionGCN模型的潜在改进包括样本外推理（即归纳学习），这将大大提高模型的能力。另一个研究领域是将多亲和图集成到一个模型中。此外，还可以优化InceptionGCN模型结构本身，首先通过使用可学习的预处理步骤来获得邻域值，其次通过分析每个GC层中隐藏单元的数量和所需的初始模块的总数。

5. Adaptive graph convolution pooling for brain surface analysis

📎Adaptive Graph Convolution Pooling for Brain Surface Analysis.pdf

[45] K. Gopinath, C. Desrosiers, and H. Lombaert, “Adaptive graph convolution pooling for brain surface analysis,” inProc. Int. Conf. Inf.Process. Med. Imaging (IPMI), 2019, pp. 86–98.

6. Dynamic spectral graph convolution networks with assistanttask training for early mci diagnosis

https://sci-hub.ru/10.1007/978-3-030-32251-9_70 (第670页)

[58] X. Xing, Q. Li, H. Wei, M. Zhang, Y. Zhan, X. S. Zhou, Z. Xue, andF. Shi, “Dynamic spectral graph convolution networks with assistanttask training for early mci diagnosis,” inProc. Med. Image Comput.Comput.-Assist. Interv. (MICCAI), 2019, pp. 639–646.

Xing et al. [58] proposed a model consisting of dynamicspectral graph convolution networks (DS-GCNs) to predictearly mild cognitive impairment (EMCI), and two assistivenetworks for gender and age to provide guidance for the finalEMCI prediction. They constructed graphs using T1-weightedandfMRI images from the ADNI [143] dataset. Apart frompredicting age and gender for EMCI prediction, their modelused an LSTM which could extract temporal informationrelated to the EMCI prediction.

Xing等人[58]提出了一个由动态频谱图卷积网络（DS-GCN）组成的模型，用于预测早期轻度认知障碍（EMCI），以及两个针对性别和年龄的辅助网络，用于为最终的EMCI预测提供指导。他们使用ADNI[143]数据集的T1加权和MRI图像构建了图表。除了预测EMCI预测的年龄和性别外，他们的模型使用了LSTM，该LSTM可以提取与EMCI预测相关的时间信息。

摘要

功能性脑连接组，也称为区域间功能连接（FC）矩阵，最近被认为提供早期轻度认知障碍 (eMCI) 的决定性标志物。 然而，在大多数现有方法中，使用了向量化静态 FC 矩阵和一些“现成的”分类器，这可能会导致两者的弃用空间和时间信息，从而危及诊断表现。 在本文中，我们提出了使用功能 MRI 进行早期 MCI 诊断的动态谱图卷积网络 (DS-GCN)。 首先，构建一个动态脑图，以便通过 fMRI 的时变相关性导出连接强度（边缘）信号，节点信号是根据 T1 MR 图像计算的。 然后，基于长短期记忆的谱图卷积网络用于处理远程时间信息动。 最后，我们提出预测每个受试者的性别和年龄作为辅助任务，这反过来捕获有用的网络特征并促进主要任务eMCI分类； 我们将此策略称为辅助任务训练。对 294 个训练对象和 74 个测试对象的实验表明，eMCI分类结果达到了 79.7% 的准确率（灵敏度为 86.5%和 73.0% 的特异性）并且优于最先进的方法。值得注意的是，所提出的方法可以进一步扩展到其他连接组学研究，其中图形是通过白质计算的纤维连接或灰质特征。

传统的 fMRI 诊断方法计算整个时间序列的功能连接矩阵（FC 矩阵），通过将 FC 矩阵重塑为特征向量来生成特征，可以使用 SVM 等分类器进行诊断。 然而，这些方法既没有考虑跨时间序列的血氧水平依赖性 (BOLD) 信号的动态，因此忽略了大脑活动的条件依赖性，也没有通过将 FC 矩阵重塑为向量来保留空间信息。 为了同时保留拓扑和时间信息，研究人员实施了 CNN和 RNN 进行分类。 然而，他们的方法仍然受到 fMRI 信号中噪声的影响，这可能会淹没与神经元活动相关的所需信号。

大脑连接网络可以用描述大脑区域及其关系的图表来描述。 图卷积网络允许在网络/图结构上实现神经网络。 研究人员通过两种方式将 GCN 用于疾病诊断，即节点分类和图分类。 节点分类将主体视为节点，在预定义的人口统计图上对它们进行分类。 图分类为每个受试者分配一个图，每个大脑区域作为一个节点。 与上述传统方法一样，它们只处理静态网络，不考虑 BOLD 信号的动态特性。

在这项研究中，我们提出了动态谱图卷积网络 (DSGCNs) 和辅助任务训练，用于使用 fMRI 进行早期 MCI 诊断。 为了解决上述问题，所提出方法的新颖性总结为三个方面：

（1）图函数连接数据的谱图卷积操作；

 (2) 一个LSTM架构进一步提取与诊断相关的时间信息；

 (3) 使用的两个辅助网络性别和年龄分别作为额外产出，为主要eMCI诊断任务。

架构图

上面是所提出的 DS-GCN 的框架。 左侧部分（A 和 B）演示了动态图是如何形成的。 每个节点上的特征由根据 T1 加权 MR 图像计算的相应 ROI 的体积定义。 时变边缘是根据滑动窗口内 BOLD 信号的相关性计算的。 在定义图之后，使用具有三个完全连接层的基于光谱图卷积的 LSTM (GC-LSTM) 层来分别预测每个患者的状态、性别和年龄。 最后，来自两个结构相同但参数不同的辅助网络（C和E）的特征图被加权并组合成诊断网络（D）的特征图，指导诊断网络的参数训练和优化。

GC-LSTM。 动态图由解剖区域之间的时变连接组成，并且使用长短期记忆 (LSTM) 单元来处理时间信息。 LSTM 已广泛用于处理循环或时间信号，它通过使用隐藏层作为状态来解决长期依赖性问题。 通过用上面介绍的图卷积替换传统 LSTM 中的矩阵乘法运算符，我们提出了一个动态图 LSTM 神经网络。

包括性别和年龄在内的人口统计信息可以帮助预测 eMCI。 与大多数现有方法不同，我们将它们用作额外输出。 这种辅助任务训练有两个优点。 首先，脑功能信号中含有大量噪声，难以进行适当的特征提取。 相关的辅助任务可以帮助深度学习模型将注意力集中在相关特征上。 性别/年龄可能与 ADNI 数据集中的诊断结果相关性较弱。 因此，简单地将性别和年龄直接添加为额外输入不一定会提高分类性能。

总结&讨论

DS-GCN（提议）：训练阶段没有使用性别和年龄预测任务。

DS-GCN + 人口统计特征（提议）：将性别和年龄作为额外输入添加到最后一个全连接层中。

DS-GCN + Assistant task training（提议）：注意性别和年龄不是作为额外的输入特征，而是作为输出。

提出了一种动态图卷积网络，用于分析 fMRI 连通性并将 eMCI 与正常对照进行分类。 此外，为了提高网络稳定性和分类性能，我们提出了一种新的辅助任务训练策略，即同时预测多个人口统计因素，以改进 eMCI 分类。 使用来自 ADNI2 的数据集，我们提出的算法表明可以将 eMCI 从 NC 中分类，准确率为 79.73%。 值得注意的是，我们提出的网络可以扩展到其他连接组学研究。

7. Graph convolutional network analysis for mild cognitive impairment prediction

📎Graph convolutional network analysis for mild cognitive impairment prediction.pdf

[148] X. Zhao, F. Zhou, L. Ou-Yang, T. Wang, and B. Lei, “Graph convolutional network analysis for mild cognitive impairment prediction” inProc. IEEE Int. Symp. Biomed. Imaging (ISBI), 2019, pp. 1598–1601.

Zhao et al. [148] developed a GCN based method to predictMCI (EMCI vc NC, LMCI vs NC and LMCI vs EMCI) fromrs-fMRI. They constructed the MCI-graph using both imagingdata extracted from rsfMRI and non-imaging data includinggender and collection device information. They classified thenodes in the generated MCI-graph using GCN and Cheby-GCN and compared the results with a Ridge, a random forestclassifier and a multilayer perceptron, and demonstrated a highperformance for Cheby-GCN over those methods.

Zhao等人[148]开发了一种基于GCN的方法，用于从fMRI预测MCI（EMCI vc NC、LMCI vs NC和LMCI vs EMCI）。他们使用从rsfMRI中提取的成像数据和非成像数据（包括扫描仪和采集设备信息）构建了MCI图。他们使用GCN和Cheby-GCN对生成的MCI图中的节点进行了分类，并将结果与Ridge、随机森林分类器和多层感知器进行了比较，并证明了Cheby-GSN在这些方法上的高性能。

摘要

轻度认知障碍（MCI）是阿尔茨海默病（AD）的早期阶段，是一种神经退行性疾病。功能连接网络（FCN）为分析大脑功能区域的连接提供了一种有效的方法。然而，大多数方法只考虑了神经成像信息，关注群体关系而不考虑受试者的个人特征，忽视了人口统计学关系。为了解决这个问题，在本文中，我们介绍了一种基于图卷积网络（GCN）的新方法，该方法将图像和其他信息结合起来用于MCI预测任务。所提出的模型能够同时代表潜在人群的个体特征和受试者之间的数据关联。具体来说，我们使用不同的收集设备和性别信息来构建称为MCI图的图，并修改卷积神经网络（CNN）来构建用于MCI预测的GCN。实验结果表明，我们提出的方法具有显著的预测性能。

轻度认知障碍（MCI）在5年内每年的转化率高达10%-15%。因此，一种用于MCI早期诊断的有效预测模型构建已成为热门话题。对于MCI识别，基于静息状态功能磁共振成像（rs fMRI）的功能连接网络（FCN）已被广泛使用。FCN被定义为解剖分离的大脑区域中神经元激活的时间依赖模式[2]。

我们使用FCN来探索丰富的大脑功能连接信息[4]作为每个受试者的特征。然而，在之前的研究中，研究人员[5]发现，不同采集设备的MCI识别精度存在差异，其发生与年龄和性别有关。同时，图论提供了解决上述问题的有效方法[6]。因此，我们将所有对象表示为稀疏图，其中顶点表示每个对象的FCN特征，边缘编码上述信息（例如，性别和收集设备）。

EMCI—LMCI—NC：数据预处理软件-GRETNA[11]软件包执行。

首先，我们将DICOM转换为NIFTI。然后移动前20个时间点，切片计时和重新排列。我们使用DARTEL进行空间归一化和去卷曲。下一步是干扰信号的回归，并使用时间滤波（0.01Hz-0.08Hz）。最后，使用基于90个ROI的成对皮尔逊相关系数计算FCN，该系数使用自动解剖标记（AAL）模板。

架构图

总结&讨论

在本文中，我们提出了一种基于Cheby GCN的有效方法，该方法利用图像和非图像信息进行MCI预测。具体来说，我们使用不同的收集设备和性别信息构建MCI图。我们的方法提高了不同级别MCI的可分辨性。进行了大量实验以验证所提出的方法。未来，我们将研究更复杂的网络结构，并考虑基于这些网络的特征融合。我们还将尝试将我们的方法应用于临床应用。

8. Cortical graph neural network for ad and mci diagnosis and transfer learning across populations

📎Cortical graph neural network for ad and mci diagnosis and transfer learning across populations.pdf

[149] C.-Y. Wee, C. Liu, A. Lee, J. S. Poh, H. Ji, A. Qiu, A. D. N. Initiativeet al., “Cortical graph neural network for ad and mci diagnosis and transfer learning across populations,”NeuroImage: Clinical, vol. 23, p.101929, 2019.

To reduce the burden of creating a reliable population-specific classifier from scratch, generalization of classifiers toother datasets or populations, especially those with a limitedsample size, is critical. Wee et al. [149] employed a spectralgraph CNN that incorporates the cortical thickness and ge-ometry from MRI scans to identify AD. To demonstrate thegeneralisation and the feasibility to transfer classifiers learnedfrom one population to another, the authors trained on a sizablecaucasian dataset from the ADNI cohort [145], and evaluatehow well the classifier can predict the diagnosis of an Asianpopulation. To transfer the spectral graph-CNN model, themodel that worked best on the ADNI cohort’s testing set wasfine-tuned on the training set of the Asian population. Theperformance of the fine-tuned model was then assessed usingthe testing set of the Asian cohort.

为了减轻从头开始创建可靠的特定于群体的分类器的负担，将分类器推广到更大的数据集或群体，尤其是样本大小有限的数据集和群体，至关重要。Wee等人[149]使用了一种光谱图CNN，它结合了来自MRI扫描的皮质厚度和几何测量来识别AD。为了证明从一个人群中学习到的分类器转移到另一个人群的通用性和可行性，作者们在ADNI队列中的一个可扩展的高加索数据集上进行了训练[145]，并评估分类器如何预测亚洲种群的诊断。为了转移光谱图CNN模型，在ADNI队列测试集上效果最好的模型在亚洲人群的训练集上进行了微调。然后使用亚洲队列的测试集评估微调模型的性能。

摘要

将机器学习与神经成像数据相结合，对于轻度认知障碍（MCI）和阿尔茨海默病（AD）的早期诊断具有巨大潜力。然而，目前尚不清楚在一个群体中构建的分类器如何预测其他群体的MCI/AD诊断。本研究旨在采用结合皮质厚度和几何结构的频谱图卷积神经网络，根据ADNI-2队列的3089 T1加权MRI数据识别MCI和AD，并评估其在ADNI-1队列（n=3602）和亚洲队列（n=347）中预测AD的可行性。对于ADNI-2队列，CNN图表显示对照组（CN）与AD的分类准确率为85.8%，早期MCI（EMCI）与AD之间的分类准确度为79.2%，其次是CN vs LMCI（69.3%），LMCI与AD（65.2%），EMCI与LMCI（60.9%），CN与EMCI（51.8%）。我们展示了现有深度学习方法中图形CNN的鲁棒性，如基于欧氏域的多层网络和皮层厚度的1D CNN，以及ADNI-2队列的T1加权MRI图像上的2D和3D CNN。图神经网络还预测了EMCI向AD的转化率为75%，LMCI向AD的转换率为92%。调整后的曲线图CNN进一步提供了ADNI-1队列中有前景的CN与AD分类准确率，分别为89.4%和>90%。我们的研究证明了将AD/MCI分类器从一个群体转移到另一个群体的可行性。值得注意的是，在CNN中加入皮质几何结构有可能提高分类性能。

我们训练了ADNI-2数据集的CNN肿瘤厚度谱图，该数据集主要由高加索人群组成，然后转移该模型来预测ADNI-1队列和亚洲队列的AD和MCI诊断。与使用ADNI数据集子集的现有研究不同（例如，（Korolevet等人，2017）），我们使用ADNI-2队列（n=3089）的所有可用MRI扫描来训练用于痴呆分类的鲁棒频谱图CNN。然后，我们使用转移学习来评估基于CNN的光谱图AD/MCI分类器的通用性，该分类器在可大小化的高加索数据集上训练为ADNI-1队列的完整数据集和全亚洲数据集。因此，我们预计从ADNI-2数据集获得的分类器可以为ADNI-1和亚洲人群实现类似的分类精度。

架构图

总结&讨论

在本文中，我们采用了基于CNN的光谱图框架，该框架利用皮质厚度及其基础几何信息进行AD和MCI诊断以及MCI到AD转换。我们使用公开可用的ADNI-2队列中的3089次MRI扫描评估了我们框架的有效性，并展示了最先进的痴呆分类性能。光谱图CNN肿瘤厚度优于基于体素的CNN模型。此外，我们的光谱图CNN能够在样本大小不平衡的情况下实现两类的相对平衡预测。我们通过在两个类中使用平衡样本训练小批量，并使用小样本量对类进行过采样，并基于强调主要类和少数类的平衡性能的可调整边缘测量平均值确定最佳网络参数，实现了这一点。光谱图CNN还实现了MCI到AD转换的高预测精度。当将在ADNI-2共短序列上训练的光谱图CNN模型转移到亚洲队列时，与直接在亚洲队列上训练的相同模型相比，光谱图CNN始终实现了更好的分类性能。此外，对MCI受试者进行微调的训练频谱图CNN模型能够准确地从亚洲队列中识别AD受试者，这表明了将现有稳健分类器应用于新人群MCI和AD的早期诊断和预测的可行性。本研究中提出的光谱图CNN模型是相对通用的，可以应用于早期诊断大脑疾病的更多大脑成像数据。当将皮层厚度的光谱图与多模态大脑图像数据的其他分类方法相结合时，可以获得进一步的改进。

9. Graph convolutional neural networks for alzheimer’s disease classification

📎Graph convolutional neural networks for alzheimer’s disease classification.pdf

[150] T.-A. Song, S. R. Chowdhury, F. Yang, H. Jacobs, G. El Fakhri, Q. Li,K. Johnson, and J. Dutta, “Graph convolutional neural networks for alzheimer’s disease classification,” inProc. IEEE Int. Symp. Biomed.Imaging (ISBI), 2019, pp. 414–417.

Song et al. [150] built a structural connectivity graph fromDTI data from the ADNI imaging dataset and implementeda multi-class GCN classifier for the four class classificationof subjects on the AD spectrum. The receiver operatingcharacteristic (ROC) curve was compared between GCN andSVM classifiers for each class and demonstrated the capabilityof GCN over SVM (which relies on a predefined set of inputfeatures) for AD classification.

Song等人[150]从ADNI成像数据集的DTI数据构建了结构连通图，并为AD频谱上的四类受试者分类实现了多类GCN分类器。在GCN和SVM分类器之间比较了每个类别的接收器操作特性（ROC）曲线，并证明了GCN优于SVM（依赖于预定义的一组输入特征）的AD分类能力。

摘要

图形卷积神经网络（GCNNs）旨在扩展卷积神经网络的数据表示和分类能力，该网络对在规则欧几里得域上定义的信号（例如图像和音频信号）非常有效，从而扩展到在欧几里得域定义的不规则图形结构数据。使我们能够将大脑作为一个复杂系统进行研究的图论工具在大脑连接性研究中具有重要意义。特别是，在阿尔茨海默病（AD）这一与网络功能障碍相关的神经退行性疾病中，基于图的工具对于疾病分类和分期至关重要。在这里，我们实现并测试了一个多类GCNN分类器，用于将AD频谱上的受试者基于网络分类为四类：认知正常、早期轻度认知损害、晚期轻度认知损害和AD。我们使用从扩散张量成像数据获得的结构连通图来训练和验证网络。使用接收器操作特征曲线，我们证明了GCNN分类器优于支持向量机分类器，因为它依赖于疾病类别。我们的研究结果表明，随着疾病从CN发展到AD，两种方法之间的性能差距越来越大。因此，我们证明GCNN是AD谱上受试者分期和分类的竞争工具。

架构图

样本大脑图像（横截面图）：

（A）高分辨率T1加权解剖MR扫描

（B）扩散MR扫描

（C）原生（FreeSurfer）空间中的解剖模板

（D）具有112个解剖区域的FreeSurfer图谱

（E）通过束描记术重建的纤维束

（F）通过纤维计数计算的相邻矩阵

总结&讨论

我们已经实现并验证了用于AD频谱上的对象分类的多类GCNN分类器。我们使用基于DTI的结构连接图来训练和验证网络。ROC分析结果表明，GCNN分类器在依赖于疾病类别的边缘方面优于SVM。我们的发现表明，两种方法之间的性能差距随着疾病从CN发展到AD而增加。从技术角度来看，我们的结果很重要，因为它阐明了GCNN分类器在低样本量设置下产生高性能的潜力。作为未来的工作，我们将把这个分类器扩展到更大的数据集，测试替代损失函数，并测试各种GCNN架构和实现。

10. Predicting alzheimer’s disease by hierarchical graph convolution from positron emission tomography imaging

📎Predicting alzheimer’s disease by hierarchical graph convolution.pdf

[151] J. Guo, W. Qiu, X. Li, X. Zhao, N. Guo, and Q. Li, “Predicting alzheimer’s disease by hierarchical graph convolution from positron emission tomography imaging,” inProc. IEEE Int. Conf. Big Data,2019, pp. 5359–5363.

Guo et al. [151] constructed a graph from the ROI of eachsubject’s PET images from the ADNI2dataset [152], andproposed a PETNet model based on GCNs for EMCI, LMCI or NC prediction. The proposed method is computationallyinexpensive and more flexible in comparison to voxel-levelmodeling.

Guo等人[151]从ADNI2数据集[152]中每个受试者的PET图像的ROI构建了一个图，并提出了基于EMCI、LMCI的GCN或NC预测的PETNet模型。与体素级建模相比，所提出的方法计算成本低且更灵活。

摘要

基于图像的阿尔茨海默病（AD）的早期诊断已经成为一种有效的方法，特别是通过使用正电子发射地形图（PET）等核医学成像技术。在各种文献中，已经发现PET图像可以更好地建模为在网络（非欧几里德）结构上定义的信号（例如氟倍他吡的摄取），该网络结构由其病理进展和代谢连通性的基本图形模式控制。为了有效地将深度学习框架应用于PET图像分析，以克服其对欧几里得网格的限制，我们开发了一种基于广义、基于图的CNN架构（PETNet）的3D PET图像表示和分析解决方案，该架构分析了定义在按组推断的图形结构上的PET信号。PETNet中的计算是在非欧几里得图（网络）域中定义的，因为它通过对图上的光谱滤波信号进行卷积运算和基于分层图聚类的合并运算来执行特征提取，这表明了与深度学习和其他基于机器学习的方法相比，改进的性能。

通过将从感兴趣区域（ROI）提取的PET数据定义为图节点上的信号，我们可以对图执行信号滤波和表示学习，类似于欧几里得空间中的信号滤波和特征提取（例如通过卷积滤波器）。受到Defferrard等人[18]提出的算法架构的启发，该架构从给定的图中学习局部化的光谱滤波器，并通过切比雪夫多项式逼近执行图形滤波，在这项工作中，我们开发并实现了PET图像分析框架PETNet，学习基于图形的特征和有效的分类系统，该系统可以对阿尔茨海默病进行早期诊断，即轻度认知障碍（MCI）的预测和分期。

架构图

PETNet的算法管道：

（a） 输入PET图像

（b） 提取ROI上的平均信号

（c） 在每个ROI（y轴）中跨所有对象（x轴）的提取信号的聚集

（d） 从成组信号推断出的图及其分层聚类

（e） 图卷积网络的结构，其中提取的信号和推断的图都用作输入

PETNet由四个步骤组成：包括3D PET图像（a）到基于ROI的信号转换（b），图形推断和分层聚类（d），以及用于信号到标签预测的图形卷积网络（e）

总结&讨论

PETNet的初步结果表明，与体素级建模相比，基于基于图的表示的深度学习可以为医学图像分析提供更灵活、计算成本更低的方法。这项工作的一个重要前提是，基于生物学和解剖学证据，成像数据可以更好地在可学习的图形上建模，这些证据表明，大脑物理/几何距离较远的区域的结构和功能财产可以持续相关，包括淀粉样蛋白负荷、皮层厚度和认知角色。这些财产是证据较少的自然图像，其中像素值的分布由本地控制。因此，进一步发展基于图形的分析（包括当前的PETNet框架）的关键问题是图形构造/推理，这是神经图像和医学图像分析中一个重要的、讨论得很好但仍然没有定论的话题。一种特定的收益方法是将图形推理过程纳入分类框架，以学习优化的图形定义。其他方法包括度量学习（例如，不同图形推理方法之间的权重）和多重学习也可以适用。

11. Attention-guided deep graph neural network for longitudinal alzheimer’s disease analysis

DOI: 10.1007/978-3-030-59728-3_38 (421页)

[142] J. Ma, X. Zhu, D. Yang, J. Chen, and G. Wu, “Attention-guided deep graph neural network for longitudinal alzheimer’s disease analysis,” inProc. Med. Image Comput. Comput.-Assist. Interv. (MICCAI), 2020,pp. 387–396.

Ma et al. [142] proposed an Attention-Guided Deep GraphNeural (AGDGN) network model to derive both structuraland temporal graph features from the ADNI dataset [143].This dataset contains four classes, however due to a shortageof data to train this model, they combined CN and SMC toform the CN group, and MCI and AD to form the AD group.This resulted in a two-class classification problem. They usedan attention-guided random walk (AGRW) process to extractnoise-robust graph embeddings. Their results indicated that theidentified AD characteristics detected by the proposed modelaligned with those reported by clinical studies.

Ma等人[142]提出了一种注意力引导的深度图形神经（AGDGN）网络模型，以从ADNI数据集[143]中导出结构和时间图形特征。该数据集包含四个类，但由于训练该模型的数据不足，他们将CN和SMC组合成CN组，MCI和AD组成AD组。这导致了两类分类问题。他们使用注意力引导随机游走（AGRW）过程来提取鲁棒的图嵌入。他们的结果表明，所提出的模型检测到的AD特征与临床研究报告的特征一致。

摘要

阿尔茨海默病 (AD) 是老年人痴呆症的主要原因。 由于 AD 不太可能可逆且尚无治愈方法，因此监测其进展对于调整患者的治疗计划以延缓其恶化至关重要。 计算机辅助纵向 AD 数据分析有助于此类任务，可用于评估疾病状态，识别有区别的大脑区域，并揭示疾病的进展。 然而，大多数现有方法存在两个主要问题：i）从整个图中全局提取图特征，这对噪声非常敏感； ii）他们在处理动态图方面有困难，而大脑网络是高度可变的，因为它们因人而异或随时间或疾病而变化。 为了解决这些问题，本文提出了一种新的注意力引导深度图神经网络 (AGDGN)，它利用注意力引导随机游走 (AGRW) 模块从大脑网络中提取结构图特征。 由于AGRW在随机游走的每一步只需要邻域节点周围的局部信息，因此它对图噪声具有鲁棒性并且在处理动态图时具有灵活性。 此外，全局注意力机制被集成到序列处理模块中。 两种attention机制联合训练从结构域和时间域揭示信息最丰富的大脑区域以进行 AD 分析。 对阿尔茨海默氏病神经影像学倡议 (ADNI) 数据集的实验结果和分析证明了所提出方法的有效性和效率。

主要贡献：

1. 提出了一种用于纵向阿尔茨海默病分析的新型 AGDGN 模型，该模型利用两种注意机制来揭示图形级别最相关的大脑区域和序列级别的基本时间点。 所提的 AGDGN 旨在尊重人口中的个体差异和网络随时间的变化。 此外，它可以灵活地改变序列长度。
2. 提出了一种新颖的注意力引导随机游走（AGRW）过程来提取输入图中的结构信息。
3. 全局注意力机制集成到所提出的模型中，可以突出显示与图序列诊断标签相关的重要时间点。
4. ADNI 数据集上的实验结果证明了所提出模型的有效性。

架构图

AGDGN = AGRW + Sequence processing module

注意引导随机游走 (AGRW) 模块旨在主动突出大脑中信息量最大的区域，并指导随机游走过程的节点选择过程，以从图中提取结构信息。

序列处理模块遵循最新的具有全局注意力机制的序列处理模型。该模块旨在处理从同一主题收集的纵向AD数据，并揭示诊断序列中的基本时间点。 该模块的输入是 (AGRW) 模块的输出，被认为是从图结构和节点属性中学习到的图表示。 LSTM 还用于汇总从序列中看到的纵向数据。 注意力机制是跟随全局的。

左图显示了每个节点上注意力的实际值。 右图显示了对大脑的关注。 节点大小代表注意力值。 节点颜色代表节点 ID。 （在线彩图）

最后 30 个步骤中每个步骤中前 10 个节点的节点频率。 左图显示实际频率值。 右图显示了这些节点在大脑中的位置。 节点大小表示频率值。 节点颜色代表节点 ID。 （在线彩图）

总结&讨论

在本文中，提出了一种用于纵向阿尔茨海默病分析的新型注意力引导深度图神经 (AGDGN) 网络模型。 两种注意机制被集成并联合训练以提取结构和时间图特征。 通过利用所提出的注意力引导随机游走 (AGRW) 过程，所提出的模型可以处理人群中大脑网络的个体差异，向诊断标签显示信息量最大的区域，并提取更多噪声鲁棒图嵌入。 对实验结果的分析表明，所提出的模型成功地识别了临床研究报告的 AD 特征。 尽管本文只关注“sequence to one label”问题，但值得一提的是，所提出的模型可以轻松扩展到“sequence to sequence”设置。 将来当相应的数据准备好时，我们将在此设置中测试所提出的模型。

12. Multi-scale enhanced graph convolutional network for early mild cognitive impairment detection

DOI: 10.1007/978-3-030-59728-3_38 （265页）

[147] S. Yu, S. Wang, X. Xiao, J. Cao, G. Yue, D. Liu, T. Wang, Y. Xu, andB. Lei, “Multi-scale enhanced graph convolutional network for early mild cognitive impairment detection,” inProc. Med. Image Comput.Comput.-Assist. Interv. (MICCAI), 2020, pp. 228–237.

Yu et al. [147] used a multi-scale enhanced GCN (MSE-GCN) and applied it to a population graph which was built bycombining imaging data(rs-fMRI and diffusion tensor imaging(DTI)) and demographic relationships (e.g.gender and age)to predict EMCI. This resulted in better performance incomparison to the prior methods of Zhao et al. [148] and Xinget al. [58].

Yu等人[147]使用了多尺度增强GCN（MSE-GCN），并将其应用于人口图，该图通过结合成像数据（rs fMRI和扩散张量成像（DTI））和人口关系（如性别和年龄）来预测EMCI。这与Zhao等人[148]和Xing等人[58]的现有方法相比，性能更好。

摘要

早期轻度认知障碍 (EMCI) 是 MCI 的早期阶段，可以通过大脑连接网络检测到。 为了检测 EMCI，我们在本文中设计了一个基于多尺度增强 GCN (MSE-GCN) 的新框架，它融合了分别来自静息态功能磁共振成像和扩散张量成像的功能和结构信息。 然后，连接网络中的功能和结构信息都通过局部加权聚类系数（LWCC）进行整合，这些系数被连接成特征向量来表示人口图的顶点。 同时，将受试者的性别和年龄信息与多模态神经影像学特征相结合，构建稀疏图。 然后，我们通过随机游走嵌入设计了多个具有不同输入的并行 GCN 层，这可以从 GCN 中的嵌入中识别出内在的 MCI 图信息。 最后，我们将全连接层中所有 GCN 层的输出连接起来进行检测。 所提出的方法能够同时表示来自潜在患者的受试者之间的个体特征和信息关联。 在ADNI 数据集的实验结果表明，与所有竞争方法相比，我们提出的方法实现了令人印象深刻的 EMCI 识别性能。

多模态融合可以发现互补信息，有利于提高特征表示和模型检测性能。

在本文中，我们提出了一种 MSE-GCN 来探索受试者之间的个体差异和信息关联，以改进 EMCI 检测。 通过数据融合探索 FC 和 SC 的互补性，以提高单个模型的性能。 我们通过随机游走嵌入设计具有不同输入的多个并行 GCN 层，用于 MCI 图分析。 我们提出的 MSE-GCN 模型能够通过利用图像和种群表型信息来学习丰富的特征。 我们验证了模型在ADNI 数据集上的有效性。 我们提出的模型实现了非常有前途的 EMCI 检测性能并且优于相关算法。

架构图

我们首先使用非重叠滑动窗口将 R-fMRI 分成几个子系列，并通过计算对子系列的 Pearson 相关 (PC) 系数来获得动态 FC。 同时，每对脑区之间的白质纤维束连接被视为一个结构网络。 然后，我们提取 FC 和 SC 的 LWCC，并将其连接为一个特征向量来表示人口图的顶点。 图的边缘代表主题之间的相似性，并包含非图像信息。 最后，MSE-GCN 用于 MCI 检测。

处理软件：GRETNA+DARTEL(R-fMRI)，PANDA(DTI)

大脑的不同部分负责不同的任务，并非所有区域都与 EMCI 密切相关。 因此，我们尝试利用我们提出的方法来搜索这些相关的 ROI，以了解大脑异常。 我们依次屏蔽一个大脑区域，然后得到90个检测结果。 根据相应的检测性能，我们分析相应的ROI对疾病的影响。 图 3 显示了使用我们提出的方法的前 10 个大脑区域和不同任务的功能连接。 此外，我们可视化不同阶段患者大脑区域之间的联系。 图 4 显示了我们方法的结构连接，这表明大脑区域的结构连接在不同阶段的患者中是不同的。

总结&讨论

在这项研究中，我们提出了一种基于 EMS-GCN 的新型 EMCI 诊断框架。 具体来说，我们从 FC 和 SC 中提取 LWCC。 通过随机游走嵌入增强的 MS-GCN 模型用于 EMCI 检测。 结果表明，增强感受野有利于提高检测性能。 我们的方法在 ADNI 数据集上取得了良好的结果，可以为 EMCI 的早期临床诊断提供有效的参考。 未来，我们将考虑更多样化的方法来构建大脑网络并设计更有效的网络模型（例如，图形生成对抗网络）。

13. Identification of early mild cognitive impairment using multi-modal data and graph convolutional networks

https://bmcbioinformatics.biomedcentral.com/articles/10.1186/s12859-020-3437-6

[144] J. Liu, G. Tan, W. Lan, and J. Wang, “Identification of early mild cognitive impairment using multi-modal data and graph convolutional networks,”BMC Bioinform., vol. 21, no. 6, pp. 1–12, 2020.

Liu et al. [144] processed multi-modal data, MRIand rs-fMRI, to identify EMCI. First, feature representation and multi-task feature selection are applied to each input.Then, a graph was developed using imaging and non-imaging(phenotypic measures of each subject) data. Finally, a GCNwas used to perform the EMCI identification task from theADNI dataset [145].

Liu等人[144]处理了多模态数据MRI和RFMRI，以识别EMCI。首先，将特征表示和多任务特征选择应用于每个输入。然后，使用成像和非成像（每个受试者的表型测量）数据绘制图。最后，使用GCN从ADNI数据集执行EMCI识别任务[145]。

摘要

早期轻度认知障碍 (EMCI) 是阿尔茨海默病 (AD) 的早期阶段，与大脑结构和功能变化有关，但其识别仍然是一项具有挑战性的任务。最近的研究表明，通过结合多种结构和功能特征（例如灰质体积和最短路径长度），有望提高 EMCI 识别的性能。然而，提取哪些特征以及如何组合多个特征来提高EMCI识别性能一直是一个具有挑战性的问题。为了解决这个问题，在本研究中，我们提出了一种使用多模态数据和图卷积网络 (GCN) 的新 EMCI 识别框架。首先，我们基于自动解剖标记 (AAL) 图集分别从每个受试者的 T1w MRI 和 rs-fMRI 数据中提取灰质体积和每个大脑区域的最短路径长度作为特征表示。然后，为了获得更有利于识别EMCI的特征，应用了一种通用的多任务特征选择方法。之后，我们使用每个受试者的成像和非成像表型测量构建一个未完全标记的受试者图。最后，采用 GCN 模型执行 EMCI 识别任务。

由于磁共振成像（MRI）可以在体内无创地测量与脑功能障碍发展相关的脑结构和功能变化，近年来被广泛应用于脑功能障碍的研究[3]，如AD/MCI[4, 5] ]、精神分裂症 [6、7] 和自闭症 [8]。因此，MRI 可以提供可用于诊断此类疾病的表型。 MRI 分为两大类：结构 MRI（例如 T1 MRI 和 T2 MRI）和功能 MRI（例如 rs-fMRI 和 ts-fMRI）。大脑结构通常使用结构 MRI 测量，它可以提供灰质和白质中相对高清的大脑结构。衡量大脑结构的指标有很多，其中大部分已广泛应用于MCI识别研究，如灰质体积、皮质厚度、纹理特性等[9-12]。大脑功能通常使用功能性 MRI 测量，它可以提供由神经元活动引起的血液动力学变化。大脑区域之间的功能连通性是衡量大脑功能的常用方法。此外，基于大脑区域和大脑区域之间功能连接的大脑网络已广泛用于各种大脑疾病研究中的特征表示。近年来，基于图论的脑功能分析在探索脑功能障碍的功能障碍方面显示出强大的作用，并被广泛用于MCI识别。

架构图

在本研究中，我们提出了一种使用多模态数据和图卷积网络的新 EMCI 识别框架，表示为 GCN-EMCI。首先，我们提取 GMV 和 SPL基于自动解剖标记 (AAL) 图集 [33] 的每个大脑区域分别作为每个受试者的 T1w MRI 和 rs-fMRI 数据的特征表示。然后，为了获得更有利于识别EMCI的特征，应用了一种通用的多任务特征选择方法。之后，我们使用每个受试者的成像和非成像表型测量构建一个未完全标记的受试者图。最后，采用最近的 GCN 模型来执行 EMCI 识别任务。

总结&讨论

在这项研究中，我们提出了一种使用多模态数据和图卷积网络的新 EMCI 识别方法。首先，我们对每个受试者的 T1w MRI 和 rs-fMRI 数据进行图像预处理和特征表示。然后，为了获得更有利于识别EMCI的特征，采用通用的多任务特征选择方法。之后，我们使用每个受试者的成像表型测量和非成像表型测量构建了一个受试者图。最后，应用 GCN 模型执行 EMCI 识别任务。来自 ADNI 数据库的 210 名受试者的实验结果表明，我们提出的框架对于 EMCI 识别是有效的。该方法为用于计算机辅助识别 EMCI 的判别成像标记铺平了道路。

14. Edge-variational graph convolutional networks for uncertainty-aware disease prediction

📎Edge-variational Graph Convolutional Networks.pdf

[31] Y. Huang and A. C. Chung, “Edge-variational graph convolutional networks for uncertainty-aware disease prediction,” inProc. Med.Image Comput. Comput.-Assist. Interv. (MICCAI), 2020, pp. 562–572.

Huang et al. [31] applied their edge-variational GCN (EV-GCN) method to the ADNI dataset for AD classification (thedata was prepared in the same manner as Parisot [98]). Inaddition, they applied their method on TADPOLE [146] whichis a subset of ADNI for classifying subjects into cognitivenormal, MCI, and AD. For TADPOLE, the authors constructeda graph by using the segmentation features inferred fromMRI and PET data, phenotypic data, APOE and FDG-PETbiomarkers. Their results on both datasets showed a highperformance in comparison to Parisot [98] and InceptionGCN [93].

Huang等人[31]将其边缘变分GCN（EV-GCN）方法应用于AD分类的ADNI数据集（该数据以与Parisot[98]相同的方式制备）。此外，他们将他们的方法应用于TADPOLE[146]，TADPOLE是ADNI的一个子集，用于将受试者分类为认知正常、MCI和AD。对于TADPOLE，作者通过使用从MRI和PET数据、表型数据、APOE和FDG PET生物标志物推断的分割特征构建了图。与Parisot [98]和InceptionGCN [93]相比，他们在两个数据集上的结果都显示出较高的性能。

摘要

人们越来越需要计算模型来补充利用不同模式的数据，同时研究受试者之间的关联，以进行基于人群的疾病分析。尽管卷积神经网络在图像数据的表征学习方面取得了成功，但这仍然是一项极具挑战性的任务。在本文中，我们提出了一个可推广的框架，该框架可以自动将人口中的图像数据与非图像数据集成起来，用于不确定性预警。其核心是具有变分边的可学习自适应种群图，我们在数学上证明了它与图卷积神经网络相结合是可操作的。为了估计与图拓扑相关的预测不确定性，我们提出了Monte-Carlo edge dropout的新概念。在四个数据库上的实验结果表明，我们的方法可以一致且显著地提高自闭症谱系障碍、阿尔茨海默病和眼部疾病的诊断准确性，表明其在计算机辅助诊断的多模态数据中的通用性。

基于多模式学习的方法通常通过疾病分类的深层神经网络总结所有模式的特征，这忽略了人群中受试者之间的相互作用和关联。图形提供了一种自然的方式来表示人口数据，并允许使用强大的工具，如用于疾病分析的聚类算法。

架构图

PAE：成对关联编码器

ED：边缘脱落

GC：图形卷积

融合：顶点串联

ui：受试者的预测不确定性

图中的颜色：绿色和橙色标记的诊断值（例如，健康或患病），灰色：未标记

总结&讨论

在本文中，我们提出了一种可推广的图卷积框架，以解决从多模态数据中学习用于疾病预测的挑战。与以前的方法不同，所提出的方法不手动设计相似的人口图，而是学习构造图连通性，该图连通性在数学上被证明可以使用GCN进行优化。所提出的Monte-Carloedge Dropout是第一次对GCN的图不确定性估计进行研究，并通过实验证明是有益的，但我们承认，在未来的工作中，这需要进一步的理论证明。大量实验结果表明，所提出的方法在大脑分析和眼部疾病预测方面具有优异的性能。此外，估计的预测不确定性允许检测用于临床干预的不确定样本，有助于更安全的深度学习辅助诊断系统。我们相信，这样一种可扩展的方法可以对更好地利用人群中的多模态数据进行临床计算机辅助诊断产生巨大影响。