多模态神经网络MMNN 多模态神经影像技术

转载

数据小探 2024-01-20 22:48:36

文章标签 多模态神经网络MMNN matlab 神经影像数据交叉验证 文章分类 神经网络人工智能

在过去的十年中，多变量模式分析的使用在功能磁共振成像 (fMRI) 研究中变得流行。这并不奇怪，因为 MVPA 与传统且更常用的单变量分析相比具有几个优势。首先，MVPA 可以比单变量方法在区分感兴趣的条件方面提供更高的灵敏度，因为它考虑了体素活动的模式，这些模式可能在条件之间表现出微弱但一致的差异。其次，它允许对个体内部和跨个体、成像方式和物种的潜在神经表征进行推断。

虽然 MVPA 已成为 fMRI 的一种流行技术，但很少有报道将其应用于脑磁图和脑电图。M/EEG 数据
得益于比 fMRI 更高的时间分辨率数据，它允许识别神经相关性具有高精度的时间维度。特别是时间泛化方法为研究不同的神经群体，如何随着时间的推移对实验条件进行编码提供了一个明确的途径。

为了解决这一差距，我们提出了一种方法，可用于使用适用于 fMRI 和 M/EEG 数据的 MVPA 来回答假设驱动和数据驱动的神经影像学问题。它使用简单但功能强大的数据结构和模块化方法，以便可以组合不同的模块来构建复杂的分析管道。对于数据驱动的方法，它提供了一个通用的探照灯，用于定位跨体素、表面节点、M/EEG 通道、时间间隔和频率间隔的效果，以及它们的组合。为了防止 1 类错误，它支持最先进的无阈值集群增强和基于蒙特卡洛的置换测试来纠正多重比较。

已经提出的神经影像分析的框架至少应具有以下五个特征：

直观的用户界面
可扩展性
可移植性
开源软件

分析示例

这些示例演示了常见的 MVP 分析，例如分类、相关性、代表性相似性分析和时间泛化方法。这些示例是基于真实的 fMRI 和 M/EEG 数据。

分类

我们第一个例子的数据来自一个 fMRI 实验，其中一个参与者在不同的区块中按下食指和中指。该实验进行了四次运行，每次运行每个手指有四个块。使用 AFNI (Cox, 1996) 中的一般线性模型对数据进行预处理和分析，得到每个块的 t 统计量。用户必须指定的“成分”是 AFNI 神经影像数据文件的文件名、块（即采集运行编号）和目标（指定在每个块期间按下哪个手指）。然后，分类分析需要指定交叉验证度量、分类器和分区方案。对于基于表面的分析，所需的附加信息包括用于描绘灰质的表面和在每个探照灯中选择的体素数量。

% Load AFNI data.
% (Also supported: BrainVoyager, NIFTI, ANALYZE,
and SPM)
data_fn='glm_T_stats_perblock+orig'
targets=repmat(1:2,1,16)'; % class labels: 1 2 1
2 1 2 1 2 1 2 ... 1 2
chunks=ceil((1:32)'/8); % run labels: 1 1 1
1 1 1 1 1 2 2 ... 4 4
ds = cosmo_fmri_dataset('glm_T_stats_perblock+
orig','targets',targets,'chunks',chunks);

为了使用分类器运行交叉验证，交叉验证措施使用了一个取一次用的交叉验证和一个 LDA 分类器。度量和分类器都使用函数句柄指定；如其他示例（如下）所示，可以通过指定另一个函数句柄来使用不同的度量或分类器。

表征相似性分析

ds = fmri_dataset('glm_tstats.nii',...
'mask','brain_mask.nii',...
'targets', (1:6)',...
'chunks', 1);

behaviour_dissimilarity = ...
[ 0 0.10 1.05 1.10 1.68 1.75 ;
0.10 0 1.04 1.05 1.70 1.76 ;
1.05 1.04 0 0.39 1.54 1.46 ;
1.10 1.05 0.39 0 1.47 1.40 ;
1.68 1.70 1.54 1.47 0 0.16 ;
1.75 1.76 1.46 1.4 0.16 0 ];