2019 年度论文周报大汇总 / 开普饭

更多技术，第一时间送达

第1期

脑机接口面临的一个重大挑战：如何处理个体差异，以便在不需要或不需要特定对象数据的情况下，获得更好的学习效果？

方法：我们提出了一种新的方法，在欧几里德空间中对来自不同受试者的脑电实验进行比对，使它们更加相似，从而提高新受试者的学习性能。

该方法有三个优势：

1）它直接在欧几里德空间中对齐脑电试验，然后任何信号处理、特征提取和机器学习算法都可以应用于对齐的试验；

2）它的计算成本非常低；

3）无监督，无需要新对象的任何标签信息。

结果：在运动图像分类和事件相关电位分类的离线和模拟在线实验中，该方法优于最新的黎曼空间数据对准方法和几种没有数据对准的方法。

结论：提出的欧几里德空间脑电数据对齐方法可以极大地促进脑机接口系统的迁移学习。

论文地址：

https://ieeexplore.ieee.org/document/8701679

导读：

对于提供用户连续位置控制的脑机接口（BCI），性能指标或评估任务几乎没有标准化。菲茨定律(Fitt's Law)是一个候选指标，该定律已用于描述一系列计算机界面上的目标运动，最近已被应用于BCI任务。对已有的研究回顾，我们发现了Fitts定律的两个基本问题：其预测性能脆弱，并且不支持根据模型估算”信息传输率”。论文的主要贡献是在BCI背景下，对Fitts定律的替代模型进行了适应和验证。论文中证明了香农-威尔福德模型(Shannon–Welfordmodel)的性能优于Fitts定律，当目标距离和宽度对难度造成不成比例的影响时，该模型具有很强的预测能力。

论文地址：

https://ieeexplore.ieee.org/document/7502071/

导读：

论文中假设观察到不同类别的视觉刺激会触发不同的大脑状态，这些状态可以从无创脑电图记录中解码出来。作者引入了一种有效的闭环BCI系统，该系统可以从同时出现的脑电波参数重建观察到或想象得到的刺激图像。重建后的图像作为视觉反馈呈现给对象。该开发的系统适用于训练BCI初学者，因为它采用了用户友好且直观的方式来利用视觉模式来改变大脑状态。

神经反馈模型的一般模式

图像解码器（ID）是图像卷积自动编码器模型的一部分。编码器部分基于预训练的VGG-11模型。解码器部分由一个全连接的输入层组成，用于增强尺寸，然后是5个反卷积块，每个块都包含一个反卷积层，然后激活采用ReLU。最终的反卷积块包含双曲正切激活层。解码器产生192x192x3维的彩色图像，如下图。

图像编码器的网络模型

论文地址：

https://www.biorxiv.org/content/10.1101/787101v1

第2期

基于脑电和特征加权阶段训练的驾驶员疲劳状态估计

该研究基于脑电信号（EEG）的疲劳驾驶检测。论文考虑一个非常实用且非常具有挑战性的场景：没有关于新用户的任何EEG数据（有标签的或无标签的），但是希望通过老用户的带标注的EEG数据来建立一个模型，对新用户实现即插即用的疲劳程度估计。

该论文将ET从分类扩展到回归，并将其应用于基于EEG的驾驶员睡意估计中。论文的主要贡献是：

1）提出了一种特征加权(FW)方案，该方案通过考虑不同脑区的重要性，自动为每个特征分配权重。

2）将[1]中的ET从分类扩展到回归，并对其进行简化，在不牺牲泛化性能的前提下降低了计算成本。

3）我们将FW和ET集成到一个单独的学习框架中，即特征加权情景训练(FWET)，以获得比单个模块更好的泛化性能。

FWET方法示意图如下：

在15个用户数据上，论文中的方法与其他方法的实验结果比较如下：

（a）困倦状态和警戒状态的地形图之间的差异。

（b）每个PSD特征和DI之间的皮尔逊(Pearson)相关系数

论文是由华中科技大学伍冬睿教授团队发表于

IEEE Trans. on Neural Systems and Rehabilitation Engineering

论文地址：

https://arxiv.org/abs/1909.11456

第3期

基于深度信念网络的脑电图情感分类

近年来，在使用深度网络进行无监督的数据特征学习方面取得了巨大的成功，特别是对于图像和语音。在该论文中，作者引入了深度学习模型来对基于脑电数据的情绪(积极和消极)进行分类。论文从多通道脑电图中提取的差分熵(Differential Entropy, DE)特征作为输入,训练深度信念网络(Deep Belief Network, DBN)。并且结合隐马尔可夫模型(HMM)作为辅助方法来获取更可靠的情感转换状态。论文中并比较了深度网络模型、KNN、SVM和图正则化极限学习机(GELM)的分类性能。在实验中，DBN-HMM，DBN，GELM，SVM和KNN的平均识别率分别为87.62％，86.91％，85.67％，84.08％和69.66％。实验结果表明，与当时的情绪分类方法相比，DBN和DBN-HMM模型提高了基于EEG的情绪分类的准确性。

下图为论文中构建的5种基于脑电的情绪分类方法，它们分别从多通道EEG数据中提取特征，训练分类模型。

利用差分熵提取特征

差分熵扩展了香农熵的思想，并用于测量连续随机变量的复杂性。研究表明，对于固定长度的脑电信号，差分熵等效于某个频带内的对数能量谱。所以可以在五个子频带(δ: 1-3Hz, θ: 4-7Hz, α: 8-13Hz, β: 14-30Hz, γ: 31-50Hz)中计算差分熵。

由于脑电数据在高频能量上具有较高的低频能量，DE因而具有区分低频和高频能量脑电图的平衡能力。在特定的EEG序列中，使用一个1s长的非重叠Hanning窗和一个包含512个采样点的短时傅里叶变换来提取原始脑电信号的五个频带信号，并计算每个频带的差分熵。

分类器

深度信任网络(DBN)是一种具有深度结构的概率生成模型。它是通过将预定义的受限Boltzmann机(RBM)堆叠在一起构建的，其中较低级别RBM的输出是较高级别RBM的输入，结构如下图所示，采用一种有效的贪婪逐层算法对每一层网络进行预训练。

实验数据与结果

选择一些带有特定情感的电影片段来帮助受试者产生需要的情感状态。总共有12个片段(6个带有积极情绪，6个带有消极情绪), 每个片段持续时间约为4分钟。

共有6名受试者(3名男性，3名女性)参与了该实验，每名受试者参与实验2次，2次实验之间间隔一周以上。[受试者视力正常或矫正视力正常和听力正常]

上图为单次实验的DE特征图，如图所示，高频振荡反映了积极和消极任务下脑电信号的不同响应模式，这有助于情绪识别。

下图为不同分类器在不同频带上的分类精度。从图中可以看到，论文提出的方法在Gamma和Beta频段的表现比其他频段更好。

下表列出了6位受试者得到的实验数据在不同分类器和不同频带条件下的识别结果。KNN，SVM，GELM，DBN和DBN-HMM的精度平均值和标准偏差分别为69.66/19.80，84.08/9.66，85.67/9.37，86.91/7.62，87.62/7.48。

从表中可以看到，DBN-HMM和DBN模型比其它分类模型具有更高的平均准确度和更低的标准偏差。从表的平均精度和标准偏差可以看出，GELM在低频特征方面的表现优于其它分类器，DBN在高频特征和综合所有频率特征方面表现更好。

论文地址

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6890166&tag=1

第4期

在这篇文章中，作者使用机器学习方法研究了情感识别过程中脑电图（EEG）随时间变化的稳定模式。本论文专注于识别情绪识别中的脑电图稳定性，并使用DEAP数据集和SEED数据集，系统地评估了各种常用的特征提取、特征选择、特征平滑和模式分类方法的性能。具有微分熵特征的判别图正则化极值机器学习在DEAP和SEED数据集上分别达到69.67％和91.07％的平均准确度。实验结果表明，稳定的模式在不同时段表现出一致性。在β和γ谱带中，外侧颞区对积极情绪的激活程度比消极情绪的激活程度更多；中性情绪的神经模式在顶叶和枕叶部位具有较高的alpha响应；对于负面情绪，神经模式在顶叶和枕叶部位具有明显较高的delta响应，在前额叶部位具有更高的gamma响应。本论文中的情绪识别模型的性能表明，神经模式在会话内和会话间是相对稳定的。

该论文在情绪识别中的主要贡献：

1.开发了一个新的基于EEG的情绪数据集SEED;

2.论文在DEAP和SEED数据集上，对不同的特征提取、特征选择、特征平滑和模式分类方法进行了系统的比较和定性评价；

3.论文采用discriminative Graph regularized Extreme Learning Machine (GELM)去确定稳定模式和用交叉会话计划评估情绪识别模型的稳定性。

SEED数据集

15名受试者(7男，8女)；实验要求：每个受试者进行三次实验，每次实验间隔一周，每次实验有15次试验。

论文方法阶段包括：特征提取、特征平滑、降维、分类

特征提取

论文中选择了如下六种特征进行了处理，并对使用了如下的波段。使用的电极位置如上图。

特征平滑

论文中假设情绪状态是在一个连续的空间中定义的，并且情绪状态是逐渐变化的。该论文的方法侧重于跟踪脑电图随时间变化的情绪状态。该方法将情绪变化的动态特征引入到情绪识别中，并研究观察到的脑电图是如何从隐藏的情绪状态产生的，并应用应用线性动态系统(LDS)方法滤除与情绪状态无关的成分。

降维

由于提取的特征可能和情绪状态无关，会导致分类器的性能下降。因此在研究中，论文中比较了两种常用的方法:主成分分析(PCA)和最小冗余最大关联(MRMR)算法。

比较的结果是：PCA虽然可以降低特征维数，但不能保留变换后的信道、频率等原始域信息。因此，选择MRMR算法从初始特征集中选择一个特征子集。MRMR算法使用互信息作为关联度量，最大依赖准则和最小冗余准则。

分类

将提取的特征输入到传统模式分类器(k近邻(KNN)、logistic回归(LR)、支持向量机(SVM)), 以及新设计的模式分类器，判别图正则化极限学习机(GELM)，构建情感识别系统。

实验

论文中将该方法在两种数据集(DEAP和SEED)上进行了试验

在DEAP数据集中的试验：

论文首先提取论文首先提取32通道脑电图数据的PSD、DE、DASM、RASM、ASM和DCAU特征。对DEAP数据集中的原始脑电图数据进行预处理，降采样至128Hz，频带通滤波至4.0~45.0 Hz，去除EOG伪影。论文中提取了四个频段的特征:theta: 4-7 Hz,alpha: 8-13 Hz, beta: 14-30 Hz, gamma: 31-45 Hz。利用线性动态系统方法进一步平滑特征。并选择SVM和GELM作为分类器。在本研究中，作者使用具有线性核的SVM分类器，并将GELM的隐含层神经元数量固定为输入维数的10倍。实验中均采用五倍交叉验证，下表是支持向量机和GELM分类器对不同特征的平均正确率(%)

在SEED数据集上的试验：

下图展示了从五个频带（δ、θ、α、β和γ）提取的六个不同特以及这五个频带的直接连接征的GELM分类器的平均精度。结果表明，从γ和β频段获得的特征比从其他频段获得的特征表现得更好，这意味着大脑活动的β和γ振荡与这三种情绪状态的处理比其他频率振荡相关性更高。

所有参与者和不同情绪阶段的平均神经模式，这表明确实存在与积极，中性和消极情感相关的神经特征。在β和γ谱带中，外侧颞叶区域对积极情绪的激活要多于消极情绪。尽管中性情绪的神经模式与负性情绪的神经模式相似，两者在颞区的激活程度都较低，而中性情绪的神经模式在顶叶和枕叶部位具有较高的α响应。负性情绪模式在顶叶和枕叶部位具有明显较高的δ反应，在前额叶部位具有较高的γ反应。

论文研究了论文提出的情绪识别模型在参与者和会话中的稳定性，并发现该模型在参与者和会话中的性能比单个实验差。希望在一组参与者或会话的脑电图数据上训练模型，并对来自其他未见参与者或会话的新数据进行推理。然而，这在技术上是困难的，因为参与者之间的个体差异与脑电图测量的固有变异性，如环境变量。不同的情绪有一些共同的神经模式，但是对于不同的参与者和不同的会话，它们仍然包含着一些个体差异，这可能导致潜在的概率分布在参与者与参与者之间或会话与会话之间发生变化。这就是为什么在每个参与者或会话上训练和测试的分类器的平均准确率要远远高于在一组参与者或会话上训练和测试的分类器的平均准确率。

论文实验结果表明：与积极、中性和消极情绪相关的神经信号和稳定的脑电图模式确实存在。

论文地址：

https://ieeexplore.ieee.org/document/7938737

第5期

基于典型相关分析和高斯混合聚类的脑电信号实时增强

作者团队：悉尼理工大学、台湾新竹国立交通大学

导读：脑电图（EEG）信号通常被各种伪影所污染，例如与肌肉活动，眼球运动和身体运动相关的信号。这种伪影的振幅大于大脑电活动的振幅，因此它们掩盖了感兴趣的皮层信号，导致分析和解释出现偏差。该论文提出了一种基于典型相关分析（CCA），特征提取和高斯混合模型（GMM）的实时伪影去除算法，以提高EEG信号的质量。使用CCA将EEG信号分解为多个分量，然后进行特征提取以提取代表性的特征，并使用GMM将这些特征聚类为组以识别和去除伪影。有效地消除脑电图记录中眨眼，头部/身体移动和咀嚼引起的伪影，同时保留对认知研究有重要意义信号的时间和频谱特征。

论文地址：

https://www.hindawi.com/journals/jhe/2018/5081258/

脑电情绪识别：脑功能连接网络与局部激活信息结合

导读：

情绪状态的转变通常会激活脑电功率谱的变化。研究发现，不同的情绪状态造成的脑电图波谱的差异在脑电 α 频带较为明显，且易于捕捉。情感反应也与不同大脑区域之间的波谱变化有关。故而，不同脑区脑电图波谱的变化能够预测受试者不同的情绪状态。

由于激活模式可以捕捉被试在感受不同情绪时大脑各个区域之间的功率差异，而不同大脑区域之间的连接模式则可以表现大脑进行情感处理时的信息交互过程。该论文构建了一种具有相位锁定值的情绪相关脑网络，采用多特征融合方法将补偿激活信息与连接信息相结合进行情绪识别，以提高情绪识别的能力。

特征选择过程

激活模式主要反映被试者在不同情绪状态下的能量差异。论文主要研究了功率谱密度(PSD)，微分熵(DE)，DASM，RASM，ASM，DCAU 这六个能量特征分布在不同情绪下的表现，如下图所示。从图中可以看到 beta 和 gamma 频段产生了显著差异。

论文地址：

https://ieeexplore.ieee.org/document/8634938

第6期

导读：脑机接口（BCI）使用神经活动作为控制信号，实现与计算机的直接通信。这种神经信号通常是从各种研究透彻的脑电图(EEG)信号中挑选出来的。卷积神经网络（CNN）主要用来自动特征提取和分类，其在计算机视觉和语音识别领域中的使用已经很广泛。CNN已成功应用于基于EEG的BCI；但是，CNN主要应用于单个BCI范式，在其他范式中的使用比较少，论文作者提出是否可以设计一个CNN架构来准确分类来自不同BCI范式的EEG信号，同时尽可能地紧凑（定义为模型中的参数数量）。该论文介绍了EEGNet，这是一种用于基于EEG的BCI的紧凑型卷积神经网络。论文介绍了使用深度和可分离卷积来构建特定于EEG的模型，该模型封装了脑机接口中常见的EEG特征提取概念。论文通过四种BCI范式(P300视觉诱发电位、错误相关负性反应(ERN)、运动相关皮层电位(MRCP)和感觉运动节律(SMR))，将EEGNet在主体内和跨主体分类方面与目前最先进的方法进行了比较。结果显示，在训练数据有限的情况下，EEGNet比参考算法具有更强的泛化能力和更高的性能。同时论文也证明了EEGNet可以有效地推广到ERP和基于振荡的BCI。

网络结构图如下：

实验结果如下图，P300数据集的所有CNN模型之间的差异非常小，但是MRCP数据集却存在显著的差异，两个EEGNet模型的性能都优于所有其他模型。对于ERN数据集来说，两个EEGNet模型的性能都优于其他所有模型(p < 0.05)。

如下图每个模型的P300，ERN和MRCP数据集的分类性能平均为30倍。对于P300和MRCP数据集，DeepConvNet和EEGNet模型之间的差异很小，两个模型的性能均优于ShallowConvNet。对于ERN数据集，参考算法（xDAWN + RG）明显优于所有其他模型。

下图是对EEGNet-4,1模型配置获得的特征进行可视化，

（A）每个空间过滤器的空间拓扑。

（B）每个滤波器的目标试验和非目标试验之间的平均小波时频差。

下图中第一排是使用DeepLIFT针对MRCP数据集的三个不同测试试验，对使用cross-subject训练的EEGNet-8,2模型进行的单次试验脑电特征相关性：（A）高可信度，正确预测左手运动;

（B）高可信度，正确预测右手运动;

（C）低可信度，错误预测左手运动。

标题包括真实的类别标签和该标签的预测概率。

第二排是在两个时间点的相关性空间分布图：按钮按下后大约50毫秒和150毫秒。与预期的一样，高可信度试验显示出分别对应左（A）和右（B）按钮对应的对侧运动皮层的正确相关性。对于低置信度的试验，可以看到相关性更加混杂且分布广泛，而运动皮质没有明确的空间定位。

第7期

本论文在大规模的人类ECoG记录的基础上，提出了一种基于大脑皮层区域在时空微状态下的概率共激活的功能网络分割的新方法，揭示了一种由任务和休息大脑共享的大规模皮层网络的概率和频率特异性耦合机制。

基于静息fMRI信号慢波动的相关性，已经建立了大规模的皮层网络模式。然而，皮层网络的电生理机制仍有待阐明。通过大规模的人类ECoG记录，论文中提出了一种基于大脑皮层区域在时空微状态下的概率共激活的功能网络划分的新方法。通过皮层电刺激（ECS）和体感诱发电位记录对分离的网络进行了验证，结果表明其准确性明显高于传统的长期相关方法。这为支持皮层网络的动态本质提供了直接的电生理学证据。进一步的分析表明，大脑范围内的连接可能是建立在ECoG功率包络的耦合上，其公共载频范围从alpha到低beta(8-32Hz)。而且在这个特定频率上的皮层网络模式在不同的任务中被发现是一致的，这类似于静息的网络。上述功能网络分割与功能核磁共振静息网络图谱在个体中的高度相似性也表明，自发性BOLD信号的电生理基础是带限神经振荡的慢功率-包络耦合。本论文的主要工作是关于直接人类记录的发现揭示了一种由任务和静息大脑共享的大规模皮层网络的概率和频率特异性耦合机制。

上图为随时间变化的连接模式到微观状态的时间聚类。

(A)从示范性患者的ECoG电极提取的功率包络线在时间窗口内具有不同的相关结构。

(B)短时间段(5s)有限频带ECoG信号的成对相关矩阵。

(C)将每个相关矩阵的下三角矩阵重塑为向量。所有的向量都被组装成代表大脑宽电极的时变连通性的时空模式。

(D)根据短时间片段的矢量化相关矩阵，时空模式在时间上聚集成10个电生理微状态(EMS)。

(E) 平均每个ECoG电极对在微状态下的相关性，构成平均相关矩阵，然后在空间上聚集成五个子网络。

(F)十个EMSs的平均配对相关模式，按它们与整体配对相关模式的一致性值排序。

下图为基于CAP的功能网络划分验证。

(A)使用静息ECoG的CAP方法进行皮层网络划分，并通过皮层电模拟(ECS)和体感诱发电位(SSEP)定位皮层区域。ECS/SSEP映射中的蓝点(左列)表示负电极，黄色点表示正电极。在parcellation mappings(右列)中，具有相同颜色的电极位于相同的功能网络中，黄色表示与ECS/SSEP结果相对应的网络。

(B)由S5的ECS(黄色星号表示)识别的手和舌区域的两个示例电极所播撒的co-activation probability (CAP)值。两个功能网络内外的电极分别为黄色和深蓝色。网内电极表现出较强的CAP值和相似的功率包络波动。

(C)功能网络分割的敏感性、特异性和准确性。使用ECS和SSEP评估9例ECS/SSEP定位患者的静息ECoG功能分块的准确性。CAP-parcellation的效果明显高于permutation test (*P< 0.05，***P < 10 6，单侧t检验)。

(D)使用CAP和PEC方法进行功能网络划分的准确性比较。CAP法的划分精度高于PEC法(*P < 0.01，单侧t检验)，且两种方法比permutation test更好。

(E) CAP和PEC方法的受试者可靠性是通过比较在同一患者中使用两个独立的静息时段的分割结果来测量的。CAP方法的可靠性显著高于PEC (*P < 0.001，单尾t检验)。

论文地址：

https://www.sciencedirect.com/science/article/pii/S1053811919309541

第8期

导读

基于运动想象(Motor Imagery, MI)的脑机接口(BCI)分类存在的主要问题之一是由脑信号中伪影和非平稳性的干扰引起的信息模糊性。其他包含错误标记或误导性运动想象脑电图试验的因素也可能导致训练数据集中存在不确定性，从而导致分类性能下降。该论文提出了一种新的基于多类运动想象EEG的BCI分类方法。针对伪影干扰，提出了一种基于AR-CSP的特征提取方法。并介绍了一种基于自调节自适应共振理论的神经模糊分类器--自调节监督高斯模糊自适应系统(SRSG-FasArt)。为了更有效地处理不确定性，论文中提出了一种基于元认知自调节的学习算法。该算法优先捕获训练数据样本，通过扫描数据模式和所创建规则中存在的知识内容，自动创建、升级或删除模糊规则。该机制提高了SRSG-FasArt的泛化能力，防止了训练过度。实验数据是：BCI竞赛IV数据集2a。利用该数据集对AR-CSP和SRSG-FasArt提出的协作框架的性能进行了评估。实验结果表明，与现有框架相比，该论文提出协作框架BCI分类器，分类效果更准确、更有效。

论文的主要贡献有3点：

1)将眼部和面部肌肉伪影作为脑电图记录中最常见的污染原因，提出了一种剔除伪影的CSP (AR-CSP)特征提取方法。AR-CSP有效地降低了二分类MI任务中工件的影响。AR二分搜索CSP(AR-BCSP)也应用于处理多类识别。

2)论文提出了一种自调节监督高斯FasArt(SRSG-FasArt)来对所导出的特征进行分类。为了更加有效地处理非平稳性问题，在FasArt模型的基础上，利用双边高斯模糊MFs建立了神经模糊SRSG-FasArt框架。并设计改进的模型结构来提高模型的增量学习能力和降低过度训练的可能性。

3)针对SRSG-FasArt提出了一种基于元认知的自调节学习算法，该算法能够更有效地处理由于训练模式不当和错误标记所带来的不确定性。提出的元认知学习算法提高了泛化能力，减少了类别扩散和过度训练问题。

SRSG-FasArt结构图

二叉搜索分类一般通过将每个簇分层分成两个簇来解决多类分类问题，直到得到一个类[1]的簇。下图给出了AR-BCSP的树应用表示。在AR-BCSP中，首先计算一个基本的AR-CSP过滤，将四个类分成两个主要的簇，每个簇包含两个主要类。然后计算另外两个AR-CSP过滤器集，以对每个主要集群中的两个主要类进行分类。从图中可以看出，AR-BCSP需要计算3个AR-CSP过滤器组。在分类过程中，只需要两个滤波器组就可以对每个试验的脑电图数据进行分类，完成四分类问题。