BENDR for BCI : 多伦多大学研究者提出受BERT启发的深度神经网络学习​海量EEG 数据

从预测文本到智能语音控制，人机交互近年来得到了快速的发展。许多科学家设想下一个前沿领域是脑机接口(BCI)，直接的神经连接，利用脑电图(EEG)信号捕捉到的脑电活动。

为了开发能够更好地利用公开的大量 EEG 数据集用于下游 BCI 应用程序的深度神经网络 (DNN)，多伦多大学的三位研究人员提出了一种受 BERT 启发的训练方法作为BCI/EEG的自我监督预训练步骤。

在 BENDR: UsingTransformers and an Contrastive Self-Supervised Learning Task to Learn fromMassive Amount of EEG Data 一文中，研究人员表示将 DNN 用于 BCI 应用的原始 EEG 数据是一项具有挑战性的任务，需要从原始序列提取有用的特征，并对这些特征进行分类。用于 BCI 应用程序的 DNN 可能很难确定好的特征，因为个体本身的EEG 数据和个体之间的EEG数据通常存在很大程度的差异性，并且不同模型类型的分类性能可能存在很大差异。

用于构建 BENDR 的整体架构

大型语言模型(如BERT)可以在给定特定的环境时重建语言符号，并在自然语言处理方面产生了令人印象深刻的进步。多伦多大学的研究人员猜想:“能否利用单个样本而不是符号(即直接将BERT应用于原始脑电图)，在这种情况下开发EM[脑电图模型]?”尽管脑电图数据高度相关的性质似乎会阻碍这种适应，但研究小组认为可以通过类似的设计思想来学习插值方法。

他们采用自监督语音识别方法wav2vec 2.0，类似于 BERT 等掩码语言模型，以使用自监督训练目标来学习原始 EEG 数据信号的压缩表示。

wav2vec 2.0是一个强大的语音表示自监督学习框架。通过多层卷积神经网络对语音音频进行编码，然后掩蔽产生的潜在语音表示的范围，然后可以将这些范围反馈给transformer network以构建从整个序列中捕获信息的表示。

wav2vec 2.0整体流程

新提出的框架与wav2vec2.0非常相似，其中任意的EEG片段被编码为一个被称为BENDR (受 BERT 启发的神经数据表示)的学习特征向量序列。转换编码器将 BENDR 映射到包含目标下游任务有价值特征的新序列。

对于每个下游任务，使用传统的全监督训练(以一种留一/多主题的方式，见表1)来训练模型架构的六种不同排列。这里指出的是所使用的总体架构的一部分(参见图1)，以及训练前模型权重如何用于四向分类任务(其中有四个圆圈的矩形)。四个任务(左半部分)利用了模型权重，它们首先通过预训练开发的模型权重。这里所有的黄色模块都表示随机初始化的权重。颜色强度的变化(从训练前到训练后)表示进一步的训练，而增加的条形图表示在该训练阶段保持不变的权重，如下图。

研究人员提出，自监督序列学习可能是一种在 BCI 中开发和部署更复杂 DNN 的有效方法，因为该方法在使用未标记数据的条件下，从更多人和任务中学习的能力将能够更好地建模 EEG 数据输入分布，同时学习具有减少可变性的特征。

该团队在该框架内开发了一个预训练模型，该模型可以对不同硬件、跨不同受试者和下游任务记录的原始 EEG 序列进行建模，并提出这种方法可以生成适合大量未标记 EEF 数据和下游 BCI 应用程序的表征。

参考信息：

Kostas D ,  Aroca-Ouellette S ,  Rudzicz F . BENDR: using transformers and a contrastive self-supervised learning task to learn from massive amounts of EEG data[J].  2021.

https://arxiv.org/pdf/2101.12037.pdf

https://syncedreview.com/2021/02/22/bendr-for-bci-utorontos-bert-inspired-dnn-training-approach-learns-from-unlabelled-eeg-data/

排版：羽化

文章仅用于学术交流，不用于商业行为，