脑机接口中的流形嵌入知识迁移学习 / 开普饭

更多技术干货第一时间送达

关于迁移学习应用在脑机接口领域，前面我们分享过伍冬睿教授团队的《华中科技大学伍冬睿教授：非侵入式脑机接口中的迁移学习综述（2016-2020）》

迁移学习利用一个问题中的数据或知识来帮助解决另一个不同但相关的问题。它在脑机接口(BCIs)中特别有用，可以用于处理不同学科和/或任务之间的差异。研究人员考虑了离线无监督多受试者脑电图(EEG)分类，即已经对一个或多个源受试者进行了标记脑电图试验，但只对目标受试者进行了未标记脑电图试验。研究人员提出一个新颖的流形嵌入知识迁移方法(MEKT), 该方法首先在黎曼流形中对齐EEG试验的协方差矩阵，提取切空间中的特征，然后通过最小化源之间的联合概率分布转变源和目标域,同时保留其几何结构。MEKT可以处理一个或多个源域，可以有效地计算。针对存在大量的源域问题，研究人员提出了一种域可迁移性估计(DTE)的方法来识别最有利的源域。

迁移学习

近年来，脑机接口技术在辅助医疗、智能感知、人机交互等领域得到了广泛的应用。和图像、视频、文本等数据不同，脑机接口中采集的脑电数据往往来自不同个体，个体之间的差异导致数据分布存在较大差异，传统机器学习算法较难进行跨用户学习；此外，单独为某个用户收集大量带标注数据不仅耗时，而且会影响用户体验。迁移学习是解决这些难题的一个可行思路。

不同人之间对于同样的任务或者外在刺激存在不同的反应，但是对于同样的任务和同样的特征提取过程，迁移学习可以利用已有带标注数据辅助新用户学习，主要原理为对齐个体之间的分布差异，使得源用户中的模式或者知识能够迁移到新用户上，从而实现在新用户不打标、或者标注少量数据的情况下实现较好的任务学习。

为实现上述目标，研究人员提出了一种应用于脑机接口的流形嵌入知识迁移方法 (MEKT)，以解决针对脑机接口中迁移学习的三个重要问题：

如何对数据预处理，使得不同用户的数据可以联合训练？
如何借鉴图像领域的迁移学习思想，解决个体差异问题？
如何选择和新用户相关的源域，以减小运算代价？

流形嵌入知识迁移方法的主要原理图如下：

首先提出了一种中心对齐的方法，在黎曼流形上进行数据的预对齐。我们详细证明了该对齐方法的两个性质：减小分布差异和数据白化。
然后将数据投影到切空间上。切空间上特征维度较高，可以通过特征变换进行分布的进一步对齐，因此在我们在切空间上提出了一种新的基于联合概率分布对齐和数据结构保持的知识迁移方法。
最后针对多个源用户的情况，我们提出了一种域的可迁移性的估计方法，以实现对多源域迁移情况下的迁移性估计和多源域选择。

上图为MEKT的原理图。正方形和圆形代表不同类别的示例。不同的颜色代表不同的域。首先将所有域在黎曼流形上对齐，然后映射到切空间上。A和B分别是源域和目标域的投影矩阵。

下面为流形嵌入知识迁移方法的算法伪代码，

无论使用黎曼均值、欧几里得均值或对数-欧几里得均值作为参考矩阵，CA使对齐的协方差矩阵近似单位矩阵。为了说明这一点，下图给出了MI2中受试者1第一次EEG试验的原始协方差矩阵，以及不同参考对齐后的协方差矩阵。原始协方差矩阵与恒等矩阵相差不大，但经过CA后，协方差矩阵近似恒等，因此对应的EEG试验近似白化。

原始协方差矩阵(试验1、受试者1、MI2)和CA后的协方差矩阵使用不同的参考矩阵

下图显示了MI2中不同数据对齐方式前后将受试者2的数据迁移到受试者1的结果。在CA之前，源域和目标域的样本完全不重叠。CA后，两组样本均值相同，方差不同。CA-GFK和CA-JDA使得源域样本的方差和目标域样本的方差近似相同，但仍不能很好地分离不同类别的样本。

MEKT-R不仅使源域样本和目标域样本的总体分布一致，而且使来自两个域中同一类的样本接近，这将有利于分类。

在MI2中，将Subject 2的数据(源)迁移到Subject 1(目标)时，

在CA前后以及使用不同迁移学习方法时的数据分布的t-SNE可视化。

作者使用提出的方法成功被应用到运动想象、事件相关电位等多种范式在内的脑机接口系统，并与早期的欧式空间对齐（EA）和公开的黎曼对齐（RA-MDM）、以及为了验证切空间知识迁移而引入的图像迁移领域主流的 SOTA 模型 JDA、 JGSA 等方法对比，实验结果表明我们的算法显著优于上述基线，且具有较低的时间复杂度；此外，提出的源域选择方法可以实现在性能降低尽量小的前提下提高运行速度近两倍。

研究人员表示，未来的工作将会专注于脑机接口中的在线迁移学习方法。因为多数的脑机接口任务对实时性要求较高，数据是在线得到的，因此设计轻量且高效的分类迁移以及回归迁移学习算法具有更大应用价值。

本工作由华中科技大学人工智能与自动化学院博士生张稳和伍冬睿教授共同完成。

上述部分内容来源伍冬睿教授网站，部分内容由Rose整理。

http://faculty.hust.edu.cn/drwu/zh_CN/index.htm

论文信息：

Manifold Embedded Knowledge Transfer for Brain-Computer Interfaces

更多阅读