Nature封面：脑机接口重大突破！意念手写字速度破纪录！

近日，由斯坦福大学、霍华德·休斯医学研究所(HHMI)、布朗大学等机构的科研人员联合研究，该研究首次从脑电信号中解码手写字母的动作，使瘫痪人士意念中的写字动作可以实时转换成屏幕上的文字。

该项研究结果显示意念写字速度破纪录，写字速度能达到每分钟90个字符，原始准确率为94.1%。利用计算机通用自动校正功能，内容正确率进一步提高到99%以上。远超其他脑机接口的意念写字速度。

斯坦福大学的研究者将人工智能与“脑机接口”的设备相结合，成功开发出一套全新的皮质内脑机接口系统。研究人员将该设备被植入患有全身瘫痪的患者脑中，利用大脑运动皮层的神经活动可解码 “手写” 笔迹，使用递归神经网络(RNN)算法解码来自设备获取的脑电信号，该设备可以将患者大脑中的意念快速转换为计算机屏幕上的文本。

之前的研究已经实现了利用脑机接口控制计算机光标进行点选式打字，只是打字速度十分受限，每分钟最多40个字符左右。

据研究人员表示，该项研究是 BrainGate脑机接口项目临床试验的一部分，该项目旨在帮助那些失去肢体的人，比如患有肌萎缩性侧索硬化症(ALS)或脊髓损伤的患者等。

实验中有一位 “T5” 的参与者，在 2007 年由于脊髓损伤几乎失去了颈部以下的所有活动能力，手部动作只有抽搐和微动。

在实验中，研究人员在 T5 的左侧大脑植入了两个脑机接口芯片，每一个芯片都有 100 个电极，负责接收运动皮层神经元发出的生物电信号，运动皮层是控制手部运动的区域，这些神经信号通过电线发送到计算机，利用RNN解码信号并预测参与者 T5 的手部和手指的预期运动。

植入大脑的微型电极阵列

大多数关于人类如何使用工具的大脑机制的研究都集中在人们看到工具或手的图像时记录的大脑活动，而不是在人们使用工具进行实际手部运动时的大脑活动。在使用工具时记录大脑活动具有非常大的挑战性，因为核磁共振成像(MRI)扫描仪内部的空间很小，参与者需要保持静止不动。

在2017年的研究中，三名肢体瘫痪的参与者(包括T5)[均将BCI置于运动皮层中]被要求专注于使用手臂和手在计算机屏幕上将光标从一个键移动到另一个键键盘显示，然后专注于单击该键。

在这项研究中，T5创造了迄今为止的最高记录:以每分钟40个字符的显示出句子。另一名研究参与者能够以每分钟24.4个字符的速度随意选择她想写的词。

如果说2017年研究的模式类似于打字，那么《自然》杂志的最新研究的模式类似于手写。尽管他的手臂或手不能动， T5专注于尝试用假想的笔写出字母表中的单个字母。他把每个字母重复10次，让软件“学习”识别与他努力写那个特定字母相关的神经信号。

在随后的多个小时的测试中，向T5展示了几组句子，并指示他们在大脑中以“手写”每个句子。随着时间的流逝，这些算法提高了它们区分具有典型特征的神经放电模式的能力。在大约半秒钟的延迟之后，计算机屏幕上出现了算法对T5尝试写的任何字母的解码结果。

为了评估手写的神经表征，参与者 T5 需要按照电脑屏幕给出的指令，一次 “手写” 一个字符，每个字母重复 27 次试验。

受试者的 “手写” 笔迹

研究人员首先借助主成分分析来显示包含最多方差的前三个神经维度特征。

由于神经活动的高峰和低谷因时间有所不同，可能由于书写速度的波动，神经活动似乎是强烈和可重复的。为了直观地观察笔迹尝试过程中记录的神经活动，研究人员使用时间比对技术来消除时间变异性，这揭示了每个字符特有的显著一致的神经活动模式。

解码意念写字的脑机接口示意图

基于该项研究结果，研究人员希望脑机接口的新方法最终可以帮助瘫痪患者进行交流。

不过由于该项脑机接口需要在患者脑部植入电极，该技术在临床应用前，其安全性和效果仍需进一步验证。另一个问题是，这项研究目前主要针对拉丁字母的书写进行解码，如何扩展这一方法将其应用到其他语言。

有评论文章认为，“尽管仍有许多工作要做，这项研究拓宽了BCI应用的范围，堪称里程碑。”

参考

https://www.eurekalert.org/pub_releases/2021-05/nion-ctm051121.php

https://www.eurekalert.org/pub_releases/2021-05/sm-sss051021.php

https://www.nature.com/articles/s41586-021-03506-2

Tina编译

文章仅用于学术交流，不用于商业行为，