华裔科学家AI解码脑电波，准确率高达97％
更多脑机干货第一时间送达
近几年，随着自然语言技术的快速发展，各大公司的语音助手产品的表现越来越好。现在我们已慢慢习惯这些语音助手的方便和先进了。
而现在，有一项技术却可以将我们的大脑活动转化为完整的文本，而无需我们说一个字。这项技术就是脑机接口技术。
这不是科幻小说。近几十年来，脑机接口的发展突飞猛进，从动物到人类参与者，事实上，已经在尝试该类技术了。
日前，在一项由华裔科学家、美国加州大学旧金山分校神经外科教授Edward Chang博士领导的研究项目中，科研团队使用人工智能解码系统，把人的脑电波转译成英文句子，准确率高达97%。
这项研究以论文《Machine translation of cortical activity to text with an encoder–decoder framework”（利用encoder-decoder框架，将大脑皮质活动翻译为文本）》的形式发表于《自然·神经科学》杂志。
在该项研究中，四名癫痫患者戴上了这种植入物以监测癫痫发作，研究团队进行了一项辅助实验：让参与者朗读并重复一些固定的句子，同时电极记录他们的大脑活动。
然后，将这些数据输入到神经网络中，该神经网络会根据实验的音频记录，分析与特定语音信号相对应的大脑活动模式，比如元音、辅音或嘴巴动作。
图1 解码过程
每个参与者都从两个数据集之一(MOCHA-TIMIT，图片描述)中读取句子，而神经信号则用覆盖整个Sylvian皮质的ECoG阵列(120-250个电极)记录下来。high-γ信号（70-150 Hz）的分析幅度在大约200 Hz处提取，被剪裁为语音句子的长度，并作为输入提供给人工神经网络。
在网络的早期阶段，学习时域卷积滤波器，有效地向下采样这些信号。每个过滤器将所有电极上12个样本宽的窗口中的数据(例如，在示例性高γ信号上显示为绿色的绿色窗口，以红色显示)映射到特征序列的单个样本(在蓝色特征序列上以绿色正方形突出显示);然后滑动12个输入样本，生成下一个特征序列样本。以这种方式产生了一百个特征序列，然后传递给编码器RNN，后者学会在单个隐藏状态下对其进行汇总。编码器RNN也经过训练以预测语音音频信号的MFCC，这些MFCC在时间上与ECoG数据一致，尽管在测试过程中未使用它们。最终的编码器隐藏状态会初始化解码器RNN，后者会根据给定的前一个单词及其自身的当前状态来预测序列中的下一个单词。在测试过程中，将使用先前的预测单词。
图2：解码句子的单词错误率
这个系统产生了一个单词错误率(WER) ，在最好的情况下，其中一个参与者将大脑信号转换成文本的错误率只有3% 。这可能是AI能够获得的最接近于读取人类思想的结果，至少在严格意义上的实验条件下是这样的。
在论文中，研究团队详细列举了大量参与者所说的参考句，以及神经网络产生的预测，有时是错误的，但并非总是如此。但是，当错误显而易见时，它们似乎与人耳听到的语音结果有很大不同（这可能是引入AI的数据集有限所产生的副作用）。
表1：错误解码的句子示例（左边是参考句，右边是预测句）
在最不准确的情况下，无论是语义上还是语音上这些错误实际上与所说的话没有任何关系。比如，“she wore warm fleecy woollen overalls”被解读成“the oasis was a mirage”。
实验中电极覆盖和贡献如下图所示。a-d，四名参与者的解剖重建(根据整个配色方案显示参与者身份的彩色框架)，ECoG电极的位置用彩色圆盘表示。对于每个椎间盘，面积表示电极对解码的贡献，颜色表示解剖区域。
当然，处理普通人说话的专业转录员需要成千上万个词汇，相比之下，这个系统仅需学习有限的短句中使用的大约250个单词的大脑皮层特征。
研究小组认为，虽然有许多障碍需要克服，但该系统有一天可能成为失去说话能力的患者使用语言修复的基础。如果真的做到这一点就了不得了。
“在一个长期植入的参与者中，可用的训练数据量将比本研究中使用的半个小时左右的语音大几个数量级，”作者解释说：“这表明该语言的词汇量和灵活性可能会大大增加。”
参考：
https://www.sciencealert.com/new-ai-system-translates-human-brain-signals-into-text-with-up-to-97-accuracy
论文地址：
https://www.nature.com/articles/s41593-020-0608-8
*凡来源非注明"原创"的所有作品，均为转载，其目的在于促进信息分享交流，不做商业用途。若有侵权，请及时通知后台，管理人员删侵。
更多阅读
脑机头条 第27期| 震惊的体验！脑机接口与虚拟现实的结合将会带来非常不一样的体验
脑机头条 第28期| 来自阿里达摩院的最新AI技术：新冠肺炎CT影像识别率达96%
脑机头条 第30期| 《Nature》最新研究：大脑中存在分布式强化学习机制
脑机头条 第32期| Google 助力大脑神经网络研究，发布高分辨率果蝇半脑突触连接图
脑机头条 第33期| OpenAI大规模深度强化学习玩DOTA2
脑机头条 第34期| 20秒确诊新冠肺炎！AI医生看CT准确率达96%，将上岗百家医院
脑机头条 第35期| 教育部、科技部：坚决破除"唯论文"不良导向，坚决破除论文“SCI至上”！
脑机头条 第36期| NeurIPS今年将加入道德评审，论文作者还需声明财务资助，获正面评价才能接收
脑机头条 第37期| 日本学者新设计的控制器让机器人手术精准又舒服
脑机接口BCI学习交流QQ群：941473018