头图泉源：IC photo，原题目：《华裔教授AI解码脑电波，上演现实版“读脑术”，大脑所想直接合成文本或语音》

许多患有神经疾病的患者因损失语言能力，需要依赖特定的通讯装备举行相同，这类装备大多行使脑机接口或者头部、眼睛的动作来控制光标，以选择屏幕上的字母，从而拼出他们想说的句子。然则，这个蹦单词的历程，着实无法与人类的正常语言历程相比。

3 月 30 日，《自然-神经科学》揭晓了美国加州大学旧金山分校华裔教授 Edward Chang 及同事开发的一款脑电波 AI 解码器，能够将大脑流动信号直接转化为句子文本。

详细而言，研究职员首先通过电极纪录受试者语言时的神经流动信号，并用特定语句和神经信号特征之间的关联数据训练 AI 算法，试验证实，训练后的机器翻译算法能够准确地解码受试者的神经流动，并将其靠近实时地翻译为句子文本，错误率低至 3%。

从大脑“读取”人的意图

语言似乎是一件毫不费力的事，但现实上语言却是人类执行的最庞大的流动之一。十多年前，科学家首次从大脑信号中解码语言，然则一直以来，语言解码的准确性和速率远远低于自然语言交流。

现在一些用于大脑控制打字的脑机接口手艺，实在依赖的是头部或眼睛的残余非语言运动，或者依赖于光标控制以逐个选择字母并拼出单词，这种方式现在可以辅助瘫痪的人通过装备每分钟输出多达 8 个单词。

但与流程自然语言交流时每分钟 150 个单词的平均速率比起来，现有手艺的输出速率照样太慢了。

使用特制语音合成器与外界交流的史蒂芬·霍金

理论上来说，脑机接口手艺可以通过直接从大脑“读取”人的意图，并使用该信息来控制外部装备或移动瘫痪的肢体，来辅助瘫痪的人完成语言或运动。

为了获得脑机接口直接解码语言更高的精度，研究职员行使了机器翻译义务与从神经流动解码语音到的相似性。也就是说，和机器翻译类似，解码语言也是从一种语言到另一种语言的算法翻译，两种义务现实上映射到同一种输出，即与一个句子对应的单词序列。只不过，机器翻译的输入内容是文本，而解码语言的输入内容是神经信号。

于是，研究职员盘点了机器翻译领域的最新进展，并行使这些方式训练循环神经网络，然后实验将神经信号直接映射为句子。

语言相关的神经流动解码历程

详细而言，研究职员通过电极纪录四名受试者他们高声读出句子时的神经流动。之后，研究职员将这些数据添加到一个循环神经网络中，从而将规律性泛起的神经特征示意出来，这些神经特征可能与言语的重复性特征（好比元音、辅音或发音器官吸收的指令）相关。

接着，研究职员通过另一个循环神经网络逐字解码这种算法示意，形成句子。研究职员发现，显著介入言语解码的脑区，同样介入言语生成和言语感知。通过这种机器翻译算法，研究职员在一名受试者身上举行试验，效果证实通过神经流动解码为口头句子的错误率低至 3%。

此外，若是行使某人的神经流动和言语对循环网络举行预训练后再在另一名受试者身上举行训练，最终的解码效果有所改善，这意味着这种方式在差别职员之间或许是可转移的。然则，还需要开展进一步的研究来加倍完整地观察这个系统的功效，将解码局限扩展到研究所限语言之外。

脑机接口 AI 合成语音

直接通过解码大脑流动信号来合成文本或语音，不只是一项科幻般的“读心术”，更是一种颇有远景的治疗方案。

控制光标举行单词拼写，只是离散字母的延续串联，而解码语言则是一种高效的通讯形式。与基于拼写的方式相比，直接语音或文本合成具有诸多优点，除了以自然语速通报无约束词汇的能力之外，直接语音合成还能捕捉语音的韵律元素，例如音调、语调等。

此外，对于由肌萎缩性侧索硬化或脑干中风引起的瘫痪患者，通过直接纪录来自大脑皮层的神经控制信号来合成语音，是实现自然语言高通讯速率的唯一手段，也是最直观的方式。

去年 4 月，Edward Chang 等人还在 Nature 杂志揭晓了开发出一种可以将脑流动转化为语音的解码器。这套人类语音合成系统，通过解码与人类下颌、喉头、嘴唇和舌头动作相关的脑信号，并合成出受试者想要表达的语音。

Edward Chang 教授

为了重修语音，研究职员设计了一种循环神经网络（RNN），首先将纪录的皮质神经信号转化为声道咬合枢纽运动，然后将这些解码的运动转化为口语句子。

整个历程分为两个步骤，第一步，将神经信号转换成声道咬合部位的运动（红色），这其中涉及语音发生的剖解结构（嘴唇、舌头、喉和下颌）。而为了实现神经信号到声道咬合部位运动的转化，就需要大量声道运动与其神经流动相关联的数据。但研究职员又难以直接丈量每个人的声道运动，因此他们确立了一个循环神经网络，凭据以前网络的大量声道运动和语音纪录数据库来确立关联。第二步，将声道咬合部位的运动转换成合成语音。

研究职员的这种两步解码方式，发生的语音失真率显著小于使用直接解码方式所获得的语音。在包罗 101 个句子的试验中，听者可以轻松地识别并纪录下合成的语音。

在科幻天下里，通过意念信号控制外界装备十分酷炫，现实上，在现实天下中，其背后的脑机接口手艺已有近百年的历史。

随着脑机接口领域科学研究与应用手艺的不停突破，尤其是 AI 算法的加持，为许多当前仍无法解答的难题提供更好了的探索工具，不仅能够辅助人类进一步领会自己的大脑，更主要的是为诊断、治疗脑部及其它严重疾病提供领会决方案，甚至普遍应用于睡眠治理、智能生涯和残疾人康复等领域。

参考资料：

https://nature.com/articles/s41593-020-0608-8 

https://www.nature.com/articles/s41586-019-1119-1

https://mp.weixin.qq.com/s/ZjAW1CDUli1VXpWcNnF-sQ