通过神经网络将脑电波翻译成文本

使用解码器框架将读取脑皮层活动翻译成文本

美国加州大学旧金山分校Edward Chang科研团队,使用人工智能解码系统,把脑电波“翻译”成英文句子,准确率高达97%。研究团队通过植入大脑的电极获取大脑皮层活动的电脉冲记录,利用神经网络算法,分析特定语音信号与大脑活动的对应关系,最终得到一套“编码~解码”系统,使得AI系统能读取人类思想。

语音最初是从人脑信号中解码出来的,十年后,准确性和速度仍然远远低于自然语音。在这里,我们展示了如何以高准确度和自然语音速率对脑电图进行解码。借鉴机器翻译的最新进展,我们训练了一个递归神经网络,将神经活动的每个句子长度序列编码为一个抽象表示,然后逐词将该表示解码为英语句子。对于每个参与者,数据包括一组30–50个句子的几次口头重复,以及分布在西尔维耶周围皮层的〜250个电极的同期信号。保留的重复集中的平均单词错误率低至3%。最后,我们展示了如何通过转移学习来改善有限数据的解码。

使用编码器-解码器框架将皮层活动机器翻译为文本

参考源代代码

https://github.com/jgmakin/machine_learning

上提供了用于训练和测试编码器-解码器的代码。

相关连接:https://www.nature.com/articles/s41593-020-0608-8#further-reading

相关文章

Leave a Comment