大脑植入装置首次让人类有腔调地说话和唱歌

p30900

在一项研究中，一种模仿参与者自身声音的合成声音，在参与者神经活动发出说话意图信号后10毫秒内，就说出了他的话语。这项6月11日发表于《自然》的研究成果标志着对早期BCI的重大改进，早期BCI通常在3秒内输出语音，或者只能在用户完整模拟整个句子后才能生成语音。

“这是语音BCI领域的圣杯。”荷兰马斯特里赫特大学的计算神经科学家Christian Herff说，“这是真实的、自发的、连续的讲话。”

这项研究的参与者是一名45岁的男性，在患上一种运动神经元疾病——肌萎缩侧索硬化症后，他失去了清晰说话的能力，这种疾病会损害控制肌肉运动的神经，包括说话所需的神经。虽然他还能发音和说话，但他讲话很慢，也不清楚。

在症状出现5年后，他接受了手术，在控制运动的大脑区域插入256个硅电极，每个1.5毫米长。论文作者之一、美国加利福尼亚大学戴维斯分校的神经科学家Maitreyee Wairagkar和同事训练了深度学习算法，每10毫秒捕捉一次他大脑中的信号。他们的系统实时解码的是该男子试图发出的声音，而不是他想要表达的具体词语或基本音素——构成口语单词的语音子单位。

“我们并不总是用词语传达想法。我们有感叹词，还有其他一些表达性的发音，这些都不在我们的词汇表里。为了实现这一点，我们采用了这种完全不受限制的方法。”Wairagkar解释说。

该团队还通过训练人工智能算法，根据参与者生病前的采访录音，将合成声音个性化，使其听起来像参与者自己的声音。

研究人员要求参与者试发出“啊”“哦”“嗯”之类的感叹词，并说出虚构的单词。BCI成功地产生了这些声音，表明它可以在不需要固定词汇的情况下生成语音。

使用该装置，参与者可以拼写单词、回答开放式问题，并使用解码器训练数据之外的一些单词说出他想说的话。他告诉研究人员，合成的声音说话让他“感到高兴”，感觉就像他的“真实声音”。

在其他实验中，BCI识别出参与者是想把一个句子说成疑问句还是陈述句。该装置还能判断他在同一句话中强调哪些词语，并相应地调整其合成语音的语调。“我们正在引入人类语言中所有这些非常重要的不同元素。”Wairagkar说，以前的BCI只能产生单调的语音。

瑞士日内瓦大学的神经工程师Silvia Marchesotti说，该装置的功能“对于未来患者的日常使用至关重要”。“从某种意义上说，这是一种范式转变，它可以真正带来一种现实生活中的工具。”