重获新声：纽约大学科学家突破神经技术为失语患者重建其原有声音

语言产生是一种复杂的神经现象，长期以来它一直让研究人员难以用语言解释清楚。解析控制口部、下颌和舌头精确肌肉运动的神经区域复杂网络，以及处理听到自己声音的听觉反馈的区域，构成了一个复杂的难题，这也是下一代语音产生假体所必须克服的问题。

现如今，纽约大学的一个研究团队已经取得了关键性的发现，助力解开这个网络，并利用这些发现构建出一种声音重建技术，以重建那些失去说话能力患者的声音。

该团队由Adeen Flinker和Yao Wang共同领导，团队利用复杂的神经网络，从大脑记录中重建语音，并用这些重建来分析驱动人类语音的过程。他们在《国家科学院学报》（PNAS）上发表的新论文中详细介绍了他们的新发现。

人类语音产生是一种复杂行为，涉及到对运动命令的前馈控制以及对自我产生语音的反馈处理。这些过程需要多个大脑网络同时参与。然而，至今，我们仍难以区分大脑在运动控制与感官处理（由语音产生所引发）方面的参与程度及时机。

在这篇新论文中，研究人员成功地分离了语音产生过程中的反馈和前馈复杂过程。利用一种创新的深度学习架构，在人类神经外科记录上，团队使用了一个基于规则的可微分语音合成器来从皮层信号中解码语音参数。通过实施能够区分因果（使用当前和过去的神经信号解码当前语音）、反因果（使用当前和未来的神经信号）或两者组合（非因果）的时间卷积的神经网络架构，研究者能够精细分析语音产生中前馈和反馈的贡献。

Flinker表示：“这种方法使我们能够分离在我们产生语音和感知自己声音反馈时同时发生的前馈和反馈神经信号的处理。”

这一前沿方法不仅解码了可解释的语音参数，而且还为所招募的皮质区域的时间接受域提供了洞见。值得注意的是，这些发现挑战了将反馈和前馈皮质网络分开的传统观点。分析揭示了一种复杂的反馈和前馈处理架构，跨越了前额和颞叶皮层。这一新的观点，结合出色的语音解码性能，标志着我们理解语音产生复杂神经机制的一大步进。

研究人员利用这一新的视角来指导他们自己的假体开发工作，这些假体能够读取大脑活动并直接解码成语音。尽管许多研究人员正在开发此类设备，纽约大学的原型具有一个关键的不同之处：它能够使用只有少量录音的数据集，而显著重建患者的声音。这意味着患者在失去声音后，不仅仅可以恢复声音，还可以重新获得自己原有的声音。这要归功于一个考虑了潜在听觉空间的深度神经网络，并可以只用个别声音的几个样本（例如YouTube视频或Zoom录音）来进行训练。

这篇论文收到来自NSF的850,000美元的资金资助，该基金旨在开发用于语言处理的神经解码器和开发定向连接模型。如今，研究者们已经获得了额外的950,000美元的资金，以继续开展这项工作，这些资金将支持进一步开发计算方法，以深入理解语言的神经生物学，并转化为针对语言和语言的新型临床应用。