用 AI 分析听摇滚歌的脑波,科学家重建脑中歌曲片段

用 AI 分析听摇滚歌的脑波,科学家重建脑中歌曲片段

美国加州大学柏克莱分校研究团队在将受测者聆听知名摇滚乐团平克‧佛洛伊德(Pink Floyd)歌曲时的大脑活动记录下来,随后透过 AI 分析后成功重制出该歌曲片段。此一研究进一步提升了我们对人们如何感知声音的理解,并有助于改善现行语言障碍辅助工具的功能及品质。

由加大柏克莱分校心理学和神经科学教授 Robert Knight 领导的研究团队,为 29 名原先为了治疗癫痫症而透过手术在大脑中植入电极的患者进行脑波 AI 分析研究。研究者特别为患者播放平克‧佛洛伊德最经典的畅销曲〈Another Brick in the Wall, Part 1〉,并试着撷取患者聆听歌曲时电极记录的脑波讯号。比较大脑讯号与歌曲,研究员辨认出与歌曲音调、旋律、和声及节奏密切相关的讯号片段。

团队训练 AI 模型,让它学习大脑活动与这些音乐元素的关联性,并剔除训练资料歌曲 15 秒片段。训练过 AI 能根据参与者脑波预测未听过歌曲片段。AI 产生片段的声谱图与真实歌词相似度达 43%。

大脑如何聆听音乐的研究过程,研究员发现名为颞上回(superior temporal gyrus)的区域,负责处理歌曲吉他节奏。还发现右脑讯号处理音乐时比左脑更重要。这方面研究对改善语言障碍辅助工具有重大影响。

对于患有肌萎缩性侧索硬化症(Amyotrophic lateral sclerosis,神经系统疾病)或失语症(Aphasia,语言疾病)以致说话困难的人来说,了解大脑如何描述语音的音乐元素,包括音调和情感,可让辅具听起来更自然,而不是充满机械感的合成音。

研究也引发另一个值得讨论的问题,如果 AI 可用大脑讯号重建人们脑海想到的音乐,也可用同样方法作曲,但很可能引发侵权问题,端视重建音乐与原始音乐的相似程度而定。除此之外,到底谁才是创作者很难厘清,是原作曲人、记录大脑活动的人,还是 AI?再者,声音是来自大脑非创造性区域,如听觉皮质(auditory cortex),抑或负责创造性思维的额叶皮质(frontal cortex),版权判定又有何不同?这些都是法院必须烦恼的地方。

  • AI recreates clip of Pink Floyd song from recordings of brain activity

(首图来源:Plos Biology)

   特别声明    本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。