让安迪沃荷原音复活、超过百万人使用，Resemble AI 打造声音浮水印对抗 AI 伦理风暴
▼
2022 年 Neflix 推出普普艺术先驱安迪‧沃荷（Andy Warhol）的人物纪录片《安迪‧沃荷：时代日记》（The Andy Warhol Diaries），透过生成式 AI 的协助，利用声音模拟的技术让安迪‧沃荷本人在片中担任旁白，让观众一边听着艺术家本人的声音，一边观赏其不凡的人生纪录。
在这技术的背后，是由来自加拿大的声音科技新创Resemble AI，其在今年宣布获得800万美元（约新台币2.4亿元）的A轮募资。Resemble AI提供声音复制以及即时翻译服务，除了让安迪‧沃荷的声音再现外，也成为超过上万名游戏直播主使用的工具。
▲ Netflix与加拿大新创Resemble AI合作推出的《安迪‧沃荷：时代日记》纪录片利用声音复制的技术，让已过世的安迪‧沃荷声音为纪录片旁白配音。（Source：影片截图）
起源于游戏直播，Resemble AI试着将声音科技变得生活化
为什么游戏直播主会需要“声音转换”的服务？
因为使用变声效果所营造的气氛，可以让观众更容易进入游戏场景、身历其境，甚至能让直播主拥有更鲜明的个人特色，在竞争中脱颖而出。
2019年Resemble AI创办人Zohaib Ahmed正于转职阶段，由于自己待过游戏产业，也有人工智慧的技术背景，因此决定运用AI提供声音转换的服务，创造以语音为使用者体验核心的新体验，而成立了Resemble AI。
▲ Resemble AI创办人Zohaib Ahmed。（Source：Zohaib Ahmed）
Resemble AI最初主要与游戏直播产业进行合作，标榜直播主只要提供3分钟的原声参考音档，便可透过深度学习技术训练电脑复制其说话语气，当直播主列出希望AI协助创造的句子，系统就会以直播主的声音将句子读出来，甚至还可以依据其喜好，增加不同的情绪、改变既有的语调，让转换出的声音多一份真实感。
Zohaib Ahmed接受《路透社》采访时曾透露，Resemble AI目前的使用者已超过100万人，合作的企业伙伴也已超过200间，包含音乐制作人、游戏工作室等。
随着企业规模的扩展，Resemble AI也开始提供多样化的声音转换应用服务，包含将声音复制的功能应用至翻译领域中，透过生成式AI技术的协助，使用者只要提供音档及希望转换成的翻译文本，便可在短短几分钟内收到转换成不同语言的音档，协助许多内容创作者增加与不同国籍粉丝互动的机会。
目前Resemble AI提供两种付费方案，包含每月24美元（约新台币750元）的入门方案，以及每月449美元（约新台币1.4万元）的专业方案，同时也提供根据企业所需而推出的客制化功能。
利用声音浮水印标示曾受AI修正的音段，降低声音再制可能的伦理危机
像这样的生成式AI技术是当前的当红炸子鸡，尽管科技的革新为人类的生活开启新的可能，但随着使用新科技的方式及目的不同，也未必对社会带来的是全然的好处，2022年百万YouTuber小玉利用深伪（deepfake）技术所引发震惊社会的换脸事件，便是一个典型的例子。
Zohaib Ahmed表示，在试着将人工智慧开放给所有人使用之际，“伦理问题”是无法避而不谈的议题。而Resemble AI也为了避免可能产生的风险，着手推出多种配套措施。
除了在系统中列出使用者必须遵守的使用规范外，也要求使用者在每一次进行新声音转换专案前，必须先录制一段系统随机指定的句子，或是上传一段想要请AI复制的原声档案，此举不仅是做为声音建模的标准，也是一种类声音切结书（consent clip）。当使用者后续想上传不同的声音档案时，系统侦测档案声音不相符的情况，就会限制使用者的权限。
▲ 使用者上传音档进行声音复制前，系统会先要求使用者提供一小段音档做为声音范本，如果后续上传的音档相差太多，系统将自动阻挡使用者进一步使用声音建置服务。（Source：影片截图）
此外，Resemble AI也推出“PerTh Watermarker”声音浮水印服务，如同许多公司会在自有图片上附上公司logo以避免有心人士盗用，Resemble AI利用人类大多仅能专注于听见特定频率声音的特性，在系统所制作出的音档中加入一小段人类难以发现的间断性音频做为浮水印（inaudible watermark），以便日后系统在进行声音扫描时，做为辨别该音档是否为声音来源者实际说出的内容，还是透过生成式AI捏造的。
Zohaib Ahmed表示，做为一位研究者及企业家，他们深知自己所推出的服务可能会带来的影响，并表示当使用者使用他们平台创造出喜欢的声音时，他们必定将采取不同方式来保护这些声音的来源。同时，也在自己的Twitter上宣布，他们所提供的PerTh Watermarke服务将在近期开放原始码，给予其余有同样需要的软件开发者使用。
肯定新科技推出之际，也为最坏的结果做好准备
尽管现今PerTh Watermarker的服务还仅限于侦测由Resemble AI改造过的音讯，但团队也不断在精进他们的技能，并推出由生成式AI及深度学习共同侦测档案是否有经过深伪技术的“Resemblyzer”专案，透过开放原始码的形式，期待这样的技术交流能减少社会上相关声音盗用事件的发生。
尽管新科技的推出背后仍有许多风险，但Resemble AI从创立至今仍旧坚持着AI应用的基本原则，包含使用到AI的应用程式应开放其演算法，并告知使用者程式背后是如何运作，更重要的是所制作出的成品，必须要能够让第三者得知是透过人工智慧而制作而成的。
当与Netflix合作的纪录片推出后，Zohaib Ahmed在接受艺文杂志《Frieze》专访时曾提到他对生成式AI应用的看法，尽管透过AI将已逝世的艺术家再次献声一举在艺术圈中引起讨论，他仍肯定这项科技带来的改变，并表示：“生成式AI的出现，让过往不可能存在的应用能够成真。”
- Voice cloning platform Resemble AI lands $8M
- Why The Andy Warhol Diaries Recreated the Artist’s Voice With AI
- AI localization tool claims to translate your words in your voice
- When Was Resemble AI Founded?
- Resemble AI Raises $8M and Launches Deepfake Voice Detector
- AI startup founder Zohaib Ahmed: ‘I’ll probably never join a large company again’
- Voice cloning startup Resemble AI Raises $8 million in Series A round
- The AI Team that Brought Back Andy Warhol
- Introducing Resemble Clone – a creative tool for crafting speech
（本文由 创业小聚 授权转载；首图来源：Resemble AI）
▼
特别声明 本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。
