Meta AI 新技术可翻译口说对话，祖克柏也能听懂台籍员工说的台语
▼
至今为止，AI 翻译主要着重于各种书写语言，但在全球超过 7,000 种的现存语言中，将近半数主要是以口语表达，没有标准或广泛使用的书写文字系统。这导致人们无法使用标准技术为这类语言打造机器翻译工具，因为标准技术需有大量的书写文字来训练 AI 模型。为克服这项挑战，Meta 为主要以口语表达、缺少标准书写文字系统的“闽南语”打造一个史无前例的 AI 技术翻译系统，可让使用闽南语的人士与使用英语的人士对话。
▲ 祖克柏与陈鹏仁示范可翻译台语的 AI 翻译系统。
来自中国台湾的 Meta AI 研究员陈鹏仁深刻了解语言障碍将影响大家的沟通能力，他在中国台湾长大，讲中文，但是他的父亲陈圣奖先生是一个 70 岁已退休的工厂技术主管，来自普遍使用台语的中国台湾南部，陈爸爸常觉得用一般中文进行复杂的对话非常困难。
陈鹏仁表示，“我爸听得懂中文，但若是讨论比较复杂的主题时，他说话的速度会比较慢”，更希望“我爸跟所有人沟通时都能用台语对话，这是他最熟悉的语言”。不甘于只为陈爸爸担心，他开始投入心力，改善这个问题，推动 Meta AI 全新技术发展，让闽南语和英语之间得以相互翻译。
如何克服训练资料的挑战
这套开放原始码的翻译系统是 Meta Universal Speech Translator（UST，通用语音翻译工具）专案的一部分，该专案致力于开发新的 AI 方法，期望最终能为所有现存语言进行即时语音翻译，包括主要以口语表达的语言，进而拉近人们之间的距离，无论身在何处，甚至在元宇宙中也可以。
为开发这个只有语音的全新翻译系统，Meta AI 研究人员必须克服许多来自传统机器翻译系统的挑战，包括资料搜集、模型设计以及准确度评估。其中一个重大障碍在于是否能够搜集到足够的资料，由于闽南语是所谓的资源匮乏语言，未有足够的训练资料；此外，能将英语翻译成闽南语的翻译人员相对较少，因此更难以搜集资料并加上注解来训练模型。为此 Meta 利用中文作为中间语言，以建立伪标签和人工翻译，也就是说先将英语（或闽南语）语音翻译成中文文字，接着再翻译成闽南语（或英语），然后新增至训练资料中。
另一种产生训练资料的做法是语音探勘，Meta 使用预先训练好的语音编码器，便能透过编码方式将闽南语语音嵌入内容加入到其他语言的相同语意空间中，而无须取得闽南语的书写文字。闽南语语音可以和拥有相似语意嵌入内容的英语语音和文字配对。接着 Meta 从文字来合成英语语音，产生平行的闽南语和英语语音。
全新模型做法和评估准确度
许多语音翻译系统依赖转译内容，或依赖语音转文字系统。但如闽南语等主要以口语表达的语言并没有标准书写文字形式，Meta 无法将翻译的文字制作成翻译内容输出，因此聚焦在语音转语音翻译。
Meta 使用语音转单元翻译（speech-to-unit translation，S2UT）系统，直接在先前由 Meta 开创的路径中，将输入的语音翻译成一系列声学单元，然后从这些单元中生成波形。此外，针对二次解码机制采用 UnitY，让第一阶段的解码器产生相关语言（中文）的文字，然后让第二阶段的解码器制作单元。
语音翻译系统通常会使用称为 ASR-BLEU 的衡量指标来评估，首先需使用自动语音识别系统将翻译后的语音转译成文字，然后将转译后的文字与人工翻译的文字比较，以计算 BLEU 分数（标准机器翻译衡量指标）。但评估主要以口语表达的语言时，评估语音翻译的挑战之一同样是没有标准书写文字系统。为启动自动评估程序，Meta 开发称为“Ti-l”（台罗）的系统，将闽南语语音转译成标准化的拼音符号。这项技术能以音节为单位计算 BLEU 分数，并能够很容易地比较不同方法下的翻译品质。
除了开发方法以评估闽南语与英语语音翻译的准确度，Meta 也根据名为 Taiwanese Across Taiwan 的闽南语语音语料库，建立第一个闽南语与英语双向的语音翻译基准资料集。Meta 将开放此基准资料集的原始码，鼓励其他研究人员合作进行闽南语语音翻译，一同在这个领域取得进展。
展望翻译的未来
在目前的阶段中，Meta 做法能够让使用闽南语的人士与使用英语的人士对话。虽然该模型仍在开发当中，而且每次只能翻译一个完整句子，但已朝向未来为各种语言提供同步翻译的目标迈出新步伐。
Meta 首创用于闽南语的各项技术，可以扩展至许多其他有书写系统和无书写系统的语言。为此将发布 SpeechMatrix（暂译语音矩阵），是由 Meta 的创新资料探勘技术支援的大型语音翻译语料库 LASER，能让研究人员建立自己的语音翻译系统。此外，Meta 在非监督方式语音识别技术（wav2vec-U）与非监督方式机器翻译（mBART）上的最新进展，将有助于未来能翻译更多口语的工作。
如对此 AI 翻译系统感兴趣的话，PTT 网友分享可试试“Hokkien Translation”，是以上述 Meta AI 模型和 S2UT、UnitY 两种系统为基础，当你上传一段闽南语或英语口说，在“Model”选择台译英（hk-en）或英译台（en-hk）后并按下“Submit”，耐心等待几秒钟后即可完成语音翻译。
- Meta 发布第一个全新 AI 技术支援的非书写语音翻译系统
（图片来源：Meta）
▼
特别声明 本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。
