国际外交会议中的演讲被用来训练机器学习翻译系统。
本报讯 科幻小说《银河系漫游指南》中的翻译动物“巴别鱼”，可能澳门2024全年正版资料离现实更近了。美国互联网科技公司Meta的研究人员开发了一种机器学习系统，几乎可以立即将101种语言的语音翻译成36种目标语言中的任意一种。
这种大规模多语言和多模态机器翻译（SEAMLESSM4T）系统还可以将语音转换成文本、文本转换成语音、文本转换成文本。相关研究成果1月15日发表于《自然》。
Meta运营着脸书、WhatsApp和Instagram等社交媒体网站。该公司表示，在向全球学术研究人员成功发布LLaMA大语言模型后，将把SEAMLESSM4T开源用于非商业用途。
过去几十年里，机器翻译取得了巨大进步，这在很大程度上归功于在大数据集上训练的神经网络。英语等主要语言的训练数据比比皆是，但其他语言的训练数据却少得可怜。这种不平等限制了机器可以翻译的语言范围。美国康奈尔大学的计算机科学家Allison Koenecke表示：“这影响了不经常出现在互联网上的那些语言。”
Meta团队在之前语音对语音翻译工作的基础上，开启了一个名为“不让任何语言掉队”的项目，旨在为大约200种语言提供文本到文本的翻译。根据经验，Meta和其他机构的研究人员发现，即使在翻译那些训练数据有限的语言时，使翻译系统多语言化也能提高其性能，但原因尚不清楚。
该团队从互联网和联合国档案等来源收集了数百万小时的音频文件，以及这些语音的人工翻译。他们还收集了其中一些演讲的文字记录。
研究人员使用可靠的数据训练模型识别两份匹配的内容。这使研究人员能够将大约50万小时的语音与文本配对，并自动将一种语言的每个片段与其他语言的对应片段匹配。
SEAMLESSM4T可以将语音转换成语音，而无须先将其转换为文本。语音合成器用于产生音频，它可以翻译101种语言中的任何一种语音，不过到目前为止，只有36种语言可输出。该系统还可以执行其他翻译任务，比如完成不同语言的文本到语音的翻译。
论文作者之一、Meta的计算机科学家Marta Costa-jussà表示，除了增加语言数量外，他们还通过整合文本和语音的不同组合提高系统性能。“这些是改善的关键。”她补充说，该系统的时间延迟通常为几秒钟，与专业人工翻译的表现相当。
作者表示，他们对SEAMLESSM4T进行了微调，例如当翻译中出现与原文不符的攻击性语言时，可以限制这种情况发生。他们还对系统进行了控制，以防止它将一种语言中无性别的专有词汇（如英语中的“护士”）翻译成其他语言中有性别的对应词。
Koenecke在评论中写道，为进一步限制自动翻译的潜在风险，“开发人员应该考虑如何在明确模型局限性的前提下输出翻译”，并考虑“在准确性有争议时完全放弃输出”。
英国吉尔福德萨里大学的翻译研究员Sabine Braun说，在机器翻译被广泛采用前，应该进行更多审查，并就如何使用机器翻译进行教育培训，尤其是身处医疗或法律等关键工作岗位的人。（李木子）
相关论文信息：
https://doi.org/10.1038/s41586-024-08359-z
发表评论