1、 “Be My Cheese?”多语言大”多语言大语言模型翻译中文化细微差别语言模型翻译中文化细微差别的评估的评估 2 目录目录“Be My Cheese？”多语言大语言模型翻译中文化细微差别的？”多语言大语言模型翻译中文化细微差别的评估评估 摘要 3 引言 3 相关研究 3 研究方法 4 结果 7 讨论 10 结语 11 局限性 12 3 1.摘要摘要 本试点研究旨在探索最先进的多语言人工智能(AI)模型在将习语、双关语等比喻性语言从英语翻译成全球多种语言时所具备的本地化能力。现有大语言模型(LLM)翻译研究及行业基准测试注重语法准确性和标记级正确性，而本研究在此基础上进一步拓展，聚焦文化适

2、宜性和整体本地化质量，而后者是市场营销、电子商务等真实应用场景中的关键因素。为探究此类挑战，本项目评估了20种语言的24种地区方言中，由LLM生成的87份电子商务营销邮件翻译样本。精通各目标语言的人类评审员从与原文语气、含义的忠实度以及对目标受众的适配度等方面，提供了定量评分和定性反馈。研究结果表明，尽管领先模型通常能生成语法正确的译文，但在翻译具有文化细微差别的语言时明显仍有待改进，需要大量的人工润色。值得注意的是，即使是行业基准测试排行榜上名列前茅、资源丰富的语言，也出现了许多比喻性表达和文字游戏的翻译错误。本研究对“数据量是机器翻译质量最可靠的预测指标”这一假设提出了挑战，并将文化适宜性

3、列为衡量多语言大模型性能的关键决定因素。现有学术和行业基准测试中尚未对文化适宜性领域进行充分探索。作为概念验证，本试点研究凸显了当前多语言AI系统在真实本地化应用场景中存在的局限性。本试点研究的结果表明，有必要开展更大规模的拓展研究，以提供具有普遍适用性的见解，并为在文化多样的环境中部署可靠的机器翻译工作流提供参考。2.引言引言 随着多语言大模型日益融入全球内容工作流，了解其生成符合文化习惯的翻译的能力，对于有效的本地化至关重要。语言中的细微文化差别，尤其是文字游戏等比喻性语言，是有效沟通的核心要素。本试点研究旨在探索最先进的多语言大模型在将英语翻译成全球多种语言时，处理这类比喻性语言的能力，

4、重点解决三个核心研究问题：(1)在资源丰富程度和语言特征各不相同的语言之间，大模型对习语和比喻性语言的翻译可靠程度如何？(2)与英语的语言相近性或结构特征共性，能否用来预测翻译的效果？(3)在翻译具有文化细微差别的语言时，资源丰富、全球通用的语言是否比规模较小的地区性语言更准确？通过对20种全球语言的24种方言中由大模型生成的翻译进行系统评估，本研究揭示了当前模型存在的局限性、跨语言模式，以及人类专业知识在本地化工作流程中持续发挥的作用。3.相关研究相关研究 LLM领域的最新进展表明，生成式AI的多语言翻译能力已取得显著进步。Mujadia等人（2023年）开展的基础性研究对大模型在英语与22

5、种印度语言之间的翻译能力进行了全面评估，揭示了模型在资源丰富的语言场景和资源不足的语言场景下的性能存在明显差异。他们的研究结果凸显了语境学习的重要性。语境学习能显著提升对代表性不足的地区方言的翻译质量。同样，Hu等人（2024年）提出了GenTranslate。这是一种生成式框架，通过利用LLM的语境感知能力和推理能力，在标准基准测试中改进了多语言语音和文本翻译效果，尤其是在资源不4 足的语言方面。这项研究印证了“语境学习能提升多语言LLM性能”这一观点。除翻译准确性外，学者们也日益关注LLM生成内容所涉及的文化与伦理问题。AlKhamissi等人（2024年）探究了不同语言和地区间的文化适配

6、性。其研究表明，当使用某一地区的主导语言对LLM进行提示时，模型能更准确地反映该地区的文化知识。然而，他们也发现，文化代表性的差异依然存在，尤其是在历史上被边缘化的文化群体中。基于这项研究，Li等人（2024年）提出了CultureLLM框架，通过多语言和多元文化数据来融合文化语境。其研究结果显示，该框架在提升文化适宜性方面取得了可衡量的成效，但在资源不足的语言场景中仍面临挑战。这些研究发现与一些更具普遍性的担忧不谋而合，如大模型语言公平性，以及训练数据能否准确体现多元的文化视角。多语言LLM研究的另一个关键维度是公平性与偏见问题。Zhao等人（2024年）对性别偏见进行了多语言分析，发现LL