人工智能和机器语言翻译简介
5.00/5 (1投票)
在本系列文章中，我们将向您展示如何使用深度学习创建自动翻译系统。
引言
谷歌翻译的效果非常好，它常常看起来像魔术。但它不是魔术——它是深度学习！
在本系列文章中，我们将向您展示如何使用深度学习来创建一个自动翻译系统。本系列可以被视为一个逐步教程，帮助您理解和构建神经机器翻译。
本系列假定您熟悉机器学习的概念：模型训练、监督学习、神经网络，以及人工神经元、层和反向传播。
在深入探讨使用深度学习 (DL) 进行翻译的具体细节之前，让我们先快速了解一下机器翻译 (MT) 的一般情况。
机器翻译简史
机器翻译 (MT) 的概念，或者说使用机器自动将文本从一种自然语言翻译成另一种自然语言的能力，可以追溯到 1949 年，当时 Warren Weaver 提出了 MT 的主要原则。最初，MT 是使用专家规则 (RBMT) 完成的，这需要人工翻译人员的大量工作。 然后，在 1970 年代后期，统计机器翻译 (SMT) 出现并迅速发展，特别是在 IBM 资助的 Candide 项目的帮助下。
SMT 基于计算从文本语料库（原始语言和目标语言）中提取的单词和句子对之间最可能的关联。 在神经网络应用于 MT 之前，SMT 一直在 MT 领域占据主导地位，神经网络机器翻译 (NMT) 被提出作为替代方案。
虽然 NMT 最初没有成功，但多年来取得了令人印象深刻的进展。 随着人工智能处理能力（GPU 卡等）的最新增长，NMT 已经开始提供优于 SMT 的结果。
随着对 DL 和 长短期记忆 (LSTM) 设计的不断研究，NMT 正在获得越来越令人惊叹的结果； NMT 取代商业翻译软件中的大多数 SMT 可能只是时间问题。
深度学习擅长 MT，因为它旨在创建一个人工大脑。 理论上，人脑能做的一切，DL 系统也能做。 此外，LSTM（一种 DL 技术，或者更准确地说，是一种循环神经网络 (RNN)）在回忆和检测时间模式方面拥有前所未有的记录。 当将自然语言句子视为单词的条件时间序列或 马尔可夫过程的结果时，这非常有用。
LSTM 网络如何处理 MT
SMT 概览
让我们关注我们的 LSTM 将如何在 MT 上下文中工作，首先简要描述 SMT 的主要原则。
该功能基于并行语料库。 本质上，这是一个“超级词典”——通常来自专业翻译人员或高年级学生——它匹配两种语言中的单词或句子对。
SMT 和 NMT 都使用并行语料库。 SMT 将输入句子划分为单词组，然后使用概率来找到最可能的匹配组合。
SMT，例如 Moses，将从训练数据中创建一个翻译模型，并将该模型应用于任何输入。 结果是目标语言中的句子，该句子在条件概率方面具有最高分。
互联网上的许多资源都提供自然语言的并行语料库。 很好的例子包括像 Tatoeba project 和 Linguee 等网站。
Tatoeba 项目为各种语言提供制表符分隔的双语序列对。 例如，英语/荷兰语并行语料库包含大约 50,000 行翻译对。
通常，SMT 会为输入语言的非并行语料库创建语言模型。
然后，翻译模型和语言模型（可能还有词汇模型和对齐模型）用于使用贝叶斯规则和最大似然 (MLE) 估计器来计算一系列概率。 MLE 对选项进行评分，MT 选取目标语言中 MLE 分数最高的句子。 换句话说，它选取与输入句子最匹配的句子。 通过计算条件概率，MLE 等估计器对翻译句子的候选对象进行评分。
后续步骤
现在我们已经快速浏览了 AI 语言翻译的历史，并且对它的工作原理有了高层次的了解，现在是时候深入研究具体的细节了。 本系列中的下一篇文章有点学术性，但它将非常有助于培养对 AI 翻译工作原理的直观理解。
如果您只想直接进入代码以便您可以开始创建自己的翻译模型，那也可以！ 在这种情况下，您可以安全地跳转到用于构建 AI 语言自动翻译系统的工具。