开发博客
我尝试创建一个特定于领域的神经机器翻译引擎 - 专注于数据收集和性能验证(第 2 部分)

特定领域 NMT 发动机的性能验证
我尝试创建一个特定领域的神经机器翻译引擎 - 我实际上使用(第 1 部分)中收集的 IT 领域的中日双语数据制作了一个特定于领域的日日和中日NMT 引擎的原型,专注于数据收集和性能验证。
为了创建翻译引擎的模型,我们使用了一个名为 OpenNMT 的工具。
现在,让我们实际翻译测试文本 (IT 字段) 并查看 IT NMT 的性能。
在这里,要比较的通用 NMT 是业界最先进的 Google Translate。
表中的数字是 BLEU 值(4 克),这是自动评估标准。 (BLEU 解释)
中国和日本 | 日 | |
IT 领域的 NMT | 40.79 | 35.35 |
谷歌 | 37.53 | 28.43 |
从生成的 BLEU 值中,发现在 IT 领域的测试中,即使数据量很小,IT NMT 也可以比通用的 Google Translate 更好地评估。
事实上,NMT 在 IT 领域的翻译比通用的 Google 翻译更好呢?
例如:
源语言 | 翻译 | IT 领域的 NMT 翻译 | 谷歌翻译 |
过渡权重 | 迁移权重 | 迁移权重 | 过渡权重 |
IT 领域 NMT 的日文翻译正确地变成了中文“权重 = weight”,但谷歌错误地将“权重”的一般含义输入为“权重 = weight”。
这样,通用 NMT 的技术术语的翻译问题可以通过在 IT 领域使用 NMT 来改善。
即使双语数据量不足,特定领域的 NMT 也可能优于通用 NMT
在这项研究中,我们检查了一种收集双语数据以创建特定领域的 NMT 引擎的方法。 如果有机会,我想介绍一下本文中介绍的其他数据收集方法。
此外,性能验证表明,即使使用的双语数据量不足,特定领域的 NMT 也可能优于最先进的通用 NMT。
在确保特定领域的 NMT 后,我们最终可以提出满足客户期望的翻译服务。 翻译过程如下。
1. 自动确定输入句子字段的功能
2. 交付给每个特定于现场的 NMT 引擎
3. 从适当的字段引擎输出翻译
你怎么看?
我希望您对特定领域的 NMT 有一点了解。
我们计划在未来推出更多与 NMT 相关的内容,敬请期待!