(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210384885.4
(22)申请日 2022.04.13
(71)申请人 腾讯科技 (深圳) 有限公司
地址 518000 广东省深圳市南 山区高新区
科技中一路腾讯大厦3 5层
(72)发明人 章杰 陈巍华 张旭
(74)专利代理 机构 深圳市联鼎知识产权代理有
限公司 4 4232
专利代理师 徐明霞
(51)Int.Cl.
G06F 40/58(2020.01)
G06F 40/211(2020.01)
G06F 40/30(2020.01)
G06K 9/62(2022.01)
G06N 3/04(2006.01)G06N 3/08(2006.01)
(54)发明名称
机器翻译 方法、 目标翻译模 型训练方法及相
关程序和设备
(57)摘要
本公开提供一种机器翻译 方法、 目标翻译模
型训练方法及相关程序和设备, 涉及机器翻译技
术领域。 包括: 获取第一源端句子和第一翻译方
向标签, 第一翻译方向标签用于指示对第一源端
句子按照第一翻译方向进行翻译; 根据第一翻译
方向标签在目标翻译模型的至少一个前缀向量
子模型中确定与第一翻译方向对应的第一前缀
向量子模型; 目标翻译模型还包括多语 言翻译子
模型; 从第一前缀向量子模型的参数中提取第一
翻译方向对应的第一预测前缀向量, 第一预测前
缀向量是目标翻译模型从第一翻译方向上的训
练样本中提取出来的、 用于对第一翻译方向进行
描述的向量; 多语 言翻译子模型根据第一预测前
缀向量将第一源端句子按照第一翻译方向翻译
为第一目标端句子 。
权利要求书5页 说明书30页 附图11页
CN 115130479 A
2022.09.30
CN 115130479 A
1.一种机器翻译方法, 其特 征在于, 所述机器翻译方法包括:
获取第一源端句子和第 一翻译方向标签, 所述第 一翻译方向标签用于指示对所述第 一
源端句子按照第一翻译方向进行翻译;
根据所述第一翻译方向标签在目标翻译模型的至少一个前缀向量子模型中确定与所
述第一翻译方向对应的第一前缀向量子模型, 其中不同前缀向量子模型中的参数用于对不
同翻译方向的翻译特性进行描述; 所述 目标翻译模型还包括多语言翻译子模型, 其中不同
翻译方向在所述多语言翻译子模型中共享 参数;
从所述第一前缀向量子模型的参数中提取所述第一翻译方向对应的第一预测前缀向
量, 所述第一预测前缀向量是所述目标翻译模型从所述第一翻译方向上的训练样本中提取
出来的;
所述多语言翻译子模型根据所述第一预测前缀向量将所述第一源端句子按照所述第
一翻译方向翻译为第一目标端句子 。
2.根据权利要求1所述方法, 其特征在于, 所述至少一个前缀向量子模型还包括第 二前
缀向量子模型, 所述机器翻译方法还 包括:
获取第二源端句子和第 二翻译方向标签, 所述第 二翻译方向标签用于指示对所述第 二
源端句子按照第二翻译方向进行翻译;
根据所述第二翻译方向标签在所述至少一个前缀向量子模型中确定与所述第二翻译
方向对应的所述第二前缀向量子模型;
从所述第二前缀向量子模型中提取所述第 二翻译方向对应的第 二预测前缀向量, 所述
第二预测前缀向量是所述目标翻译模型从所述第二翻译方向上的训练样本中提取出来的、
用于对所述第二翻译方向进行描述的向量;
所述多语言翻译子模型根据所述第二预测前缀向量将所述第二源端句子按照所述第
二翻译方向翻译为第二目标端句子 。
3.根据权利要求2所述方法, 其特征在于, 在获取第 一源端句子和获取第 二源端句子之
前, 所述机器翻译方法包括:
获取多个待翻译源端句子, 所述多个待翻译源端句子包括所述第 一源端句子和所述第
二源端句子;
对所述多个待翻译源端句子进行分流解析, 以从所述待翻译源端句子中解析出所述第
一源端句子和所述第二源端句子;
确定所述第 一源端句子的翻译方向标签为所述第 一翻译方向标签、 所述第 二源端句子
的翻译方向标签为所述第二翻译方向标签, 以根据所述第一翻译方向标签和所述第二翻译
方向标签从所述至少一个前缀向量子模型中获取所述第一预测前缀向量和所述第二预测
前缀向量, 以便所述多语言翻译子模型根据所述第一预测前缀向量和所述第二预测前缀向
量对所述第一源端句子和所述第二源端句子同时进行不同翻译方向的翻译。
4.根据权利要求1所述方法, 其特征在于, 从所述第 一前缀向量子模型的参数中提取所
述第一翻译方向对应的第一预测前缀向量, 包括:
通过所述第一前缀向量子模型获取 所述第一翻译方向对应的第一预向量;
通过所述第一前缀向量子模型对所述第一预向量进行全连接处理, 获得第一中间向
量;权 利 要 求 书 1/5 页
2
CN 115130479 A
2通过所述第 一前缀向量子模型将所述第 一中间向量与 所述第一预向量进行拼接, 以获
得所述第一预测前缀向量。
5.根据权利要求4所述方法, 其特征在于, 所述第 一前缀向量子模型包括第 一全连接结
构, 所述第一全连接结构包括第一投影结构和第二投影结构, 所述第一投影结构包括第一
投影参数, 所述第二投影结构包括第二投影参数; 其中, 通过所述第一前缀向量子模型对所
述第一预向量进行全连接处 理, 获得第一中间向量, 包括:
通过第一投影参数对所述第一预向量进行投影操作, 以获得第一投影向量;
在所述第一投影向量和零向量对应位置处的值中选取最大值, 生成中间投影向量;
通过第二投影参数对所述中间投影向量进行投影操作, 以获得 所述第一中间向量。
6.根据权利要求1所述方法, 其特征在于, 所述多语言翻译子模型包括编码端和解码
端; 其中, 所述多语言翻译子模型根据所述第一预测前缀向量将所述第一源端句 子按照所
述第一翻译方向翻译为第一目标端句子, 包括:
获取所述第一源端句子对应的第一源端句子向量;
将所述第一预测前缀向量与所述第一源端句子向量进行拼接, 以获得第一待翻译向
量;
通过所述编码端对所述第一待翻译向量进行编码处 理, 获得第一编码向量;
通过所述解码端对所述第一编码向量进行解码处 理, 获得第一 解码向量;
根据所述第一 解码向量将所述第一源端句子翻译为所述第一目标端句子 。
7.一种目标翻译模型训练方法, 其特 征在于, 所述方法包括:
获取第三源端句子、 第三目标端句子以及第一翻译方向标签, 所述第一翻译方向标签
用于标识所述第三目标端句子是按照第一翻译方向对所述第三源端句子进行翻译后 获得
的;
根据所述第一翻译方向在目标翻译网络的至少一个前缀向量子网络中确定所述第一
翻译方向对应的第一前缀向量子网络, 其中各个前缀向量子网络之间参数独立; 其中所述
目标翻译网络还包括多语言翻译子模型, 所述多语言翻译子模型是通过多个翻译方向的训
练样本预训练完成的;
从所述第一前缀向量子网络的参数中提取所述第一翻译方向对应的第一训练前缀向
量;
所述多语言翻译子模型根据所述第一训练前缀向量将所述第三源端句子翻译为第三
目标端预测句子;
根据所述第 三目标端句子、 所述第 三目标端预测句子调整所述第 一前缀向量子网络中
的参数, 以获得第一前缀向量子模型;
根据所述第一前缀向量子模型、 所述多语言翻译子模型确定目标翻译模型, 以便通过
所述目标翻译模型将第一源端句子在所述第一翻译方向下进行翻译。
8.根据权利要求7所述方法, 其特征在于, 所述至少一个前缀向量子网络还包括第 二前
缀向量子网络; 其中, 根据所述第一前缀向量子模 型、 所述多语 言翻译子模型确定目标翻译
模型, 包括:
获取第四源端句子、 第 四目标端句子以及第二翻译方向标签, 所述第二翻译方向标签
用于标识所述第四目标端句子是按照第二方向翻译对所述第四源端句子翻译后获得的, 所权 利 要 求 书 2/5 页
3
CN 115130479 A
3
专利 机器翻译方法、目标翻译模型训练方法及相关程序和设备
文档预览
中文文档
47 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共47页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 17:51:26上传分享