(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210319911.5 (22)申请日 2022.03.29 (71)申请人 北京有竹居网络技 术有限公司 地址 101299 北京市平谷区林荫北街13号 信息大厦802室 (72)发明人 刘志成　童剑　赵程绮　王涛　 王明轩　 (74)专利代理 机构 北京远智汇知识产权代理有 限公司 1 1659 专利代理师 刘欣 (51)Int.Cl. G10L 15/00(2013.01) G10L 15/06(2013.01) G10L 15/20(2006.01) G10L 15/26(2006.01)G06F 40/30(2020.01) (54)发明名称 语音翻译模型的训练方法、 语音翻译方法、 装置及设备 (57)摘要 本公开实施例公开了一种语音翻译模型的 训练方法、 语音翻译方法、 装置及设备。 所述训练 方法包括： 进入模型训练阶段后， 控制语音翻译 模型执行语音翻译训练任务； 控制所述语音翻译 模型同时执行所述语音翻译训练任务的辅助训 练任务； 依据所述语音翻译训练任务与所述辅助 训练任务， 对 所述语音翻译模型的网络参数进行 调整， 得到训练更新后的语音翻译模型； 采用本 公开方案通过引入多个辅助训练任务对语音翻 译任务进行辅助训练， 弱化因语音识别偏差所得 文本对语音翻译模型产生的翻译偏 差， 实现对同 声传译场景下语音翻译的鲁棒性和泛化性进行 优化， 降低原文受到错误干扰时译文出现漏译、 错译、 过翻译等情况。 权利要求书4页 说明书19页 附图8页 CN 114822498 A 2022.07.29 CN 114822498 A 1.一种语音翻译模型的训练方法， 其特 征在于， 所述训练方法包括： 进入模型训练阶段后， 控制语音翻译模型 执行语音翻译训练任务； 控制所述语音翻译模型同时执 行所述语音翻译训练任务的辅助训练任务； 依据所述语音翻译训练任务与所述辅助训练任务， 对所述语音翻译模型的网络参数进 行调整， 得到训练更新后的语音翻译模型； 其中， 所述语音翻译训练任务用于对参与语音识别的原文本进行翻译， 所述辅助训练 任务用于弱化因语音识别偏差得到的文本对语音翻译模型产生的翻译偏差 。 2.根据权利要求1所述的方法， 其特征在于， 控制所述语音翻译模型同时执行所述语音 翻译训练任务的辅助训练任务， 包括： 依据执行语音翻译训练任务所需的原文本序列， 确定执行辅助训练任务所需的辅助文 本序列； 原文本序列包括 参与语音识别的原文本； 将所述辅助文本序列输入到语音翻译模型执行所述语音翻译训练任务的辅助训练任 务， 得到所述辅助训练任务的损失函数 得分； 其中， 所述辅助训练任务包括以下至少一项： 对存在遮盖的文本的进行预测、 对去除标 点的文本进行 标点重标注以及文本语义对比学习。 3.根据权利要求2所述的方法， 其特征在于， 依据 执行语音翻译训练任务所需的原文本 序列， 确定执 行辅助训练任务所需的辅助文本序列， 包括： 对所述原文本序列中部分序列内容进行文本遮盖处理， 得到经文本遮盖处理后的辅助 文本序列； 其中， 所述文本遮盖处理包括以下至少一项： 对部分序列内容进行删除与对部分序列 内容进行替换。 4.根据权利要求2或3所述的方法， 其特征在于， 将所述辅助文本序列输入到语音翻译 模型执行所述语音翻译训练任务的辅助训练任务， 得到所述辅助训练任务的损失函数得 分， 包括： 将经文本遮盖处 理后的辅助文本序列输入到语音翻译模型的文本编码器； 将所述文本编码器的输出送入所述语音翻译模型的多层感知器中对存在遮盖文本的 辅助文本序列执 行文本预测任务； 依据对存在遮盖文本的辅助文本序列的文本预测结果与存在遮盖文本的辅助文本序 列中删除或替换位置处的原文本字符， 确定辅助训练任务中文本预测任务对应的损失函数 得分。 5.根据权利要求2所述的方法， 其特征在于， 依据 执行语音翻译训练任务所需的原文本 序列， 确定执 行辅助训练任务所需的辅助文本序列， 包括： 对所述原文本序列中全部标点符号进行去除， 得到经文本标点去除后的辅助文本序 列。 6.根据权利要求2或5所述的方法， 其特征在于， 将所述辅助文本序列输入到语音翻译 模型执行所述语音翻译训练任务的辅助训练任务， 得到所述辅助训练任务的损失函数得 分， 包括： 将经文本标点去除后的辅助文本序列输入到语音翻译模型的文本编码器； 将所述文本编码器输出的文本字符对应的隐层向量表示送入语音翻译模型的多层感权　利　要　求　书 1/4 页 2 CN 114822498 A 2知器中对已去除标点的辅助文本序列执 行文本标点重标注任务； 依据标点重标注任务所预测的标点字符位置与原文本序列的标点字符位置， 确定辅助 训练任务中标点重标注任务对应的损失函数 得分。 7.根据权利要求2所述的方法， 其特征在于， 依据 执行语音翻译训练任务所需的原文本 序列， 确定执 行辅助训练任务所需的辅助文本序列， 包括： 对所述原文本序列中部分序列内容进行文本遮盖处理， 将遮盖后的文本与随机选取文 本， 组成用于进行文本语义对比学习的辅助文本序列。 8.根据权利要求2或7所述的方法， 其特征在于， 将所述辅助文本序列输入到语音翻译 模型执行所述语音翻译训练任务的辅助训练任务， 得到所述辅助训练任务的损失函数得 分， 包括： 将所述辅助文本序列输入到所述语音翻译模型的文本编码器； 将所述文本编码器提取的结束符对应的隐层状态送入所述语音翻译模型的多层感知 器， 通过多层感知器的暂退层输出 所述辅助文本序列的文本语义表示； 通过所述辅助文本序列中遮盖后文本的文本语义表示和随机选取文本的文本语义表 示分别与原文本序列的文本语义表示的语义相似度， 确定辅助训练任务中文本语义对比学 习任务对应的损失函数 得分。 9.根据权利要求8所述的方法， 其特征在于， 通过所述辅助文本序列中遮盖后文本的文 本语义表示和随机选取文本的文本语义表示分别与原文本序列的文本语义表示的语义相 似度， 确定 辅助训练任务中文本语义对比学习任务对应的损失函数 得分， 包括： 将所述辅助文本序列中遮盖后文本的文本语义表示作为正样本与将原文本序列的文 本语义表示作为原样本以组成第一样本对， 通过计算第一样本对中正样本与原样本间的语 义相似度确定按照第一样本对执行辅助训练任务中文本语义对比学习任务对应的第一损 失函数得分； 将所述辅助文本序列中随机选取文本的文本语义表示作为负样本与将原文本序列的 文本语义表示作为原样本以组成第二样本对， 通过计算第二样本对中负样本与 原样本间的 语义相似度确定按照第二样本对执行辅助训练任务中文本语义对比学习任务对应的第二 损失函数 得分； 通过比对所述第一损失函数得分与所述第二损失函数得分确定辅助训练任务中文本 语义对比学习任务对应的损失函数 得分。 10.根据权利要求2所述的方法， 其特征在于， 依据所述语音翻译训练任务与所述辅助 训练任务， 对所述语音翻译模型的网络参数进行调整， 包括： 确定语音翻译训练任务的损失函数权 重以及各个辅助训练任务的损失函数权 重； 将语音翻译训练任务损失函数得分与各个辅助训练任务损失函数得分， 按照各自的损 失函数权 重进行损失融合， 得到语音翻译模型的总损失函数 得分； 依据语音翻译模型的总损失函数 得分， 对所述语音翻译模型的网络参数进行调整。 11.根据权利要求2所述的方法， 其特征在于， 依据所述语音翻译训练任务与所述辅助 训练任务， 对所述语音翻译模型的网络参数进行调整， 包括： 依据执行所述语音翻译训练任务得到的损失函数得分， 对所述语音翻译模型中语音翻 译部分的网络参数进行 单独调整；权　利　要　求　书 2/4 页 3 CN 114822498 A 3