(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210506419.9 (22)申请日 2022.05.10 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 蒋凯涛　杜宇宁　李晨霞　杨烨华　 赖宝华　毕然　胡晓光　于佃海　 马艳军　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 王文思 (51)Int.Cl. G06V 30/42(2022.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/82(2022.01) (54)发明名称 深度学习模型的训练方法、 文本识别方法、 装置和设备 (57)摘要 本公开提供了一种深度学习模型的训练方 法， 涉及人工智 能领域， 尤其涉及自然语言处理 和图像处理领域。 具体实现方案为： 根据样本图 像的特征， 对样本图像中的文本信息进行字符预 测， 得到第一文本； 根据 样本图像的特征， 对样本 图像中的文本信息进行语义学习， 得到第二文 本； 根据第一文本和第二文本， 确定深度学习模 型的损失； 以及根据损失调整深度学习模型的参 数。 本公开还提供了一种深度学习模 型的训练装 置、 文本识别方法和装置、 电子设备和存 储介质。 权利要求书2页 说明书8页 附图4页 CN 114724168 A 2022.07.08 CN 114724168 A 1.一种深度学习模型的训练方法， 所述方法包括： 根据样本图像的特 征， 对所述样本图像中的文本信息进行字符预测， 得到第一文本； 根据所述样本 图像的特征， 对所述样本 图像中的文本信息进行语义学习， 得到第二文 本； 根据所述第一文本和第二文本， 确定所述深度学习模型的损失； 以及 根据所述损失调整所述深度学习模型的参数。 2.根据权利要求1所述的方法， 其中， 所述深度学习 模型包括字符预测网络和语义学习 网络； 所述根据样本 图像的特征， 对所述样本 图像中的文本信息进行字符预测， 得到第一文 本包括： 将所述样本图像的特 征输入到所述字符预测网络， 得到所述第一文本； 所述根据所述样本 图像的特征， 对所述样本 图像中的文本信息进行语义学习， 得到第 二文本包括： 将所述样本图像的特 征输入到语义学习网络， 得到所述第二文本 。 3.根据权利要求2所述的方法， 其中， 所述深度学习模型还包括骨干网络； 所述方法还 包括： 将所述样本图像输入到所述骨干网络， 得到所述样本图像的特 征。 4.根据权利要求3所述的方法， 其中， 所述损 失包括第一损 失和第二损 失， 所述第一损 失是基于所述第一文本确定的， 所述第二损失是基于所述第二文本确定的； 所述根据所述 损失调整所述深度学习模型的参数包括： 根据所述第一损失调整所述字符预测网络的参数； 以及 根据所述第二损失调整所述语义学习网络和所述骨干网络的参数。 5.一种文本识别方法， 包括： 获取待识别图像的特 征； 以及 将所述待识别图像的特征输入到字符预测网络中， 得到所述待识别图像中的文本信 息； 其中， 所述字符预测网络是根据权利要求1～4中任一项所述的方法训练的。 6.一种深度学习模型的训练装置， 所述装置包括： 字符预测模块， 用于根据样本 图像的特征， 对所述样本 图像中的文本信息进行字符预 测， 得到第一文本； 语义学习模块， 用于根据所述样本 图像的特征， 对所述样本 图像中的文本信息进行语 义学习， 得到第二文本； 损失确定模块， 用于根据 所述第一文本和第二文本， 确定所述深度 学习模型的损失； 以 及 参数调整模块， 用于根据所述损失调整所述深度学习模型的参数。 7.根据权利要求6所述的装置， 其中， 所述深度学习 模型包括字符预测网络和语义学习 网络； 所述字符预测模块， 用于将所述样本 图像的特征输入到所述字符预测网络， 得到所述 第一文本；权　利　要　求　书 1/2 页 2 CN 114724168 A 2所述语义学习模块， 用于将所述样本 图像的特征输入到语义学习 网络， 得到所述第二 文本。 8.根据权利要求7所述的装置， 其中， 所述深度学习模型还包括骨干网络； 所述装置还 包括特征提取模块， 用于将所述样本图像输入到所述骨干网络， 得到所述样本图像的特 征。 9.根据权利要求8所述的装置， 其中， 所述损 失包括第一损 失和第二损 失， 所述第一损 失是基于所述第一文本确定的， 所述第二损失是基于所述第二文本确定的； 所述参数调整 模块包括： 第一调整单 元， 用于根据所述第一损失调整所述字符预测网络的参数； 以及 第二调整单元， 用于根据所述第二损失调整所述语义学习网络和所述骨干网络的参 数。 10.一种文本识别装置， 包括： 获取模块， 用于获取待识别图像的特 征； 以及 识别模块， 用于将所述待识别图像的特征输入到字符预测网络中， 得到所述待识别图 像中的文本信息； 其中， 所述字符预测网络是根据权利要求6～ 9中任一项所述的装置训练的。 11.一种电子设备， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1至 5中任一项所述的方法。 12.一种存储有计算机指令的非瞬时计算机可读存储介质， 其中， 所述计算机指令用于 使所述计算机执 行根据权利要求1至 5中任一项所述的方法。 13.一种计算机程序产品， 包括计算机程序， 所述计算机程序在被处理器执行时实现根 据权利要求1至 5中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114724168 A 3