(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210261001.6 (22)申请日 2022.03.16 (71)申请人 来也科技 （北京） 有限公司 地址 100080 北京市海淀区丹棱 街3号B座 17层1-43单 元 (72)发明人 王建周　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 单冠飞 (51)Int.Cl. G06V 30/10(2022.01) G06V 30/19(2022.01) G06V 30/12(2022.01) G06V 30/262(2022.01) G06F 40/30(2020.01) (54)发明名称 基于RPA和AI的文本纠错方法、 训练方法及 其相关设备 (57)摘要 本公开提出一种基于RPA和AI的文本纠错方 法、 训练方法及其相 关设备， 涉及AI和 RPA领域， 其中， 方法包括： 基于OCR模型， 对待识别图像进 行字符识别， 得到预测文本以及预测文本中各预 测字符的置信度； 根据各预测字符的置信度， 从 各预测字符中确定待处理字 符； 将预测文本中的 待处理字符进行掩码； 采用预测模 型对掩码后的 预测文本进行字符预测， 得到待处理字符对应的 至少一个替换字符； 根据至少一个替换字符与待 处理字符的相似度， 从至少一个替换字符中确定 目标字符； 利用目标字 符替换预测文本中的待识 别字符， 得到识别文本。 由此， 在基于OCR技术， 识 别得到文本信息后， 对文本信息中的字符进行纠 正， 可以提升文本信息识别结果的准确性和可靠 性。 权利要求书4页 说明书25页 附图9页 CN 114863429 A 2022.08.05 CN 114863429 A 1.一种基于机器人流程自动化RPA和人工智能AI的文本纠错方法， 其特征在于， 所述方 法包括： 基于光学字符识别OCR模型， 对待识别图像进行字符识别， 以得到预测文本以及所述预 测文本中各 预测字符的置信度； 根据各所述预测字符的置信度， 从各 所述预测字符中确定待处 理字符； 将所述预测文本 中的所述待处理字符进行掩码， 并采用预测模型对掩码后的预测文本 进行字符预测， 以得到所述待处 理字符对应的至少一个替换字符； 根据所述至少一个替换字符与所述待处理字符的相似度， 从所述至少一个替换字符中 确定目标字符， 并利用所述 目标字符替换所述预测文本中的所述待识别字符， 以得到识别 文本。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法由RPA机器人 执行。 3.根据权利要求1所述的方法， 其特征在于， 所述将所述预测文本 中的所述待处理字符 进行掩码， 并采用预测模型对 掩码后的预测文本进行字符预测， 包括： 确定所述待处 理字符在所述预测文本中的目标位置； 获取掩码字符， 并利用所述掩码字符替换所述预测文本中所述目标位置处 的所述待处 理字符， 以得到掩码后的预测文本； 将所述掩码后的预测文本输入至所述预测模型， 以采用所述预测模型对所述掩码后的 预测文本进行字符预测， 以得到 至少一个目标文本； 将所述至少一个目标文本中所述目标位置处的字符， 作为所述至少一个替换字符。 4.根据权利要求3所述的方法， 其特 征在于， 所述预测模型通过以下步骤训练得到： 获取样本文本； 对所述样本文本中的至少一个样本 字符进行掩码， 得到掩码后的样本文本； 将所述掩码后的样本文本输入至初始的预测模型， 以采用所述预测模型对所述掩码后 的样本文本进行字符预测， 得到 输出文本； 根据所述样本文本和所述输出文本之间的差异， 对所述预测模型中的模型参数进行调 整。 5.根据权利要求1 ‑4中任一项所述的方法， 其特征在于， 所述根据 所述至少一个替换字 符与所述待识别字符的相似度， 从所述至少一个替换字符中确定目标字符之前， 所述方法 还包括： 基于设定编码算法， 对所述至少一个替换字符进行编码， 以得到所述至少一个替换字 符的第一编码值； 基于所述设定编码算法， 对所述待识别字符进行编码， 以得到所述待识别字符的第二 编码值； 根据所述至少一个替换字符的第 一编码值和所述第 二编码值之间的差异， 确定所述至 少一个替换字符与所述待识别字符的相似度。 6.根据权利要求1 ‑4中任一项所述的方法， 其特征在于， 所述根据 所述至少一个替换字 符与所述待识别字符的相似度， 从所述至少一个替换字符中确定目标字符之前， 所述方法 还包括： 针对每个所述替换字符， 根据所述 替换字符进行绘制， 得到第一图像；权　利　要　求　书 1/4 页 2 CN 114863429 A 2根据所述待识别字符进行绘制， 得到第二图像； 根据所述第 一图像和所述第 二图像之间的相似度， 确定所述替换字符与所述待识别 字 符之间的相似度。 7.根据权利要求1 ‑4中任一项所述的方法， 其特征在于， 所述根据 所述至少一个替换字 符与所述待识别字符的相似度， 从所述至少一个替换字符中确定目标字符之前， 所述方法 还包括： 对所述至少一个替换字符进行 特征提取， 得到所述至少一个替换字符的特 征向量； 对所述待识别字符进行 特征提取， 得到所述待识别字符的特 征向量； 根据所述至少一个替换字符的特征向量和所述待识别字符的特征向量之间的相似度， 确定所述至少一个替换字符与所述待识别字符的相似度。 8.根据权利要求1 ‑4中任一项所述的方法， 其特征在于， 所述基于光学字符识别OCR模 型， 对待识别图像进行字符识别， 包括： 采用所述OCR模型中的特征提取分支， 对所述待识别图像进行特征提取， 以得到第一特 征图； 采用所述OCR模型中的融合分支， 将所述第一特征图与位置图进行融合， 以得到第二特 征图， 其中， 所述位置图中各元素与所述第一特征图中各元素一一对应， 所述位置图中的元 素， 用于指示所述第一特 征图中对应元 素在所述待识别图像中的坐标； 采用所述OCR模型中的特征变换分支， 将所述第 二特征图进行特征变换， 得到第三特征 图； 采用所述OCR模型中的预测分支， 对所述第三特征图进行解码， 以得到所述预测文本和 所述预测文本中各 所述预测字符对应的置信度。 9.根据权利要求8所述的方法， 其特征在于， 所述采用所述OCR模型中的特征提取分支， 对所述待识别图像进行 特征提取， 以得到第一特 征图之前， 所述方法还 包括： 对所述待识别图像进行角度预测， 确定所述待识别图像的倾 斜角度； 根据所述 倾斜角度， 对所述待识别图像进行旋转处 理。 10.根据权利要求1 ‑4中任一项所述的方法， 其特征在于， 所述根据各所述预测字符的 置信度， 从各 所述预测字符中确定待处 理字符， 包括： 将置信度高于 置信度阈值的预测字符， 作为所述待处 理字符； 或者， 将置信度最大的预测字符， 作为所述待处 理字符； 或者， 将各所述预测字符按照置信度的取值由大至小排序， 选取排序在前的目标个数的预测 字符， 作为所述待处 理字符， 其中， 所述目标个数的取值与所述预测文本的长度正相关。 11.一种用于对权利要求1 ‑10中任一项所述的预测模型进行训练 的方法， 其特征在于， 所述方法包括： 获取样本文本； 对所述样本文本中的至少一个样本 字符进行掩码， 得到掩码后的样本文本； 将所述掩码后的样本文本输入至初始的预测模型， 以采用所述预测模型对所述掩码后 的样本文本进行字符预测， 得到 输出文本；权　利　要　求　书 2/4 页 3 CN 114863429 A 3