国家标准网
文库搜索
切换导航
首页
频道
仅15元无限下载
联系我们
首页
仅15元无限下载
联系我们
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221028073 3.X (22)申请日 2022.03.21 (71)申请人 深圳壹账通智能科技有限公司 地址 518066 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (入驻深圳市 前海商务秘书 有限公司) (72)发明人 何哲宇 朱昱锦 徐亮 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 李彩玲 (51)Int.Cl. G06F 40/279(2020.01) G06F 40/30(2020.01) G06N 20/00(2019.01) (54)发明名称 中文错误检测模型训练方法、 装置、 设备及 存储介质 (57)摘要 本发明实施例涉及人工智能, 公开了一种中 文错误检测模型训练方法、 装置、 设备及存储介 质。 获取中文训练样本集; 其中, 中文训练样本集 中包括中文正样本和中文负样 本, 中文负样本包 括缺失错误类中文负样本、 冗余错误类中文负样 本、 替换错误类中文负样本及顺序错误类中文负 样本各至少一个; 对中文训练样 本集中的中文正 样本和中文负样本的各个字进行标签标注; 基于 标签标注后的中文训练样本集对预设机器学习 模型进行训练, 生成中文错误检测模型。 本发明 实施例的方案, 不仅可解决中文分词的偏差导致 中文错误检测误差传播的技术问题, 而且可以有 效提高中文错误检测的准确, 通过中文错误检测 模型能够对 任意类型的中文错 误进行检测。 权利要求书2页 说明书11页 附图3页 CN 114580391 A 2022.06.03 CN 114580391 A 1.一种中文错 误检测模型训练方法, 其特 征在于, 包括: 获取中文训练样本集; 其中, 所述中文训练样本集中包括中文正样本和中文负样本, 所 述中文负样本包括缺失错误类中文负样本、 冗余错误类中文负样本、 替换错误类中文负样 本及顺序错 误类中文负 样本各至少一个; 对所述中文训练样本集中的中文正样本和中文负 样本的各个字进行 标签标注; 基于标签标注后的中文训练样本集对预设机器学习 模型进行训练, 生成中文错误检测 模型。 2.根据权利要求1所述的方法, 其特 征在于, 所述获取中文训练样本集, 包括: 获取至少一条中文正样本; 根据预先设定的错误类型及所述中文正样本, 生成与所述错误类型对应的中文负样 本; 其中, 所述错误类型包括缺失错误、 冗余错误、 替换错误及顺序错误中的至少一种或多 种; 将所述中文正样本及所述中文负 样本作为中文训练样本集。 3.根据权利要求2所述的方法, 其特征在于, 根据 预先设定的错误类型及所述中文正样 本, 生成与所述 错误类型对应的中文负 样本, 包括: 当所述错误类型为缺失错误时, 将所述中文正样本的任意一个或多个字符删除, 生成 缺失错误类中文负 样本; 当所述错误类型为冗余错误 时, 在所述中文正样本 中的任意位置随机增加至少一个字 符, 生成冗余 错误类中文负 样本; 当所述错误类型为替换错误 时, 将所述中文正样本 中的任意一个或多个字符用字典中 的其他字符替换, 生成替换错 误类中文负 样本; 当所述错误类型为顺序错误时, 将所述中文正样本中的任意字符串进行乱序操作, 生 成顺序错 误类中文负 样本。 4.根据权利要求1所述的方法, 其特征在于, 在对所述中文训练样本集中的中文负样本 的各个字进行 标签标注之前, 还 包括: 确定所述中文训练样本集中 中文负样本的类型; 对所述中文训练样本集中的中文负 样本的各个字进行 标签标注, 包括: 根据所述中文负样本的类型, 对中文训练样本集中的中文负样本的各个字进行标签标 注; 其中, 在 对所述中文负样本中的各个字进行标签标注时, 对于各个类型的中文负样 本中 的错误字及错 误关联字的标注方式不同。 5.根据权利要求1所述的方法, 其特征在于, 根据所述中文负样本的类型, 对所述中文 训练样本集中的中文负 样本的各个字进行 标签标注, 包括: 对所述中文训练样本集中的缺失错误类中文负样本 中, 与缺失字的左右两侧相邻的字 以第一错误标记进行 标记, 其他字以正确标记进行 标注; 对所述中文训练样本集中的冗余错误类中文负样本 中, 冗余字以第 二错误标记进行标 注, 其他字以正确标记进行 标注; 对所述中文训练样本集中的替换错误类中文负样本 中, 被替换的字以第 三错误标记进 行标注, 被替换字左右两侧相邻的字以辅助标记进行 标注, 其他字以正确标记进行 标注; 对所述中文训练样本集中的顺序错误类中文负样本 中, 涉及到乱序的每个字以第四错权 利 要 求 书 1/2 页 2 CN 114580391 A 2误标记进行 标注, 其他字以正确标记进行 标注。 6.根据权利要求1所述的方法, 其特征在于, 在基于标签标注后的中文训练样本集对预 设机器学习模型进行训练, 生成中文错 误检测模型之后, 还 包括: 获取待检测的目标中文 文本; 将所述目标中文文本输入至所述中文错误检测模型中, 根据所述中文错误检测模型的 输出结果确定所述目标中文 文本中的文本错 误。 7.根据权利要求1 ‑6中任一项所述的方法, 其特征在于, 所述预设机器学习模型包括 Bert模型。 8.一种中文错 误检测模型训练装置, 其特 征在于, 包括: 样本集获取模块, 用于执行获取中文训练样本集; 其中, 所述中文训练样本集中包括中 文正样本和中文负样本, 所述中文负样本包括缺失错误类中文负样本、 冗余错误类中文负 样本、 替换错 误类中文负 样本及顺序错 误类中文负 样本各至少一个; 标签标注模块, 用于执行对所述中文训练样本集中的中文正样本和中文负样本的各个 字进行标签标注; 模型训练模块, 用于执行基于标签标注后的中文训练样本集对预设机器学习 模型进行 训练, 生成中文错 误检测模型。 9.一种电子设备, 其特 征在于, 所述电子设备包括: 至少一个处 理器; 以及 与所述至少一个处 理器通信连接的存 储器; 其中, 所述存储器存储有可被所述至少一个处理器执行的计算机程序, 所述计算机程序被所 述至少一个处理器执行, 以使所述至少一个处理器能够执行权利要求1 ‑7中任一项所述的 中文错误检测模型训练方法。 10.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质存储有计算机指 令, 所述计算机指令用于使处理器执行时实现权利要求1 ‑7中任一项所述的中文错误检测 模型训练方法。权 利 要 求 书 2/2 页 3 CN 114580391 A 3
专利 中文错误检测模型训练方法、装置、设备及存储介质
文档预览
中文文档
17 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共17页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 人生无常 于
2024-03-18 17:47:56
上传分享
举报
下载
原文档
(695.0 KB)
分享
友情链接
ISO IEC 21122-2 2022 Amd 1 2022 Information technology — JPEG XS low-latency lig.pdf
DB32- 4148-2021 燃煤电厂大气污染物排放标准 江苏省.pdf
DB44-T 1944-2016 碳排放管理体系 要求及使用指南 广东省.pdf
GB-T 5462-2015 工业盐.pdf
GB-T 26251-2010 氟及氟氮混合气.pdf
T-CSAE 262—2022 电动汽车电池管理系统用故障注入测试规范.pdf
GB-T 29862-2013 纺织品 纤维含量的标识.pdf
T-CACM 1362—2021 中药饮片临床应用规范.pdf
中国信创产业研究报告.pdf
中华人民共和国个人信息保护法 2021.pdf
GB-T 43026-2023 公共安全视频监控联网信息安全测试规范.pdf
T-CEC 621.1—2022 电力系统外绝缘用硅橡胶老化评估及修复技术 第1 部分:硅橡胶清洗修复剂技术条件.pdf
SC-T 1077-2004 渔用配合饲料通用技术要求.pdf
T-ZGZS 0107—2023 再生资源经营性电子数据存证技术规范.pdf
GB-T 7931-2008 1500 11 000 12 000 地形图航空摄影测量外业规范.pdf
YD-T 4075-2022 以太网交换机多机虚拟化系统技术要求.pdf
GB-T 39854-2021 光伏发电站性能评估技术规范.pdf
XF 869-2010 消防员灭火防护头套.pdf
GB-T 31341-2014 节能评估技术导则.pdf
GM-T 0045-2016 金融数据密码技术规范.pdf
1
/
3
17
评价文档
赞助2.5元 点击下载(695.0 KB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
点击进入官方售后微信群
支付 完成后 如未跳转 点击这里下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。