国家标准网
文库搜索
切换导航
首页
频道
仅15元无限下载
联系我们
首页
仅15元无限下载
联系我们
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210590875.6 (22)申请日 2022.03.16 (62)分案原申请数据 202210257335.6 2022.03.16 (71)申请人 北京金山数字 娱乐科技有限公司 地址 100085 北京市海淀区西二 旗中路33 号院5号楼1 1层002号 (72)发明人 弓源 李长亮 (74)专利代理 机构 北京智信禾专利代理有限公 司 11637 专利代理师 张瑞 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/279(2020.01)G06F 40/30(2020.01) G06F 40/58(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 文本处理方法及装置 (57)摘要 本申请提供文本处理方法及装置, 其中所述 文本处理方法包括: 获取目标口语文本; 将所述 目标口语文本输入文本分类模型进行分类处理, 获得所述目标口语文本对应的预测文本类型; 根 据所述预测文本类型确定所述目标口语文本对 应的改写模 型; 将所述目标口语文本输入所述改 写模型进行书面语改写, 获得所述目标口语文本 对应的书面语文本 。 权利要求书3页 说明书40页 附图5页 CN 114880436 A 2022.08.09 CN 114880436 A 1.一种文本处 理方法, 其特 征在于, 包括: 获取目标口语文本; 将所述目标口语文本输入文本分类模型进行分类处理, 获得所述目标口语文本对应的 预测文本类型; 根据所述预测文本类型确定所述目标口语文本对应的改写模型; 将所述目标口语文本输入所述改写模型进行书面语改写, 获得所述目标口语文本对应 的书面语文本 。 2.根据权利要求1所述的文本处理方法, 其特征在于, 所述根据 所述预测文本类型确定 所述目标口语文本对应的改写模型, 包括: 在所述预测文本类型为标准文本类型的情况下, 根据所述标准文本类型选择书面语改 写模型; 其中, 所述将所述目标口语文本输入所述改写模型进行书面语改写, 获得所述目标口 语文本对应的书面语文本, 包括: 将所述目标口语文本输入所述书面语改写模型进行处理, 获得所述目标口语文本对应 的目标书面语文本, 其中, 所述书面语改写模型, 基于书面语文本以及 对所述书面语文本进 行回译和转换处 理获得的 口语文本训练得到 。 3.根据权利要求1所述的文本处理方法, 其特征在于, 所述根据 所述预测文本类型确定 所述目标口语文本对应的改写模型, 包括: 在所述预测文本类型为模糊文本类型的情况下, 根据所述模糊文本类型选择书面语转 换模型; 其中, 所述将所述目标口语文本输入所述改写模型进行书面语改写, 获得所述目标口 语文本对应的书面语文本, 包括: 将所述目标口语文本输入所述书面语转换模型进行处理, 获得所述目标口语文本对应 的转换书面语文本, 其中, 所述书面语转换模型, 基于书面语文本以及 对所述书面语文本进 行转换处 理获得的基础口语文本训练得到 。 4.根据权利要求3所述的文本处理方法, 其特征在于, 所述书面语转换模型的训练, 包 括: 对所述书面语文本进行语句组成单 元的转换处 理, 获得基础口语文本; 基于所述书面语文本与所述基础口语文本的对应关系, 构建基础样本语料; 通过所述基础样本语料对初始书面语转换模型进行训练, 直至获得满足第 一训练停止 条件的所述书面语转换模型。 5.根据权利要求1所述的文本处 理方法, 其特 征在于, 所述文本分类模型的训练, 包括: 获取样本口语文本以及样本口语文本对应的语义清晰度标签; 基于所述样本口语文本以及所述语义清晰度标签构建训练样本对; 通过所述训练样本对对初始文本分类模型进行模型训练, 直至获得满足分类训练停止 条件的所述文本分类模型。 6.根据权利要求2所述的文本处理方法, 其特征在于, 所述将所述目标口语文本输入所 述书面语改写模型进行处 理, 获得所述目标口语文本对应的目标书面语文本, 包括: 将所述目标口语文本进行分句处 理, 获得所述目标口语文本中包 含的语句序列;权 利 要 求 书 1/3 页 2 CN 114880436 A 2将所述语句序列中的口语句单元依次输入所述书面语改写模型的编码层进行编码处 理, 获得所述口语句单元对应的语句特征向量和词表向量, 其中, 所述词表向量由所述口语 句单元与词表进行映射获得; 计算所述语句特征向量与 所述词表向量之间的向量积, 并将所述向量积输入所述书面 语改写模型的解码层进行解码处 理, 获得所述目标口语文本对应的目标书面语文本 。 7.根据权利要求2所述的文本处理方法, 其特征在于, 所述书面语改写模型, 基于书面 语文本以及对所述书面语文本进行回译和转换处 理获得的 口语文本训练得到, 包括: 获取书面语文本; 通过对所述书面语文本进行回译处 理, 获得所述书面语文本对应的回译 书面语文本; 对所述书面语文本和所述 回译书面语文本分别进行语句组成单元的转换处理, 获得口 语文本; 基于所述书面语文本和所述 回译书面语文本与 所述口语文本的对应关系, 构建样本语 料; 通过所述样本语料对初始书面语改写模型进行训练, 直至获得满足第 二训练停止条件 的所述书面语改写模型。 8.根据权利要求7所述的文本处理方法, 其特征在于, 所述通过对所述书面语文本进行 回译处理, 获得所述书面语文本对应的回译 书面语文本, 包括: 将所述书面语文本翻译为预设语种对应的译 文书面语文本; 将所述译文书面语文本回译为所述书面语文本所属的目标语种, 获得初始回译书面语 文本; 通过所述书面语文本中的关键词语对所述初始回译书面语文本中所述关键词语对应 的目标关键词语进行替换, 获得回译 书面语文本 。 9.根据权利要求8所述的文本处理方法, 其特征在于, 所述将所述书面语文本翻译为预 设语种对应的译 文书面语文本之前, 还 包括: 通过对所述书面语文本进行词性分析, 识别所述书面语文本 中词性为预设词性的关键 词语; 在所述书面语文本中对所述关键词语所处的位置进行位置标记; 其中, 所述通过所述书面语文本 中的关键词语对所述初始回译书面语文本 中所述关键 词语对应的目标关键词语进行替换, 获得回译 书面语文本, 包括: 基于所述位置标记, 通过所述关键词语对所述初始回译书面语文本 中对应的目标关键 词语进行替换, 获得回译 书面语文本 。 10.根据权利要求4或7所述的文本处理方法, 其特征在于, 所述语句组成单元包括下述 至少一项: 子句单 元、 词语单 元、 字符单 元以及符号单 元。 11.根据权利要求7所述的文本处理方法, 其特征在于, 将所述书面语文本和所述回译 书面语文本中任意一个书面语文本作为待处理书面文本, 对所述待处理书面文本进行语句 组成单元的转换处 理, 包括: 确定所述待处 理书面语文本的转换处 理策略对应的转换处 理概率; 基于所述 转换处理概率, 在所述 转换处理策略中确定待执 行的目标转换处 理策略; 通过执行所述目标转换处理策略对所述待处理书面语文本进行语句组成单元的转换权 利 要 求 书 2/3 页 3 CN 114880436 A 3
专利 文本处理方法及装置
文档预览
中文文档
49 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共49页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 人生无常 于
2024-03-18 17:51:05
上传分享
举报
下载
原文档
(1.2 MB)
分享
友情链接
信通院 人工智能生成内容 AIGC 白皮书 2022年.pdf
DB50-T 1474.2-2023 化粪池监控系统 第2部分:安装与调试 重庆市.pdf
GB-T 20279-2015 信息安全技术 网络和终端隔离产权安全技术要求.pdf
CH-T 4024-2019 《城市政务电子地图更新技术规范》.pdf
GB-T 18312-2015 双筒望远镜检验规则.pdf
GB-T 30269.602-2017 信息技术 传感器网络 第602部分:信息安全:低速率无线传感器网络网络层和应用支持子层安全规范.pdf
中国信创产业发展白皮书.pdf
GB-T 32211-2015 液相色谱用可变波长光度检测器的测试方法.pdf
GB-T 36340-2018 防静电活动地板通用规范.pdf
GB-T 12727-2023 核电厂安全重要电气设备鉴定 IEC IEEE 60780-323-2016.pdf
GB-T 35295-2017信息技术大数据术语.pdf
GB-T 36987-2018 汽车防抱制动系统(ABS)性能检测方法.pdf
华为+大模型和智能汽车的预见-2023-09-智能网联.pdf
T ZJHIA XX-2014 医疗健康数据分类分级规范.pdf
DB14-T 2528—2022 云平台 移动数字协同平台功能建设指南 山西省.pdf
GB-T 36084-2018 纳米技术 水溶液中铜、锰、铬离子含量的测定 紫外-可见分光光度法.pdf
GB-T 21052-2007 信息安全技术 信息系统物理安全技术要求.pdf
奇安信 2020网络安全投融资趋势报告.pdf
GB-T 19345.2-2017 非晶纳米晶合金 第2部分:铁基纳米晶软磁合金带材.pdf
GB-T 41637-2022 发制品 通用技术规范.pdf
1
/
3
49
评价文档
赞助2.5元 点击下载(1.2 MB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
点击进入官方售后微信群
支付 完成后 如未跳转 点击这里下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。