(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210395438.9 (22)申请日 2022.04.15 (71)申请人 东莞点慧科技有限公司 地址 523000 广东省东莞 市松山湖园区新 竹路4号16栋302室09、 10 (72)发明人 张剑　陈雅珍　 (74)专利代理 机构 东莞恒成知识产权代理事务 所(普通合伙) 44412 专利代理师 姚伟旗 (51)Int.Cl. G06F 16/34(2019.01) G06F 40/30(2020.01) G06F 40/289(2020.01) G06F 40/117(2020.01) G06N 3/04(2006.01) (54)发明名称 文本摘要抽取方法、 装置、 计算机设备及存 储介质 (57)摘要 本申请公开了一种文本摘要抽取方法、 装 置、 计算机设备及存储介质， 应用于文本处理技 术领域， 用于提高文本摘要的抽取效率。 本申请 提供的方法包括： 获取待抽取文本， 根据预设长 度的截取窗口对 所述待抽取文本进行截取， 得到 输入序列； 按照文本处理方式， 对所述输入序列 添加噪声信息， 得到噪声输入序列通过预训练模 型生成所述噪声输入序列的向量表 示， 得到所述 噪声输入序列的向量表示矩阵； 将所述向量表示 矩阵输入到预设的文本摘要模型， 得到所述待抽 取文本的文本摘要。 权利要求书2页 说明书8页 附图2页 CN 114661894 A 2022.06.24 CN 114661894 A 1.一种文本摘要抽取 方法， 其特 征在于， 包括： 获取待抽取文本， 根据预设长度的截取窗口对所述待抽取文本进行截取， 得到输入序 列； 按照文本处 理方式， 对所述输入序列添加噪声信息， 得到噪声输入序列； 通过预训练模型生成所述噪声输入序列的向量表示， 得到所述噪声输入序列的向量表 示矩阵； 将所述向量表示矩阵输入到预设的文本摘要模型， 得到所述待抽取文本的文本摘要。 2.根据权利要求1所述的文本摘要抽取方法， 其特征在于， 所述获取待抽取文本， 根据 预设长度的截取窗口对所述待抽取文本进行截取， 得到 输入序列包括： 对所述待抽取文本进行分句， 构成文本句子序列； 根据预设长度的截取窗口对所述文本句子序列进行截取， 得到与预设长度的文本序 列， 将所述预设长度的文本序列 作为输入序列。 3.根据权利要求1所述的文本摘要抽取方法， 其特征在于， 所述按照文本处理方式， 对 所述输入序列添加噪声信息， 得到噪声输入序列包括： 所述文本处理方式包括替换所述输入序列中的发言人标记、 对所述输入序列中的对话 进行对话分割、 对所述输入序列中的对话进行对话合并、 对所述输入序列进行文本遮盖以 及按照随机顺序对所述输入序列进行排序； 通过上述的文本处理方式对所述输入序列进行文本处理， 以添加噪声信息， 得到包含 所述噪声信息的噪声输入序列。 4.根据权利要求3所述的文本摘要抽取 方法， 其特 征在于， 所述方法还 包括： 随机选取两种以上 所述文本处 理方式进行组合， 得到组合处 理方式； 通过所述组合处 理方式， 对所述输入序列添加噪声信息， 得到所述噪声输入序列。 5.根据权利要求1所述的文本摘要抽取方法， 其特征在于， 在获取待抽取文本， 根据预 设长度的截取窗口对所述待抽取文本进行截取， 得到 输入序列之前， 还 包括以下步骤： 通过Transformer与注意力机制构建训练模型； 通过在线数据库获取文本训练数据， 按照发言人的发言轮次， 对所述文本训练数据进 行对话拼接， 构成对话序列； 基于所述对话序列， 选取 预设长度的对话， 作为原 始序列； 对所述原始序列添加噪声信息， 得到噪声处理序列， 并生成所述噪声处理序列的噪声 向量矩阵； 将所述噪声向量矩阵输入到所述训练模型中， 得到恢复序列； 计算所述恢复序列 与所述原 始序列的损失值， 得到损失计算结果； 若所述损 失计算结果小于预设的损 失值阈值， 则完成模型训练， 得到预设的文本摘要 模型。 6.根据权利要求5所述的文本摘要抽取 方法， 其特 征在于， 所述方法包括： 若所述损失计算结果大于预设的损失值阈值， 则通过所述训练模型基于条件分布建模 方式， 得到所述向量矩阵的迭代恢复序列； 计算所述迭代恢复序列 与所述原 始序列的损失值， 得到迭代损失值； 根据所述迭代损 失值， 循环计算所述迭代恢复序列， 直到所述迭代损 失值小于所述预权　利　要　求　书 1/2 页 2 CN 114661894 A 2设的损失值阈值， 得到预设的文本摘要模型。 7.根据权利要求1所述的文本摘要抽取方法， 其特征在于， 所述将所述向量表示矩阵输 入到预设的文本摘要模型， 得到所述待抽取文本的文本摘要包括： 将所述向量表示矩阵输入到预设的文本摘要模型中， 通过条件分布恢复出文本摘要， 得到待抽取文本的文本摘要。 8.一种文本摘要抽取装置， 其特 征在于， 包括： 输入序列截取模块， 用于获取待抽取文本， 根据预设长度的截取窗口对所述待抽取文 本进行截取， 得到 输入序列； 噪声添加模块， 用于按照文本处理方式， 对所述输入序列添加噪声信 息， 得到噪声输入 序列； 向量表示模块， 用于通过预训练模型生成所述噪声输入序列的向量表示， 得到所述噪 声输入序列的向量表示矩阵； 文本摘要抽取模块， 用于将所述向量表示矩阵输入到预设的文本摘要模型， 得到所述 待抽取文本的文本摘要。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7 中任一项所述文本摘要抽取 方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求 1至7中任一项 所述文本摘要抽取方法 的步骤。权　利　要　求　书 2/2 页 3 CN 114661894 A 3