(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210508935.5 (22)申请日 2022.05.10 (71)申请人 电子科技大 学 地址 610041 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 林劼　白毅　梁玉龙　李赛鹏　 王元芳　姜铼　 (74)专利代理 机构 成都金英专利代理事务所 (普通合伙) 51218 专利代理师 郭肖凌 (51)Int.Cl. G06F 16/34(2019.01) G06F 16/35(2019.01) G06F 40/216(2020.01) G06F 40/30(2020.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种对话文本摘要 模型自动搜索方法 (57)摘要 本发明公开了一种对话文本摘要模型自动 搜索方法， 方法先将完整的对话文本按照主题信 息划分为若干个离散段落， 使用文本聚类算法聚 类描述相同一主题内容的段落； 基于可微的NAS 算法和生成对抗网络构建对话文本摘要生成模 型， 并分别设计生成器和判别器的搜索空间， 联 合优化对话摘要生成模型； 将聚类获得的主题段 落输入对话文本摘要模型中， 生成对应主题的子 摘要， 并对子摘要进行排序构成最后的对话摘 要。 本发明考虑了生成器和判别器在对抗过程中 的相关性和平衡性， 以可微NAS方法设计了它们 各自的搜索空间， 实现了模型参数和架构参数的 联合优化， 能够有效避免曝光偏差的积累， 能确 保其生成的文本摘要能鲜明地体现主题信息 。 权利要求书3页 说明书7页 附图2页 CN 115062139 A 2022.09.16 CN 115062139 A 1.一种对话文本摘要模型自动搜索方法， 其特 征在于， 包括以下步骤： 步骤1： 对话文本主题划分， 将完整的对话文本按照主题信息划分为若干个离散段落， 使用文本聚类算法聚类描述相同一主题内容的段落； 步骤2： 构建对话文本摘要模型， 基于可微的NAS算法和生成对抗网络构建对话文本摘 要生成模型， 并分别设计生成器和判别器的搜索空间， 联合优化对话摘要生成模型； 步骤3： 基于主题段落生成对话摘要， 将聚类获得的主题段落输入对话文本摘要模型 中， 生成对应主题的子摘要， 并对子摘要 进行排序构成最后的对话摘要。 2.根据权利要求1所述的一种 对话文本摘要模型自动搜索方法， 其特征在于， 所述步骤 1具体包括以下步骤： 步骤11： 使用句向量模型1， 将对话语句转换为同一维度的句向量特 征； 步骤12： 将对话文本分段处理， 使用双向长短期记忆网络BiLSTM捕获对话语句 之间的 上下文信息， 并用CRF输出每条对话语句对应的分段符号， 其中<S>表示段落起始语句， <M> 表示段落中间语句， < E>表示段落终结语句； 步骤13： 将分好的段落按照主题内容进行 聚类处理， 使用DBSCAN算法， 按照段落之间的 语义距离进行主题段落划分。 3.根据权利要求1所述的一种 对话文本摘要模型自动搜索方法， 其特征在于， 所述步骤 2具体包括以下步骤： 步骤21： 分别设计生成器和判别器的搜索空间， 即特征之间的待选操作集合； 其中两者 的搜索空间为一个有向无环图， 图中节点表示中间隐藏特征， 特征节点之间的连线表示可 选操作的权重大小； 对于具有N个隐藏特征的搜索 空间， 中间节点x(j)上的特征可以通过其 所有前继节点计算得到， 如下式所示： 其中O(i,j)表示从隐藏特 征x(i)到隐藏特 征x(j)的变换操作； 定义 为有向无环图中有向边上的待选操作集合， 且将搜索空间表示为连续的， 通过 softmax输出一个对 所有操作选择的概率值， 之后再通过加权求和来获得最 终结果， 具体计 算如下式所示： 其中 表示第i个特征到第j个特征之间的权重， x表示要进行变换 的特征向量， o ’表 示从待选操作集 合 中选择出来的具体操作； 步骤22： 分别设计生成器和判别器的优化目标； 步骤23： 联合优化对话摘要生成模型， 对话摘要生成模型存在四类参数， 分别是生成器 的架构参数、 生 成器的权重参数、 判别器的架构参数以及判别器的权重参数； 采用先训练判 别器再训练生成器的方式对对话摘要生成模型训练； 在对生成器和判别器进行训练时， 在 验证集上 更新架构参数， 在训练集上 更新权重参数。 4.根据权利要求3所述的一种 对话文本摘要模型自动搜索方法， 其特征在于， 所述步骤权　利　要　求　书 1/3 页 2 CN 115062139 A 221具体包括以下子步骤： 步骤211： 设计生成器的搜索空间， 生成器的可选操作集合包括标准卷积、 深度可分离 卷积、 取等、 无操作、 Transformer的多头selft ‑Attention和多头context‑Attention； 步骤212： 设计判别器的搜索空间， 判别器的可选操作集合包括标准卷积、 深度可分离 卷积、 取等、 无操作、 平均池化和最大池化。 5.根据权利要求3所述的一种 对话文本摘要模型自动搜索方法， 其特征在于， 所述步骤 22具体包括以下子步骤： 步骤221： 判别器的优化目标与原 始GAN相同， 如下式所示： 其中， φ表示判别器参数， θ表示生成器参数， pdata表示原始对 话中的数据分布， X表示输 入对话文本， Y表示对话摘要， Gθ表示生成对话摘要的过程， Dφ则表示判别器判断输入摘要 序列为真实摘要的概 率大小； 步骤222： 生成器的损失函数由两部分组成， 一部分是通过策略梯度从判别器传递过来 的反馈损失Lpg， 另一部分则是来自于自身的极大似然估计损失Lml； 生成器的损失函数如下 式所示： 其中， β 是 可控制的平 滑参数， 用于平衡Lpg和Lml； Lml的计算过程如下式所示： 其中m表示生成摘要的长度， θ表示生成器参数， 而p(yt|y1:t‑1,X； θ )则表示在给定输入 对话文本序列X和之前的生成的对话摘要序列y1:t‑1时在t时刻生成单词yt的概率； Lpg的计算过程如下式所示即可， 如下式所示： 其中， 表示acti on‑value函数， 使用判别器的输出作为该函数。 6.根据权利要求3所述的一种 对话文本摘要模型自动搜索方法， 其特征在于， 所述步骤 23包括以下子步骤： 步骤231： 固定判别器的架构参数， 在验证集上 更新判别器的权 重参数； 步骤232： 固定判别器的权 重参数， 在训练集上 更新判别器的架构参数； 步骤233： 固定生成器的架构参数， 在验证集上 更新生成器的权 重参数； 步骤234： 固定生成器的权 重参数， 在训练集上 更新生成器的架构参数。 7.根据权利要求1所述的一种 对话文本摘要模型自动搜索方法， 其特征在于， 所述步骤 3包括以下子步骤： 步骤31： 将主题段落集合Topic＝{t1,t2,...,tm}输入对话摘要生成模型中， 获得各个 主题段落对应的主题子摘要集 合S＝{s1,s2,...,sm}； 步骤32： 每个主题T由多个段落聚类形成的， 每个段落由多条对话语句构成； 以每条对权　利　要　求　书 2/3 页 3 CN 115062139 A 3