(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210507663.7 (22)申请日 2022.05.10 (71)申请人 电子科技大 学 地址 610041 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 林劼　李赛鹏　姜铼　王元芳　 肖新宇　梁玉龙　 (74)专利代理 机构 成都金英专利代理事务所 (普通合伙) 51218 专利代理师 郭肖凌 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/216(2020.01) G06F 40/30(2020.01) G06F 16/332(2019.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于神经网络架构搜索技术的对话文 本情景划分方法 (57)摘要 本发明公开了一种基于神经网络架构搜索 技术的对话文本情景划分方法， 方法包括： 对话 文本句向量转换， 构建句向量模 型将对话文本语 句转换为同一维度的句向量特征； 将对话文本按 照语义特征划分为若干段落， 构建分段模型， 将 对话文本分段作为序列标注任务， 使用三个分段 符号标识一个文本段落； 在模型中使用CRF约束 最后输出分段符号之间的先后顺序， 并基于神经 网络架构搜索技术搜索循环神经网络RNN结构； 将离散的文本段落按照对话情景划分和对话文 本聚类， 并调整最后的聚类效果形成聚类簇。 本 发明解决了训练样本短缺的问题， 对于对话文本 领域一些下游任务能提供更好的支持， 有着更强 的对话语义捕获能力， 可以更好地将对话文本按 照情景进行划分。 权利要求书3页 说明书7页 附图4页 CN 115203402 A 2022.10.18 CN 115203402 A 1.一种基于神经网络架构搜索技术的对话文本情景划分方法， 其特征在于， 包括以下 步骤： 步骤一： 对话文本句向量转换， 训练一个用于捕 获对话语义信 息的句向量模型， 在句向 量模型构建完成后， 利用模型将对话文本语句转换为同一维度的句向量特 征； 步骤二： 将对话文本按照语义特征划分为若干段落， 构建分段模型， 将对话文本分段作 为序列标注任务， 使用三个分段符号标识 一个文本段落； 在分段模型中使用条件随机场CRF 约束最后输出分段符号之 间的先后顺序， 并基于神经网络架构 搜索技术搜索一种用于捕获 对话语义信息的循环神经网络RN N结构； 步骤三： 将离散的文本段落按照对话情景划分， 基于DBSCAN算法提出一种对话段落情 景聚类算法进行对话文本聚类， 并通过调控密度半径和样本阈值调整最后的聚类效果， 最 后形成的聚类簇即可视为划分好的对话情景。 2.根据权利要求1所述的一种基于神经网络架构搜索技术的对话文本情景划分方法， 其特征在于， 所述 步骤一具体包括以下子步骤： 步骤11： 构建对话文本句向量模型D SimCSE的训练样本数据集； 步骤12： 以正样本对的目标函数作为句向量模型的训练目标， 对句向量模型进行训练， 正样本对的目标函数如下式所示： 其中Si表示正样本对中的原始语句， S+ i表示正样本对中的新语句， m表示对话语句个 数， t表示温度超参数， sim表示 余弦相似度函数； 对于负样本对， 将正样本对的训练目标 取相反后对句向量模型进行训练； 步骤13： 将对话语句输入对话文本句向量模型DSimCSE进行句向量特征转换， 获得对话 语句对应的句向量特 征。 3.根据权利要求2所述的一种基于神经网络架构搜索技术的对话文本情景划分方法， 其特征在于， 所述 步骤11包括以下步骤： 步骤111： 将同一 篇对话文本中的不同语句作为负 样本对； 步骤112： 在构建正样本对时， 对于每条对话语句， 首先通过词性判别器识别出对话语 句中词性为名词或动词的单词， 通过对这类单词进行重复得到新的语句， 将新语句与原始 语句作为 一组正样本对。 4.根据权利要求1所述的一种基于神经网络架构搜索技术的对话文本情景划分方法， 其特征在于， 所述 步骤二具体包括以下子步骤： 步骤21： 通过基于强化学习的神经网络架构搜索方法搜索一种新型循环神经网络架构 DRNN， 用于捕获对话句向量中的语义信息； 步骤22： 在DRNN的输出特征矩阵之后接一层使用条件随机场CRF来约束分段符号之间 的顺序， 其中<S>表 示段落开始语句， <M>表 示段落中间的语句， <E>表 示段落结束语句； 对于 已知输入对话序列Dialogue＝{s1,s2,...,sm}， 经过CRF输出的分段标记符号为T＝{t1, t2,...,tm}， 则T的得分可如下式所示：权　利　要　求　书 1/3 页 2 CN 115203402 A 2其中， Score(S,T)表示分段标记符号T的得分， A表示CRF的转移矩阵， P表示输出的概率 矩阵； 当训练完成后， 确定CRF的转移矩阵参数； 输出所有序列得分并取序列 得分最大的序列 作为对话句向量的最终语义输出， 具体如下式所示： 其中， TS表示输入 对话序列S时可以输出的所有分段 标记序列； 步骤23： 在训练集上优化对分段模型的参数进行优化； 步骤24： 在验证集上对 控制器的参数进行优化； 步骤25： 得到对话文本的分段 结果。 5.根据权利要求4所述的一种基于神经网络架构搜索技术的对话文本情景划分方法， 其特征在于， 所述 步骤21包括以下子步骤： 步骤211： 将DRNN的搜索空间定义为一个有着N个节点的有向无环图， 图中的每个节点 代表一个激活函数计算节点， 节点之间的有向边表示着信息的流动方向； 边的起始节点代 表输入特征， 边的终止节点表示输出特征， 从输入特征到输出特征 的计算由终止节点上 的 激活函数决定； 步骤212： 通过控制器控制DRNN的搜索 过程， 分两个时间步来搜索DRNN结构上的计算节 点信息； 在搜索节点i时， 第一个时间步确定当前节点的前驱节点， 确保前驱节点已经先于 节点i被搜索； 第二个时间步确定节点 i上需要的激活函数。 6.根据权利要求4所述的一种基于神经网络架构搜索技术的对话文本情景划分方法， 其特征在于， 所述 步骤23包括以下子步骤： 步骤231： 固定控制器参数； 步骤232： 控制器搜索一个DRN N架构； 步骤233： 通过DRNN架构捕获对话语义信息， 并输出最后的CRF结果， 计算分段损失， 如 下式所示： 步骤234： 优化分段模型的参数。 7.根据权利要求4所述的一种基于神经网络架构搜索技术的对话文本情景划分方法， 其特征在于， 所述 步骤24包括以下子步骤： 步骤241： 固定DRN N中特征节点上的参数； 步骤242： 控制器搜索多个DRN N架构； 步骤243： 通过表现最 好的DRNN计算控制器损失；权　利　要　求　书 2/3 页 3 CN 115203402 A 3