(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210383512.5 (22)申请日 2022.04.12 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 宋大为　张辰辰　李秋池　马放　 (74)专利代理 机构 北京正阳理工知识产权代理 事务所(普通 合伙) 11639 专利代理师 张利萍 (51)Int.Cl. G06F 40/30(2020.01) G06N 3/04(2006.01) (54)发明名称 一种基于密度矩阵的语义匹配方法 (57)摘要 本发明涉及一种基于密度矩阵的语义匹配 方法， 属于自然语言处理中的文本匹配技术领 域。 本方法提出了一种基于密度矩阵的状态 ‑概 率对偶性的量子启发的自然语言处理模型， 利用 该模型进行语义匹配。 该模型的状态 ‑概率对偶 性自然产生了一种混合方法， 结合了基于表示的 语义匹配和基于交互的语义匹配两种工作方式。 通过对句子对中的一个句子的密度矩 阵进行奇 异值分解， 提取出句子的主要语义成分， 这些语 义成分构成了语义空间的正交基， 从而作为句子 对中另一个句子的测量算子进行量子测量。 本方 法采用的句子对非对称处理方法， 显著地提高了 语义匹配的性能。 权利要求书2页 说明书5页 附图2页 CN 115048935 A 2022.09.13 CN 115048935 A 1.一种基于密度矩阵的语义匹配方法， 其特 征在于， 包括以下步骤： 步骤1： 对数据集包 含的句子对中的每 个词进行复数词嵌入； 其中， 数据集包括训练集、 验证集和测试集； 句子中的每个单词都被视为一个粒子， 对 应于希尔伯特空间中的一个纯态， 引入复数词嵌入， 每 个单词表示 为： 其中， |w>表示每个单词归一化后的叠加态， 表示每个单词w被嵌入为一个复值向量， 表示为 的长度； 步骤2： 进行量子 叠加态到混合态的句子建模； 步骤3： 对全局混合态的语句进行语义抽取， 为后续的量子测量过程提供必要的测量算 子； 步骤4： 使用经 过步骤3得到的测量 算子， 进行量子测量过程； 基于步骤3提取的主要语义成分， 对句子对中局部混合态所在句子所对应的语义进行 量子投影测量； 步骤5： 进行句子对的双向匹配。 2.如权利要求1所述的一种基于密度矩阵的语义匹配方法， 其特征在于， 步骤1包括以 下步骤： 步骤1.1： 复数词嵌入包括实数部分和虚数部分， 这两部分由幅值和相位共同决定， 提 供一种线性形式的非线性语义组合方式； 步骤1.2： 根据幅值和相位的关系， 得到词嵌入的实部和虚部， 并构成复数形式， 实现单 词的复数词嵌入。 3.如权利要求2所述的一种基于密度矩阵的语义匹配方法， 其特征在于， 幅值采用词嵌 入模型进行初始化。 4.如权利要求2所述的一种基于密度矩阵的语义匹配方法， 其特征在于， 幅值采用预训 练语言模型进行初始化。 5.如权利要求2所述的一种基于密度矩阵的语义匹配方法， 其特征在于， 相位采用随机 初始化。 6.如权利要求1所述的一种基于密度矩阵的语义匹配方法， 其特征在于， 步骤2包括以 下步骤： 步骤2.1： 对步骤1得到的复数词嵌入进行归一化处理， 得到归一化后的复数词向量和 相对应的权 重； 步骤2.2： 将复数词向量与对应的权 重相乘， 得到每 个词对应的混合态。 7.如权利要求6所述的一种基于密度矩阵的语义匹配方法， 其特征在于， 步骤2.2中， 一 个句子包 含有多个词， 将其看作是一个希尔伯特空间中的多个粒子； 使用混合态 表示句子的混合状态， 包括全局混合态和 局部混合态， 如下式所示： 其中， ρ 表示混合状态的密度矩阵； N表示句子包含的单词数量； aj表示句子中单词的相权　利　要　求　书 1/2 页 2 CN 115048935 A 2关权重， 表示为单词wj被嵌入为一个复值向量 的长度； 表示为单词wi被嵌入为一个复值向量 的长度； 的和为1， |Фj>表示 叠加态； e表示常数； 如果一个句子包含N个单词， 这N个单词构 成了句子的混合态， 称为全局混合态， 使用密 度矩阵来表示句 子的全局混合态； 对于长文本， 若第一个单词和 最后一个单词之间的距离 过长， 它们之 间的交互可能是微不 足道的， 如果一个句子能够通过长度为L的滑动窗口来更 好地捕捉相邻单词之间的语义关系， 则每个长度为L的局部混合态都能产生一个局部密度 矩阵， 通过引入局部混合态来 解决全局混合态的不 合理之处； 步骤2.3： 针对每个句子对中的两个句子， 采取不同的混合方式； 其中， 一个句子采用全 局混合方式， 得到一个单一的密度矩阵； 同时， 另一个句子使用局部混合态方式， 获得一个 局部混合态密度矩阵的序列； 为所有句子设定一个常数长度， 超过此长度的句子将被截断， 低于此长度的句子将被 填充。 8.如权利要求1所述的一种基于密度矩阵的语义匹配方法， 其特征在于， 步骤3 中， 首先 提取句子的主要语义成分， 使用主成分分析方法提取， 采用奇异 值分解实现， 奇异 值分解如 下所示： 其中， U是一个n*n的酉矩阵， UH表示U的共轭转置矩阵， H表示共轭转置； ui表示U中的元 素， 表示UH中的元素， 特征向量{|ui>}是构成希尔伯特空间的正交基， ∑是对角矩阵； σj 为对角矩阵∑中的元 素， 表示ρ 的奇异值， 并且σ1, σ2,…, σn是非负的且和为1； 奇异值分解针对的是全局混合态对应的密度矩阵， 得到一个酉矩阵和相对应的特征 值； 将酉矩阵作为测量 算子， 用于后续 量子测量过程； 经过奇异值分解， 能够挑选出奇异值最大的句子前k个主成分， 它们被认为承载了句子 的主要语义成分； 通过不断改变k的值并观察 其对最终性能的影响， 最终选取k的最佳 取值； 步骤4中， 首先将步骤3得到的测量算子， 与句子对中的多个局部混合态 的密度矩阵依 次进行量子测量过程， 通过 下式得到概 率： pk＝<uk|ρj|uk> 其中， uk表示步骤3得到的酉矩阵， ρj表示局部混合状态的密度矩阵， pk表示第k个主要 语义的相关度； 将得到的概 率矩阵依次进行拼接， 然后进行池化操作， 获得整体的语义相关性。 9.如权利要求1所述的一种基于密度矩阵的语义匹配方法， 其特征在于， 步骤5 中， 通过 聚集两个方向的相互作用来确定这对句 子在语义上是否匹配， 利用拼接交互特征， 并通过 神经网络层推断句子对的匹配标签。权　利　要　求　书 2/2 页 3 CN 115048935 A 3