(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210460271.X (22)申请日 2022.04.28 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 申请人 北京中科闻歌科技股份有限公司 (72)发明人 张鹏　郭静静　樊子鹏　罗引　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 韩帅 (51)Int.Cl. G06N 10/60(2022.01) G06F 40/211(2020.01) G06F 40/30(2020.01) (54)发明名称 一种融合句法信息的量子语言模型建模系 统及其应用 (57)摘要 本发明公开了一种融合句法信息的量子语 言模型建模 方法， 该方法从表 示句子的量子系统 入手， 在模型中引入句法结构信息， 以提高量子 语言模型的建模能力， 包括数据的预处理及句法 结构生成模块、 句法指导的单词表示模块、 语义 和语法信息融合的句子表达模块； 所述数据的预 处理及句法结构生成模块将句子处理成句法结 构树的形式； 句法指导的词向量表达模块利用每 个句子的依存信息， 训练单词的词向量表达； 语 义和语法信息融合的句子表达模块将上一步生 成的词向量转换为密度矩阵， 进一步得到句法指 导的句子表达， 以用于下游任务的训练； 本发明 基于句法结构树重构密度矩阵的生成与表达， 利 用依存关系建模了句子的词项依赖 。 权利要求书2页 说明书9页 附图1页 CN 114841353 A 2022.08.02 CN 114841353 A 1.一种融合句法信息的量子语言模型构建系统， 其特征在于： 所述系统包括数据的预 处理及句法结构生成模块、 句法指导的词向量表达模块、 语义和语法信息融合的句 子表达 模块和特征抽取模块； 所述系统利用依存句法关系， 建模句子中的词项依赖， 生成 融合语法 和语义的句子表达； 其中： ‑‑所述数据的预处理及句法结构生成模块通过依存句法分析对数据集的每一个句子 进行初步的处 理， 生成句子单词间具有依存关系句法结构树； ‑‑所述句法指导的词向量表达模块根据句子的依存句法矩阵得到每个单词的父节点， 并将单词的词向量与父节点词向量相加， 生成基于句法的词向量表达； 即， 融合句法的语义 嵌入矩阵； ‑‑所述语义和语法信 息融合的句子表达模块以依存句法矩阵为指导， 建立句子 中存在 依存关系的两个词项间的交互， 来增强整个句子的单词之 间的交互； 其中： 将交互后的词项 与词项间的依存弧信息融合， 并将其表达成一个密度矩阵表示的量子事件， 再把单词的密 度矩阵加权相加， 获得 单词交互的句子混合态， 此为 最终融合语法和语义的句子表达 。 2.根据权利要求1所述的一种融合句法信 息的量子语言模型构建系统， 其特征在于： 所 述句法指导的词向量表达模块 生成融合句法的语义嵌入矩阵过程： 201、 把每一条数据即每一条语句的每个单词在句法结构树中的父节点找出来， 记录其 序号作为依存排序矩阵的值 生成依存排序矩阵： 其中： XDij解释， 每一行代表一条语句的的句法信息， 每行的每个元素位置代表句子中 单词的位置， 每 个元素值代表此位置单词在本语句 句法结构树中的父节点 位置； 202、 经过预训练的句子嵌入矩阵记为X， 矩阵X的每一行代表句子的每一个单词， 根据 句法排序矩阵对句子的词嵌入矩阵进行排序获得 父节点词嵌入矩阵X ′， 即： 203、 将句子词嵌入矩阵与对应的父节点词嵌入矩阵相加获得融合句法的语义嵌入矩 阵： EX＝X+X′。 3.根据权利要求1所述的一种融合句法信 息的量子语言模型构建系统， 其特征在于： 所 述语义和语法信息融合的句子表达模块获得最终融合语法和语义的句子表达过程： 301、 根据所有依存关系类型建立依存弧信息词典， 语句S的单词间的依存关系类型记 为C： 同时， 根据依存弧信息词典找出对应依存关系类型C的索引， 并映射为词嵌入矩阵， 记 为CX； CX对应句子中每 个单词依存于父节点的类型； 其中： C＝{c1、 c2、 c3……cs} 302、 将存在依存关系的两个单词及其两者间的依存关系类型相融合， 作为融合句法的 量子事件， 记为S； 其中： S＝EX+CX 其中： S表示加入句法依存类型的词向量； 303、 将句子看作是由量子事 件组成的量子系统， 用密度矩阵ρ 表示；权　利　要　求　书 1/2 页 2 CN 114841353 A 2ρ ＝∑ipiSi＝∑ipi|Si><Si| 其中： |Si>称为右矢， 表示一个列向量， <Si|称为左矢， 表示一个行向量； 密度矩阵的计 算方式为： 单词作外积后得到一个矩阵， 句子的所有矩阵以一定概率p相加得到密度矩阵； 在模型中， 概 率p作为参数存在， 跟随模型训练。 4.一种融合句法信息的量子语言模型构建系统在问答任务的应用， 其特 征在于： 数据的预处 理及句法结构生成模块对数据进行依存分析建立 排序矩阵； 句法指导的词向量表达模块根据已有的单词嵌入矩阵和排序矩阵， 对单词嵌入矩阵进 行排序， 得到父节点矩阵， 两个矩阵相加， 即被支配单词与支配单词相加， 得到最后的融合 句法的语义矩阵； 语义和语法信 息融合的句子表达模块加入句法关系类型信 息， 生成融合语法和语义的 词向量表达； 同时， 建立问题和答案的密度 矩阵表示， 并计算其联合密度 矩阵作为两者的交 互； 特征抽取模块使用卷积神经网络对联合密度矩阵进行卷积池化处理生成匹配特征向 量； 通过回归分类 器对匹配特 征向量进行 预测。权　利　要　求　书 2/2 页 3 CN 114841353 A 3