(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210266977.2 (22)申请日 2022.03.18 (71)申请人 中国电子科技 集团公司第十 研究所 地址 610000 四川省成 都市金牛区茶店子 东街48号 (72)发明人 刘鑫　黄细凤　戴礼灿　张海瀛　 刘万里　代翔　 (74)专利代理 机构 成都九鼎天元知识产权代理 有限公司 51214 专利代理师 黎飞 (51)Int.Cl. G06F 40/211(2020.01) G06F 40/284(2020.01) G06F 40/30(2020.01) (54)发明名称 一种可控开放式组合规则知识生成方法及 系统 (57)摘要 本发明涉及人工智能技术领域， 公开了一种 可控开放式组合规则 知识生成方法及系统， 该方 法包括以下步骤： S1， 组合规则知识建模规范制 定； S2， 组合规则知识提示模板构建； S3， 组合规 则知识获取网络基础模型构建； S4， 组合规则知 识获取网络完整模型构建。 本发 明解决了现有技 术存在的组合规则知识获取效率较低、 准确率较 低、 成本较高等问题。 权利要求书3页 说明书8页 附图5页 CN 114626362 A 2022.06.14 CN 114626362 A 1.一种可控开 放式组合 规则知识生成方法， 其特 征在于， 包括以下步骤： S1， 组合规则知识建模规范制定： 根据组合规则知识对于下游高阶推理任务的支撑需 求， 制定组合 规则知识的关系类型， 对组合 规则知识制定建模规范； S2， 组合规则知识提示模板构建： 对已经总结归纳的组合规则知识进行分析， 通过句法 依赖解析找到条件关键词和结论关键词之 间的最短路径， 并采用反向翻译的方式得到多样 化的组合 规则知识提 示模板； S3， 组合规则知识获取网络基础模型构 建： 基于多层Transformer构建组合规则知识获 取网络的基础模型， 并对组合规则知识获取网络基础模型进行预训练， 使组合规则知识获 取网络基础模型 具备知识储备能力； S4， 组合规则知识获取网络完整模型构建： 通过增加Prompt任务层完善组合规则知识 获取网络基础 模型， 基于多样化的组合规则知识 提示模板重构训练样本对组合规则知识获 取网络基础 模型进行示教， 促使组合规则知识获取网络基础模型在预训练阶段得到的知识 储备能力基础上， 学习到组合条件的概念内涵以及组合条件与结论之间的逻辑关联， 并针 对给定的新的条件组合， 实现组合 规则知识生成。 2.根据权利要求1所述的一种可控开放式组合规则知识生成方法， 其特征在于， 步骤S2 包括以下步骤： S21， 针对总结归纳的组合规则知识中的{条件词， 结论词}， 从开源文本数据进行相似 度匹配计算， 得到一系列包 含条件词和结论词的句子集 合； S22， 将包含条件词和结论句的句子集合输入至句法依赖解析模型中， 通过句法依存分 析的方法， 得到从条件词到结论词之间的最短路径文本； S23， 将步骤S2 2中得到的最短路径文本 输入至反向翻译模型， 输出若干提 示模板集； S24， 将反向翻译模型输出的提示模板集输入至LM优化模型， 通过计算LM分数， 选取其 中得分最高的K个提 示模板， 作为 最终的最优提 示模板集 合。 3.根据权利要求2所述的一种可控开放式组合规则知识生成方法， 其特征在于， 步骤S3 包括以下步骤： S31， 输入层表示： 利用原 始输入文本， 得到组合 规则知识获取网络的输入表示； S32， 网络模型编码： 充分学习文本中的每个词之间的语义关联， 得到文本的上下文语 义表示； S33， 网络模型参数优化： 计算交叉熵损失， 不断优化组合规则知识获取网络基础模型 参数， 当交叉熵损失小于设定阈值时停止优化， 得到最终的组合规则知识获取网络基础模 型参数。 4.根据权利要求3所述的一种可控开放式组合规则知识生成方法， 其特征在于， 步骤S3 中， 设计的预训练推理任务包括： 掩码语言模型任务、 下一句预测任务。 5.根据权利要求4所述的一种可控开放式组合规则知识生成方法， 其特征在于， 步骤S3 中， 执行掩码语言模型任务时， 将输入统一 规定为两段文本拼接的形式。 6.根据权利要求5所述的一种可控开放式组合规则知识生成方法， 其特征在于， 步骤 S31中， 假设原始输入文本为x1x2…xi…xn， 通过掩码操作后的输入文 本为x′1x'2…x′i…x'n， 对掩码后的输入文本进行处 理， 得到组合 规则知识获取网络的输入表示v， 的计算公式为： v＝InputRepresentati on(X)，权　利　要　求　书 1/3 页 2 CN 114626362 A 2其中， X＝[CLS]x ′1x'2…x′i…x'n[SEP]， xi表示输入文本的第i个词， x ′i表示经过掩码 处 理后的第i个词， [CLS]表示文本序列开始的特殊标记， [SEP]表示文本序列之间的分隔标 记。 7.根据权利要求6所述的一种可控开放式组合规则知识生成方法， 其特征在于， 步骤 S32中， 输入表示v经过4层Transformer， 借助自注意力机制充分学习文本中的每个词之间 的语义关联， 最终得到文本的上 下文语义表示， 计算公式为： h[l]＝Transformer ‑Block(h[l‑1]), 其中， h[l]∈RN×d表示第l层Transformer的隐含层输出， h[0]＝v， N表示序列长度， d表示 组合规则知识获取网络的隐含层维度。 8.根据权利要求6所述的一种可控开放式组合规则知识生成方法， 其特征在于， 步骤 S33中， 计算掩码表 示中的第i个 分量对应的词表上的概率分布Pi， 利用Pi与标签yi计算交叉 熵损失， Pi计算公式为： 其中， Softmax()表示激活函数,i表示掩码表示中的分量编号， m表示被掩码的标记， W 表示词向量矩阵， T表示转置操作， 表示词向量矩阵的转置矩阵， 表示第i个被掩 码的词的向量表示， bo表示全连接层的偏置 。 9.根据权利要求1至8任一项所述的一种可控开放式组合规则知识生成方法， 其特征在 于， 步骤S4包括以下步骤： S41， 在组合规则知识 获取网络基础模型进行预训练的基础 上， 添加Prompt掩码语言任 务层， 构建出完整的组合 规则知识获取网络模型； S42， 按照组合规则知识的建模规范， 通过人工构建或者句法依赖解析的方式得到一系 列适用于不同下游推理任务的组合 规则知识提 示模板； S43， 将已有的组合规则知识按照提示模板形式进行重构， 得到一系列符合形式规范的 组合规则知识训练样本； S44， 将获得的组合规则知识训练样本输入至构建的组合规则知识获取网络中进行任 务层模型训练， 得到具 备组合规则知识生成能力的组合 规则知识获取网络模型； S45， 将新的多元条件按照模板形式进行重构， 输入至训练好的组合规则知识获取网络 完整模型中， 输出一系列合理且开 放的新组合 规则知识以及其 概率； S46， 对将得到的组合规则知识进行判定， 或者设定置信概率值， 将通过判定或者高于 设定置信概率值的组合 规则知识入库， 扩充知识库规模。 10.一种可控开放式组合规则知识生成系统， 其特征在于， 基于权利要求1至9任一项所 述的一种可控开 放式组合 规则知识生成方法， 包括依次电相连的以下模块： 组合规则知识建模规范制定模块： 用以根据组合规则知识对于下游高阶推理任务的支 撑需求， 制定组合 规则知识的关系类型， 对组合 规则知识制定建模规范； 组合规则知识提示模板构建模块： 用以对已经总结归纳的组合规则知识进行分析， 通权　利　要　求　书 2/3 页 3 CN 114626362 A 3