(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210510688.2 (22)申请日 2022.05.11 (71)申请人 内蒙古大学 地址 010021 内蒙古自治区呼和浩特市赛 罕区大学西路23 5号内蒙古 大学 (72)发明人 王炜华　吕磊　飞龙　高光来　 (74)专利代理 机构 西安知诚思 迈知识产权代理 事务所(普通 合伙) 61237 专利代理师 李冰 (51)Int.Cl. G06F 40/295(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 超矩形几何嵌入细粒度命名实体的建模、 识 别方法及系统 (57)摘要 本发明公开了一种超矩形几何嵌入细粒度 命名实体的建模、 识别方法及系统， 先将细粒度 命名实体训练数据以及对应的细粒度命名实体 类型， 转换为同一超矩形嵌入空间上的表示； 然 后将细粒度命名实体类型的预测看作多标签分 类任务， 利用转换得到的细粒度命名实体以及对 应的细粒度命名实体类型在同一超矩形嵌入空 间上的表 示， 构建并训练超矩形几何嵌入细粒度 命名实体类型分类器， 训练完成后即得到每个细 粒度命名实体以及对应细粒度命名实体类型的 超矩形表 示， 完成超矩形几何嵌入细粒度命名实 体的建模。 然后利用构建并训练的超矩形几何嵌 入细粒度命名实体类型分类器预测待识别的细 粒度命名实体的细粒度命名实体类型， 提升了细 粒度命名实体的识别准确率。 权利要求书3页 说明书8页 附图2页 CN 114757194 A 2022.07.15 CN 114757194 A 1.超矩形几何嵌入细粒度命名实体的建模方法， 其特 征在于， 按照以下步骤进行： 步骤S1、 将细粒度命名实体训练数据以及对应的细粒度命名实体类型， 转换为同一超 矩形嵌入空间上的表示； 步骤S2、 将细粒度命名实体类型的预测看作多标签分类任务， 利用转换得到的细粒度 命名实体以及 对应的细粒度命名实体类型在同一超矩形嵌入空间上的表示， 构建并训练超 矩形几何嵌入细粒度命名实体类型分类器， 训练完成后， 即得到每个细粒度命名实体以及 对应细粒度命名实体 类型的超矩形表示， 完成超矩形几何嵌入细粒度命名实体的建模。 2.根据权利要求1所述的超矩形几何嵌入细粒度命名实体的建模方法， 其特征在于， 将 细粒度命名实体训练数据转换为超矩形嵌入空间上的表示， 是对输入元组(e,c)的细粒度 命名实体e和细粒度命名实体文本描述c进 行编码并映射到超矩形嵌入空间上， 具体操作如 下： 步骤S11， 首先对输入元组(e,c)进行预处理， 将其转换为[CLS]e[SEP]c[SEP]格式 的文 本序列； 步骤S12， 使用BERT编码器将整个格式为[CLS]e[SEP]c[SEP]的文本序列编码为单个编 码向量X； 步骤S13， 通过一个两层前馈神经网络对编码向量X∈Rh进行编码， Rh表示维度为h的向 量空间， h是BERT编 码器的隐藏层大小； 并将 两层前馈神经网络输出的编码向量与 原编码向 量X通过一个门控单元相加得到新向量 R2d表示2d维的向量空间， d是超矩形嵌入 空间的维度大小， 新向量 表示如下： 其中， (1‑g)表示门控单元为原编码向量X分配的权重值， g表示门控单元为两层前馈神 经网络输出的编码向量分配的权 重值， FNN(X)表示两层前馈神经网络的输出； 步骤S14， 将新向量 按照维度大小均分， 得到中心向量ax和偏置向量bx， ax∈Rd， bx∈Rd， 中心向量ax由新向量 的1～d维的值构成， 偏置向量bx由新向量 的d+1～2d维的值构成； 利用超矩形的中心向量ax和偏置向量bx计算得到输入元组(e,c)对 应超矩形x的右上角坐标 向量xR及其左下角坐标向量xL， xR＝{xR,i}， xL＝{xL,i}， i∈{1,...,d}， d为坐标向量xR、 xL的 维度大小； 则输入元组(e,c)对应超矩形x表示为x＝(xL,i,xR,i)d； 其中， xR,i表示超矩形x的 右上角坐标向量xR在第i个维度上的值， xL,i表示超矩形x的左下角坐标向量xL在第i个维度 上的值， xL,i,xR,i∈Rd， Rd表示d维实数空间； 将细粒度命名实体类型转换为超矩形嵌入空间上的表示， 是随机初始化超矩形yn的右 上角坐标向量yn,R和左下角坐标向量yn,L， yn,R＝{yn,R,i}， yn,L＝{yn,L,i}， i∈{1,...,d}， 则细 粒度命名实体类型对应的超矩形yn表示为x＝(yn,L,i,yn,R,i)d； 其中， yn,R,i表示超矩形yn的右 上角坐标向量yn,R在第i个维度上的值， yn,L,i表示超矩形yn的左下角坐标向量yn,L在第i个维 度上的值， yn,L,i,yn,R,i∈Rd。 3.根据权利要求2所述的超矩形几何嵌入细粒度命名实体的建模方法， 其特征在于， 输 入元组(e,c)对应超矩形x的右上角坐标向量xR计算为： xR＝σ(ax+softplus(bx))；                (2) 输入元组(e,c)对应超矩形x的左下角坐标向量xL计算为：权　利　要　求　书 1/3 页 2 CN 114757194 A 2xL＝σ(ax‑softplus(bx))；                (3) 其中， σ表示sigmoid函数， softplus函数的表达式为softplus(x)＝klog(1+ex/k)， softplus(x)的x＝bx即为公式(7)中的softplus(bx)； k是平滑系数。 4.根据权利要求2所述的超矩形几何嵌入细粒度命名实体的建模方法， 其特征在于， 将 细粒度命名实体类型预测看作多标签分类任务， 构建并训练超矩形几何嵌入细粒度命名实 体类型分类 器的具体过程如下： 步骤S21、 初始化超矩形几何嵌入细粒度命名实体 类型分类 器； 步骤S22、 训练超矩形几何嵌入细粒度命名实体 类型分类 器， 具体过程如下： 根据公式(4)计算训练集D中每个输入元组(e,c)的细粒度命名实体类型为tn的条件概 率： 其中， yn为细粒度 命名实体类型tn在d维超矩 形几何嵌入空间上的当前表示， x为输入元 组(e,c)映射到同一超矩形嵌入空间上 的当前表示； V(x)为超矩形x的体积， V(x∩yn)为超 矩形x和超矩形yn相交部分的体积； 基于计算得到的概率P(tn|(e,c))， 超矩形几何嵌入细粒度命名实体类 型分类器通过设 定阈值对训练集D中的细粒度命名实体e和细粒度命名实体类型tn进行判断， 如果概率P(tn| (e,c))大于设定的阈值， 则将细粒度命名实体 类型tn作为细粒度命名实体e的预测类型； 将细粒度命名实体e的预测类型和对应的细粒度命名实体真实类型进行比较， 优化损 失函数， 并更新 所有输入元组(e,c)的超矩形x和细粒度命名实体类型tn的超矩形 yn， 使损失 函数值最小； 步骤S23、 采用测试集测试训练后的超矩形几何嵌入细粒度命名实体类型分类器的预 测结果是否符合预期， 如不符合， 则 更新所有输入元组(e,c)的超矩形x和细粒度命名实体 类型tn的超矩形yn， 并返回步骤S22迭代训练过程， 直至训练后的超矩形几何嵌入细粒度命 名实体类型分类器的预测结果符合预期， 得到每个细粒度命名实体以及对应细粒度命名实 体类型的超矩形表示， 完成超矩形几何嵌入细粒度命名实体的建模。 5.根据权利要求4所述的超矩形几何嵌入细粒度命名实体的建模方法， 其特征在于， 超 矩形x和超矩形yn相交部分的体积V(x∩yn)按照下式计算： 超矩形x的体积V(x)按照下式计算： 其中， softplus()为激活函数， xR,i为超矩形x的右上角坐标向量xR的第i个维度的数 值， xL,i为超矩形x的左下角坐标向量xL的第i个维度的数值， yn,R,i为超矩形yn的右上角坐标 向量yn,R的第i个维度的数值， yn,L,i为超矩形yn的左下角坐标向量yn,L的第i个维度的数值， i ∈{1,...,d}， d为超矩形x的右上角坐标向量xR和左下角坐标向量xL的维度大小。 6.根据权利要求4所述的超矩形几何嵌入细粒度命名实体的建模方法， 其特征在于， 损权　利　要　求　书 2/3 页 3 CN 114757194 A 3