(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210209170.5 (22)申请日 2022.03.04 (71)申请人 重庆大学 地址 400030 重庆市沙坪坝区沙正 街174号 (72)发明人 但静培　胥岚林　廖晓爽　 (74)专利代理 机构 重庆双马智翔专利代理事务 所(普通合伙) 50241 专利代理师 顾晓玲 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/12(2020.01) G06F 16/35(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06Q 50/18(2012.01) (54)发明名称 一种基于标签增强表示的罪名预测方法及 系统 (57)摘要 本发明提出了一种基于标签增强表示的罪 名预测方法及系统， 该方法为： 选定案件作为样 本集， 给定样本集中每个案件输入描述； 给定每 个案件对应的罪名的标签输入描述； 对每个案件 描述进行编码， 并得到每个案件描述中每个字的 上下文相关的嵌入表示； 对每个罪名标签进行编 码， 并得到每个罪名标签的嵌入表示； 对编码后 的罪名标签交替使用自注意力机制和交叉注意 力机制， 得到罪名增强标签表示； 将案情文本表 示与罪名增强标签表示拼接， 经卷积神经网络模 型中对该模 型的分类器进行训练； 将需预测的案 件于训练完成的罪名预测模型中进行预测， 得到 预测罪名。 本方法通过罪名增强标签表示所包含 的语义信息使训练数据具有更好的解释性， 从而 获得较高的预测精度。 权利要求书2页 说明书7页 附图1页 CN 114781389 A 2022.07.22 CN 114781389 A 1.一种基于标签增强表示的罪名预测方法， 其特 征在于， 包括以下步骤： 选定案件作为样本集， 给定样本集中每个案件输入描述； 给定每个案件对应的罪名的 标签输入描述； 对每个案件描述进行编码， 并得到每个案件描述中每个字的上下文相关的嵌入表示， 记为案情文本表示Xf； 对每个罪名标签描述进行编码， 并得到每个罪名标签的嵌入表示， 将包含所有罪名标 签的嵌入表示的标签集记为ET； 对编码后的罪名标签融合所述案情文本表示交替使用自注意力机制和 交叉注意力机 制， 得到罪名增强标签表示 将所述案情 文本表示Xf与罪名增强标签表示 拼接起来， 经卷积神经网络模型对该模 型的分类 器进行训练， 得到训练完成的罪名预测模型； 将需预测的案件于训练完成的罪名预测模型中进行 预测， 得到预测罪名。 2.根据权利要求1所述的基于标签增强表示的罪名预测方法， 其特征在于， 给定样本集 中每个案件输入描述， 对每个案件输入描述Sd进行字粒度处理， 得到案件事实描述 表示案件输入描述文本中的第i个字， m是案件输入描 述 文本中字的数量， i 为正整数， 1≤i≤m； 对 每 个 罪 名 标 签 输 入 描 述 进 行 字 粒 度 处 理 ，得 到 罪 名 标 签 表示罪名标签c输入描述文本的第j个字， c为不大于L的正整 数， L代表罪名标签的数量， p表示 罪名字数； 分别对案件 事实描述 罪名标签 进行编码。 3.根据权利要求2所述的基于标签增强表示的罪名预测方法， 其特征在于， 将案件事实 描述 进行编码， 将该编码器的最后一层隐藏层输出作为案 件事实描述中每 个字的上 下文相关的嵌入表示， 即 其中ds表示编码器最后一层隐藏层的 维度, 代表案件事实描述中第i个字对应的嵌入表示。 4.根据权利要求2所述的基于标签增强表示的罪名预测方法， 其特征在于， 将罪名标签 进行编码， 将该编码器的最后一层隐藏层输出作为每个罪 名标签在字粒度上的嵌入表示 其中 代表该 罪名标签中第j个字对应的嵌入表示， 将每个罪名标签的嵌入表示进行求和得到 ec表示第c个罪名标签的嵌入表示， 得到包含所有罪名标签的嵌入表示 的标签集ET＝[e1,e2,...,ec,...,eL]。权　利　要　求　书 1/2 页 2 CN 114781389 A 25.根据权利要求1所述的基于标签增强表示的罪名预测方法， 其特征在于， 对编码后的 罪名标签融合所述案情文本表示交替使用自注意力机制和交叉注意力机制时， 根据 transformer模型， 采用具有Q ‑K‑V的注意力模型： 令键矩阵为 查询矩阵为 值矩阵为 其中Wk、 Wq、 Wv为全零矩阵， 由tran sformer的缩放点积注意力得到注 意力输出 其中N和M分别表示查询向量和键值的长度， D为词 嵌入维度， Dk表示键或查询矩阵的维度， Dv表示值矩阵的维度； 在向前反馈时 进行残差连接 ， 将得到最终输出作为罪 名增强标签表示 ： 其中hc指罪名标签c的特定表示。 6.根据权利要求1所述的基于标签增强表示的罪名预测方法， 其特征在于， 所述卷积神 经网络模型的损失函数为 其中 代表预测值， yc代表真实值， L 代表罪名标签总数。 7.一种罪名预测系统， 其特征在于， 包括处理模块和存储模块， 所述处理模块和存储模 块相互通信连接， 所述存储器用于存放至少一可执行指令， 所述可执行指令使所述处理器 执行如权利要求1 ‑6任一项所述的基于标签增强表示的罪名预测方法对应的操作。 8.基于权利要求7所述的罪名预测系统,其特征在于， 所述处理模块包括案情描述编码 器、 标签特 征增强器和分类 器； 所述案情描述编码器将每 个案件描述编码， 得到 案情文本表示； 所述标签特征增强器将罪名标签映射到潜在的语义空间得到罪名标签的嵌入表示， 并 和案情文本表示进行融合得到罪名增强标签表示； 所述分类器将所述案情文本表示和罪名增强标签表示融合后训练一个分类模型进行 分类预测， 得到预测结果。权　利　要　求　书 2/2 页 3 CN 114781389 A 3