(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210251484.1 (22)申请日 2022.03.15 (71)申请人 浪潮软件科技有限公司 地址 250100 山东省济南市高新区浪潮路 1036号浪潮科技园 (72)发明人 王宗增　杨培强　程林　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 姜丽洁 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/08(2006.01) G06F 16/35(2019.01) G06F 40/289(2020.01) G06F 40/30(2020.01) (54)发明名称 一种商品名称分类的模型构建方法及装置 (57)摘要 本发明涉及网络模型领域， 具体提供了一种 商品名称分类的模型构建方法， 具有如下步骤： S1、 开源Wikipedia和Books  Corpus语料收集， 税 务商品名称语料收集； S2、 对开源Wikipedia和 BooksCorpus语 料进行数据集操作； S3、 引入BERT 网络进行并进行模块化编程； S4、 组合各编程模 块， 构建完整End ‑to‑End的流水线； S5、 使用预处 理后的开源数据， 对调整后的网络进行预训练； S6、 对网络进行微调， 得到最终的税务领域商品 名称分类迁移学习的模型。 与现有技术相比， 本 发明的一种商品名称分类的模型构建方法， 能够 实现税务商品名称分类， 具有良好的推广价 值。 权利要求书2页 说明书5页 附图3页 CN 114580560 A 2022.06.03 CN 114580560 A 1.一种商品名称分类的模型构建方法， 其特 征在于， 具有如下步骤： S1、 开源W ikipedia和Bo oks Corpus语料收集， 税务商品名称语料收集； S2、 对开源W ikipedia和Bo oks Corpus语料进行 数据集操作； S3、 引入BERT网络进行并进行模块 化编程； S4、 组合各编程模块， 构建完整End ‑to‑End的流水线； S5、 使用预处 理后的开源数据， 对调整后的网络进行 预训练； S6、 对网络进行微调， 得到最终的税务领域商品名称分类迁移学习的模型。 2.根据权利要求1所述的一种商品名称分类的模型构建方法， 其特征在于， 在步骤S2 中， 依据预训练的单句预测、 句子对预测、 SQuAD、 Cloze、 结构化预测序列标注CWS共5类任 务， 对开源W ikipedia和Bo oks Corpus语料进行分词、 词嵌入和打标制定数据集操作； 依据Fine ‑tun商品名称分类Specific ‑task， 对税务商品名称数据进行信息抽取、 分 词、 词嵌入操作。 3.根据权利要求2所述的一种商品名称分类的模型构建方法， 其特征在于， 在步骤S3 中， 引入BERT作为主干网络， 针对网络设计3大类优化模块， 包括N ‑Gram结构显示和隐式的 粗细粒度知识引入、 Retrospective  Feed Mechanism和Enhanced  Recurrence  Mechanism 算法的构建、 Mu lti‑headed和Scaledot ‑product Self‑attention的超参数改进， 并进行模 块化编程实现。 4.根据权利要求3所述的一种商品名称分类的模型构建方法， 其特征在于， 引入word粒 度和word  pair粒度知识， 通过显式的n ‑gram掩蔽方法， 对BERT的MLM中被忽略的粗粒度语 义知识进行增强， 构成要素包括连续MLM、 显示n元语法掩码 语言建模、 综合的n元语法预测、 增强的n元语法关系建模和n元语法提取。 5.根据权利 要求4所述的一种商品名称分类的模型构 建方法， 其特征在于， 所述Multi ‑ headed attention中,BERT中引入8头注意力机制， 多头表征进行concatenate操作， 后进行 matrix product， IS ‑gram使用horovod并行技术， 使用12头注意力， 同时dot ‑product后进 行batch normalization处理， 增强模型的鲁棒 性。 6.根据权利 要求5所述的一种商品名称分类的模型构 建方法， 其特征在于， 所述Scaled   dot‑product attention 中， IS‑gram模型self ‑attention 中， 对点积值softmax之前， 进行 处罚时， 不再指定除去QKV向量维度的开方， 设定为可 学习的变量。 7.根据权利要求6所述的一种商品名称分类的模型构建方法， 其特征在于， 在步骤S5 中， 使用预处理后的开源数据， 对调整后的网络进行预训练， 直到网络收敛生成Pre ‑train 的网络结构、 权 重、 属性和优化器 状态的序列化文件。 8.根据权利要求7所述的一种商品名称分类的模型构建方法， 其特征在于， 在步骤S6 中， 分别采取屏蔽文本表征模块和无模块屏蔽两种 策略， 使用预处理后的税务商品名称数 据， 对步骤S5生 成的网络进行迁移学习微调， 并生 成Fine‑tune的网络权重和优化器状态的 序列化文件， 得到最终的税务领域商品名称分类迁移学习的模型。 9.一种商品名称分类的模型构建装置， 其特征在于， 包括： 至少一个存储器和至少一个 处理器； 所述至少一个存 储器， 用于存 储机器可读程序； 所述至少一个处理器， 用于调用所述机器可读程序， 执行权利要求1至8中任一所述的权　利　要　求　书 1/2 页 2 CN 114580560 A 2方法。权　利　要　求　书 2/2 页 3 CN 114580560 A 3