(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210394552.X (22)申请日 2022.04.13 (71)申请人 浙大城市学院 地址 310015 浙江省杭州市拱 墅区湖州街 51号 (72)发明人 谢健　 (74)专利代理 机构 杭州九洲专利事务所有限公 司 33101 专利代理师 张羽振 (51)Int.Cl. G16H 50/80(2018.01) G06F 16/35(2019.01) G06F 40/295(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) (54)发明名称 一种基于多任务学习的社交媒体疫情事件 抽取技术 (57)摘要 本发明涉及一种基于多任务学习的社交媒 体疫情事件抽取技术， 包括： 提取文本的多个特 征向量； 将多个特征向量进行融合； 进行多任务 联合训练， 多任务包括相关预测、 实体填槽预测 和句子分类预测； 对疫情事件进行相关预测； 对 疫情事件进行 实体填槽预测； 对疫情事件进行句 子分类预测。 本发明的有益效果是： 本发明通过 改进多任务学习， 并且加入Attention机制获得 多特征融合向量， 增强模型的信息提取能力， 获 得更为准确有效的信息， 同时利用多任务联合训 练实现不同任务间的信息共享， 进行任务预测， 提高针对社交媒体的Cov id‑19事件抽取性能， 并 且在WNUT ‑2020shared  Task3数据集中获得了优 异性能。 权利要求书3页 说明书11页 附图1页 CN 114822869 A 2022.07.29 CN 114822869 A 1.一种基于多任务学习的社交媒体疫情事 件抽取技 术， 其特征在于， 包括以下步骤： 步骤1、 提取文本的多个特 征向量； 步骤2、 将所述多个特 征向量进行融合； 步骤3、 进行多任务联合训练， 所述多任务包括相关预测、 实体填槽预测和句子分类预 测； 步骤4、 对疫情事 件进行所述相关预测； 步骤5、 对所述疫情事 件进行所述实体填槽预测； 步骤6、 对所述疫情事 件进行所述句子分类预测。 2.根据权利要求1所述的基于多任务学习的社交媒体疫情事件抽取技术， 其特征在于， 所述步骤1包括： 步骤1.1、 给定 长度为T的句子X＝{w1,w2…,wT}， wi表示位置在i的单词； 步骤1.2、 将所述句子 输入语义信息特 征提取器， 提取wi的上下文特征向量Ei； 步骤1.3、 使用字符级向量预训练模型， 提取wi的字符级别特 征向量Ci； 步骤1.4、 使用词性标注工具， 标注wi的词性类型， 并赋予wi与所述词性类型 匹配的词性 特征向量Pi。 3.根据权利要求2所述的基于多任务学习的社交媒体疫情事件抽取技术， 其特征在于， 所述步骤2包括： 步骤2.1、 将所述上下文特征向量Ei、 字符级别特征向量Ci和词性向量Pi进行堆叠处理， 得到三层特 征向量Ti， 表示为： 步骤2.2、 将所述 三层特征向量Ti与随机初始化矩阵Wα进行矩阵相乘， 得到WH， 表示为： 步骤2.3、 WH经过softmax化后即得到 权重矩阵Wβ， 表示为： 其中， bα为可学习偏移量； 步骤2.4、 三层特征向量Ti与权重矩阵Wβ点乘后， 在堆叠 维度上累加， 得到融合特征向量 Ai， 表示为： 其中， bβ为可学习偏移量。 4.根据权利要求3所述的基于多任务学习的社交媒体疫情事件抽取技术， 其特征在于， 所述步骤3包括： 步骤3.1、 将所述相关预测作为主任务， 所述实体填槽预测和句子分类预测作为子任权　利　要　求　书 1/3 页 2 CN 114822869 A 2务； 步骤3.2、 将所述融合特征向量Ai经由Bi‑LSTM网络处理， 得到两个方向的输出分别为 和 表示为： 其中， i为单词在句中对应下 标， T为句子总长度； 步骤3.3、 将所述两个方向的输出相加得到初始输出矩阵fi， 表示为： 步骤3.4、 将初始输出矩阵fi输入到不同任务对应的注意力网络之中。 5.根据权利要求4所述的基于多任务学习的社交媒体疫情事件抽取技术， 其特征在于， 所述步骤3.2中， 将所述融合特征向量Ai经由Bi‑LSTM网络处理， 还得到两个方向的隐藏层 状态 和 6.根据权利要求5所述的基于多任务学习的社交媒体疫情事件抽取技术， 其特征在于， 所述步骤4包括： 步骤4.1、 将所述两个方向的隐藏层状态 和 相加得到 h， 表示为： 步骤4.2、 利用可 学习矩阵Ws和可学习偏移量bs得到Wattn， 表示为： Wattn＝(Wsh+bs)； 步骤4.3、 将初始输出矩阵fi经由tanh 激活函数处 理得到m， 表示 为： m＝tanh(fi),i∈[1,T]； 步骤4.4、 将m的转置 mT与Wattn做矩阵相乘， 并经由softmax函数归一化得到Attention权 重矩阵αi， 表示为： αi＝softmax(WattnmT)； 步骤4.5、 将权重矩阵αi同初始输出矩阵fi相乘， 并累加得到包含句子主体特征的相关 预测特征向量VT1， 表示为： VT1＝∑iαifi； 步骤4.6、 将所述相关预测特征向量VT1作为句子级的特征向量输入到句级转化层网络 和预测线性层当中， 并将得到的输出 特征向量经softmax函数处 理。 7.根据权利要求6所述的基于多任务学习的社交媒体疫情事件抽取技术， 其特征在于， 所述步骤5包括： 步骤5.1、 将初始输出矩阵fi与可学习矩阵 相乘， 得到初始权重相关矩阵， 再使用 MASKentity与所述初始权 重相关矩阵做点乘操作， 得到 权重矩阵 表示为： 其中， j为当前子任务下 标， MASKentity为针对实体的掩码矩阵； 步骤5.2、 将 经由softmax函数归一 化得到注意力权 重矩阵 表示为：权　利　要　求　书 2/3 页 3 CN 114822869 A 3