(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210242295.8 (22)申请日 2022.03.11 (71)申请人 内蒙古农业大 学 地址 010018 内蒙古自治区呼和浩特市赛 罕区鄂尔多斯东街内蒙古农业大学新 校区计算机学院 (72)发明人 陈俊杰　高静　谢聪娇　史远航　 (74)专利代理 机构 北京汇智英财专利代理事务 所(普通合伙) 11301 专利代理师 何晖 (51)Int.Cl. G06F 40/211(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于扩增存储的图卷积神经网络的关 键词抽取方法 (57)摘要 本申请公开了一种基于扩增存储的图卷积 神经网络的关键词抽取方法， 通过设置扩增存储 图卷积神经网络关键词抽取模型提升多层图卷 积神经网络的节点表示能力。 对文本进行预处理 以及对文本进行句法分析， 将分析结果分别输入 到词语嵌入层， 得到文本图结构信息和词语节点 的嵌入信息并输入到扩增存储的图卷积神经网 络层， 获得相应的向量表示， 将向量表示进行拼 接后输入到LSTM层， 得到输出向量， 将向量表示 和输出向量传送至输出层进行拼接并输出至目 标层， 获得输出类别。 解决了现有的短文本关键 词抽取方法关键词抽取性能较差， 使用的图卷积 神经网络随着卷积层的提升降低了节点的表示 能力的技 术问题。 权利要求书1页 说明书5页 附图2页 CN 114781354 A 2022.07.22 CN 114781354 A 1.一种基于扩增存 储的图卷积神经网络的关键词抽取 方法， 其特 征在于， 包括： 设置扩增存储图卷积神经网络关键词抽取模型， 扩增存储图卷积神经网络关键词抽取 模型包括词语嵌入层、 扩增存 储的图卷积神经网络层、 LSTM层、 输出层和目标层； 对文本进行预处理， 获得所述文本的语义图结构， 对所述文本进行句法分析， 并将分析 结果分别输入到所述词语嵌入层； 将经过所述词语嵌入层后得到的文本图结构信息和词语节点的嵌入信息输入到所述 扩增存储的图卷积神经网络层， 获得相应的向量表示， 将所述向量表示进行拼接后输入到 所述LSTM层； 将经过所述扩增存储的图卷积神经网络层得到的所述向量表示和经过所述LSTM层得 到的输出向量传送至所述输出层进行拼接并输出至所述目标层， 获得输出类别。 2.根据权利要求1所述的基于扩增存储的图卷积神经网络的关键词抽取方法， 其特征 在于， 所述对文本进行预处理， 获得所述文本的语义图结构， 对所述文本进行句法分析， 并 将分析结果分别输入到所述词语嵌入层， 包括： 对所述文本进行预处理， 获得所述文本的单词集合和文本序列， 对所述文本进行句法 分析得到句法关系， 将所述单词集合中的词语转换成文本图中的节点， 根据所述句法关系 得到所述文本序列内词语之间的句法依赖关系， 建立所述词语之间的边， 将处理好的所述 单词集合和所述文本序列分别输入所述词语嵌入层。 3.根据权利要求2所述的基于扩增存储的图卷积神经网络的关键词抽取方法， 其特征 在于， 所述扩增存 储图卷积神经网络关键词抽取模型还 包括Bert层。 4.根据权利要求3所述的基于扩增存储的图卷积神经网络的关键词抽取方法， 其特征 在于， 所述将经过所述词语 嵌入层后得到的文本图结构信息和词语节点的嵌入信息输入到 所述扩增存储的图卷积神经网络层， 获得相应的向量表示， 将所述向量表示进行拼接后输 入到所述 LSTM层， 包括： 将经过所述词语嵌入层后得到的所述词语的初始向量输入到所述Bert层获得单词集 合向量表示， 将所述文本图结构信息和所述词语的初始向量输入所述扩增存储的图卷积神 经网络层获得所述词语节点的文本序列向量表示， 将获得的所述单词集合向量表示和所述 文本序列向量表示进行拼接后输入到所述 LSTM层。权　利　要　求　书 1/1 页 2 CN 114781354 A 2一种基于扩增存 储的图卷积神经 网络的关键词抽取方 法 技术领域 [0001]本申请属于关键词抽取技术领域， 尤其涉及一种基于扩增存储的图卷积神经网络 的关键词抽取 方法。 背景技术 [0002]随着社交媒体的兴起， 短文本己成为网络上信息传递的主要载体。 例如微博、 朋友 圈、 网页的标题、 搜索片段、 电商评论、 Facebook等网站的主要内容都是以短文本的形式呈 现。 因此， 短文本关键词提取已经成为了文本信息抽取领域内一个非常重要的研究方向。 正 如文档摘要在长文本(新闻、 博客等)中所起到的作用一致， 关键词可以准确的反映出短文 本的核心内容， 这是人们快速理解文档内容和掌握短文本主题的重要途径。 此外， 短文本关 键词提取在自然语言处理领域的短文本聚类和短文本分类任务中有积极作用， 在自动问 答， 主题跟踪和智能客 服等信息检索领域 也具有重要的应用价 值。 [0003]深度学习是用计算机模仿人类神经网络对信息的处理方式的一种方法， 在21世纪 10年代之后在图像处理、 自然语言处理等领域取得了重大突破。 深度学习中注 意力机制， 借 鉴了人类视觉所特有的一种 大脑信息处理机制 。 一般来说， 人类在观察外界环境时会迅速 的扫描全 景， 然后根据大脑信号快速的锁定重点关注的目标区域， 最终形成注 意力焦点。 该 机制可以帮助人类在有限的资源下， 从大量无关背景区域中筛选出具有重要价值信息的目 标区域， 帮助人类更加高效的处理视觉信息。 在自然语言处理领域， 注意力机制被用于定位 关键的词汇， 达到高效准确处理文本信息的目的。 现有的短文本关键词抽取方法通常使用 深度学习中的图卷积神经网络进 行关键词的抽取， 但现有的短文本 关键词抽取方法存在以 下缺陷： [0004]1、 现有的开放领域的短文本关键词抽取方法由于存在大量的未登录词， 因此在基 于深度学习的关键词抽取 方法不能很好的表示未登录词， 这制约了关键词的抽取性能。 [0005]2、 图卷积神经网络可以融合邻接节点的信息， 更好的表示节点， 然而随着卷积层 的提升降低了节点的表示能力。 [0006]3、 现有的短文本关键词抽 取方法没有较好的利用当前文本 的结构信息提升词语 的向量表示， 尤其是缺乏对未登录词的向量表示。 发明内容 [0007]本申请提供了一种基于扩增存储的图卷积神经网络的关键词抽取方法， 用以解决 现有的短文本 关键词抽取方法关键词抽取性能较差， 使用的图卷积神经网络随着卷积层的 提升降低了节点的表示能力的技 术问题。 [0008]有鉴于此， 本申请提供了一种基于扩增存储的图卷积神经网络的关键词抽取方 法， 包括： [0009]设置扩增存储图卷积神经网络关键词抽取模型， 扩增存储图卷积神经网络关键词 抽取模型包括词语嵌入层、 扩增存 储的图卷积神经网络层、 LSTM层、 输出层和目标层；说　明　书 1/5 页 3 CN 114781354 A 3