(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210218123.7 (22)申请日 2022.03.08 (71)申请人 盐城工学院 地址 224000 江苏省盐城市亭湖区希望大 道9号 (72)发明人 刘聪　汤文阳　张坤　 (51)Int.Cl. G06V 30/19(2022.01) G06V 30/30(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 40/30(2020.01) G06F 40/242(2020.01) G06K 9/62(2022.01) (54)发明名称 一种双分支多层次特征解码的分子图像识 别方法 (57)摘要 本发明公开了一种双分支多层次特征解码 的分子图像识别方法。 将待识别分子结构图缩放 为两个不同分辨率的图像， 并分别输入到两个复 杂度不同的卷积神经网络， 获取分子结构图的不 同空间分辨率的特征信息， 并通过融合多层次交 叉注意力机制的Tran sformer解码器解析出分子 结构图对应的InchI文本。 双分支多层次特征 Transformer解码的分子图像识别方法， 通过对 大尺寸分子图像高效充分地特征提取， 显著有效 地提高了分子结构图识别的准确率和鲁棒 性。 权利要求书1页 说明书5页 附图2页 CN 114581920 A 2022.06.03 CN 114581920 A 1.一种双分支多层次特 征解码的分子图像识别方法， 其特 征在于， 包括如下步骤： S10， 将待识别的分子结构图缩放 为两个不同分辨 率的图像； S20， 构建双分支卷积神经网络模型提取图像的两个不同分辨 率混合的特 征信息； S30， 构建融合多层次交叉注意力机制的Transformer解码器模型； S40， 结合S20、 S3 0中模型构建一种双分支多层次特 征Transformer解码的网络架； S50， 使用双分支多层 次特征的Transformer解码的分子图像识别方法， 得到分子结构 图对应的I nchI文本。 2.如权利要求1所述的一种双分支多层次特征解码的分子图像识别方法， 其特征在于， 所述步骤S20构建双分支卷积神经网络模型提取图像的两个不同分辨率混合的特征信息的 具体步骤为： 使用双分支卷积神经网络模型提取图像的不同分辨率混合的特征信 息； 对于高分辨率 图像， 采用层数较少， 复杂度较低的卷积神经网络进行分子图特征提取； 对于低分辨率图 像， 采用层数较多， 复杂度较高的卷积神经网络进行分子结构图特 征提取。 3.如权利要求1所述的一种双分支多层次特征解码的分子图像识别方法， 其特征在于， 所述步骤S30融合多层次交叉注意力机制的Transformer解码器模型， 以Transformer解码 器作为基干网络， 在注意力层使用多层次交叉注意力机制代替原来的交叉注意力机制。权　利　要　求　书 1/1 页 2 CN 114581920 A 2一种双分支多层次特征解码的分子 图像识别方 法 技术领域 [0001]本发明涉及分子图像识别领域， 具体来讲是一种双分支多层次特征解码的分子图 像识别方法。 背景技术 [0002]分子骨架式结构图 （Skeletal  formula） 是一种使用了数百年的结构符号， 也是化 学家最常用的描述分子结构的方式， 但由于大部分分子结构的化学信息 以图像的形式呈 现， 失去了分子的化学意义。 因此， 将分子结构图转化为计算机能够直接识别的InchI等结 构化信息数据格式引起了科 学界的广泛关注。 [0003]随着深度学习技术在计算机视觉中的视觉场景理解领域取得巨大成功， 有一些研 究尝试使用深度学习方法来对分子图像进行识别。 [0004]目前， 与本发明最相似的现有技术为季秀怡,李建华等人在 《基于双路注意力机制 的化学结构图像识别》 提出了基于深度学习的分子结构图像识别方法， 该深度神经网络模 型由编码和解码两部分组成。 具体地,首先使用ResNet对图像进行特征提取并对参数进行 微调得到空间特征图和通道特征图的特征向量信息。 将两个向量分别经过空间注意力机制 和通道注意力机制得到两个新的特征图向量信息并进行融合。 将融合后的向量信息送入 LSTM解码器进行解析。 [0005]在图像预处理阶段， 若是将数据集图像统一为小尺寸， 大尺寸图像缩小为小尺寸 图像， 图像被压缩致使图像丢失许多分子结构的细节， 许多 特征无法进 行识别。 若 是将数据 集图像统一为大尺寸， 使用目前较为常见 的模型进行特征提取， 则需要的计算资源非常庞 大， 对于当前的计算机硬件不可行； 若 是使用浅层神经网络对 大尺寸图像进行特征提取， 则 浅层神经网络的图像特 征提取能力不足。 [0006]为解决以上问题,本发明提出了一种双分支多层次特征Transformer解码的分子 图像识别方法,  采用双分支的卷积神经网络提取高分辨率图像和低分辨率图像的特征向 量信息,并采用融合多层次交叉注意力机制的Transformer  解码器结构， 最终得到分子结 构图的文本表示。 发明内容 [0007]本发明通过提供一种双分支多层次特征Transformer解码的分子图像识别方法， 改善了目前分子图像识别方法中， 高分辨率分子结构图特征提取可能存在的对硬件要求较 高、 特征提取不充分等问题， 提高模型分子图像识别的准确率和鲁棒 性。 [0008]为实现本发明的目的， 提供一种双分支多层次特征Transformer解码的分子图像 识别方法， 包括如下步骤： InchI文本序列以离散的字符表示， 并且无法直接输入到解码器模型中， 所以需要 先将数据集中的I nchI文本序列转 化为整数形式表示。 [0009]训练得到一种基于神经网络模型的双分支多层次特征Transformer解码的模型作说　明　书 1/5 页 3 CN 114581920 A 3