(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221076743 0.0 (22)申请日 2022.07.01 (71)申请人 深圳大学 地址 518060 广东省深圳市南 山区南海大 道3688号 (72)发明人 黄若冰　黄涵　倪东　程君　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 刘芙蓉　吴志益 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/50(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 甲状腺超声图像自动识别方法、 装置、 终端 及存储介质 (57)摘要 本发明公开了一种甲状腺超声图像自动识 别方法、 装置、 终端及存储介质， 通过同时提取横 切视图和纵切视图的特征数据， 并采用神经网络 回归模型根据特征数据来判定横切视图和纵切 视图各自的权重， 从而对横切视图和纵切视图的 识别结果进行加权融合， 获得最终的识别结果。 与现有技术相比， 本发明提取的特征信息更丰 富， 并能够有侧重地综合两个视图的超声图像识 别结果， 对超声图像的清晰度依赖性较低， 能够 自动识别超 声图像中的病灶区域。 权利要求书2页 说明书10页 附图4页 CN 115019046 A 2022.09.06 CN 115019046 A 1.甲状腺超声图像自动识别方法， 其特 征在于， 所述方法包括： 获取超声图像， 所述超声图像包括横切视图和纵切视图； 对所述横切视图和所述纵切视图进行同步预处 理； 将预处理后的横切视 图、 纵切视 图输入双分支识别网络， 获得每个分支提取的特征数 据、 输出的识别数据； 将所述特 征数据输入神经网络回归 模型， 获得用于反映超声图像重要性的权 重数据； 基于所述权 重数据对所述识别数据进行加权融合， 获得识别结果并输出。 2.如权利要求1所述的甲状腺超声图像自动识别方法， 其特征在于， 所述将所述特征数 据输入神经网络回归 模型， 获得用于反映超声图像重要性的权 重数据， 包括： 将双分支 识别网络中每 个分支提取的所述特 征数据均输入神经网络回归 模型； 所述神经网络回归模型中设有多个隐藏层， 经过隐藏层的多次全连接操作， 获得每个 超声图像对应的所述权 重数据。 3.如权利要求1所述的甲状腺超声图像自动识别方法， 其特征在于， 所述双 分支识别网 络中每个分支均包括Swin ‑Transformer模型和卷积神经网络模型， 两个分支的Swin ‑ Transformer模型共享网络权重参数， 每个分支的卷积神经网络模型使用独立的网络权重 参数。 4.如权利要求1所述的甲状腺超声图像自动识别方法， 其特征在于， 还包括预先对所述 双分支识别网络进行训练， 训练步骤 包括： 获取训练数据集， 所述训练数据集包括多对横切视图和纵切视图以及对应的标签信 息； 对所述训练数据集进行增强处 理， 以扩充所述训练数据集的样本数量； 根据所述训练数据集中的横切视图、 纵切视图以及标签信 息对所述双分支识别网络进 行迭代训练。 5.如权利要求4所述的甲状腺超声图像自动识别方法， 其特征在于， 对所述双分支识别 网络进行迭代训练时， 梯度更新算法中还包括相似性约束， 计算所述相似性约束的步骤包 括： 获取双分支识别网络提取的特征数据并将所述特征数据输入神经网络回归模型获得 权重数据； 基于横切视图和纵切视图的权 重数据的比较结果， 将训练数据集分为两组； 计算每组训练数据集的相似性约束。 6.甲状腺超声图像自动识别装置， 其特 征在于， 所述装置包括： 超声图像获取模块， 用于获取超声图像， 所述超声图像包括横切视图和纵切视图； 预处理模块， 用于对所述横切视图和所述纵切视图进行同步预处 理； 自动识别模块， 用于将预处理后的横切视图、 纵切视图输入双 分支识别网络， 获得每个 分支提取的特 征数据和输出的识别数据； 视图权重模块， 用于将所述特征数据输入神经网络回归模型， 获得用于反映超声图像 重要性的权 重数据； 融合模块， 用于基于所述权 重数据对所述识别数据进行加权融合， 获得识别结果。 7.如权利要求6所述的甲状腺超声图像自动识别装置， 其特征在于， 还包括训练模块，权　利　要　求　书 1/2 页 2 CN 115019046 A 2用于获取训练数据集， 所述训练数据集包括多对横切视图和纵切视图以及对应的标签信 息， 对所述训练数据集进 行增强处理， 以扩充所述训练数据集的样本数量， 根据所述训练数 据集中的横切视图、 纵切视图以及标签信息对所述双分支 识别网络进行迭代训练。 8.如权利要求7所述的甲状腺超声图像自动识别装置， 其特征在于， 所述训练模块还包 括用于计算梯度更新算法中相似性约束的相似性约束 单元， 所述相似性约束 单元用于获取 双分支识别网络提取的特征数据并将所述特征数据输入神经网络回归模型获得权重数据， 基于横切视图和纵切视图的权重数据的比较结果， 将训练数据集分为两组， 计算每组训练 数据集的相似性约束。 9.智能终端， 其特征在于， 所述智能终端包括存储器、 处理器以及存储在所述存储器上 并可在所述处理器上运行的甲状腺超声图像自动识别程序， 所述甲状腺超声图像自动识别 程序被所述处理器执行时实现如权利要求 1‑5任意一项所述甲状腺超声图像自动识别方法 的步骤。 10.计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有甲状腺超声 图像自动识别程序， 所述甲状腺超声图像自动识别程序被处理器执行时实现如权利要求 1‑ 5任意一项所述甲状腺超声图像自动识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 115019046 A 3