(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210723775.6 (22)申请日 2022.06.24 (71)申请人 上海大学 地址 200444 上海市宝山区上 大路99号 (72)发明人 谢江　刘彬东　张武　 (74)专利代理 机构 贵州派腾知识产权代理有限 公司 521 14 专利代理师 唐斌 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于关键点检测的颈动脉斑块回声分类方 法 (57)摘要 本发明公开了一种基于关键点检测的颈动 脉斑块回声分类方法， 其特征在于包括： 对超声 图像的非成像区域进行裁剪， 并归一化超声图现 象； 根据颈动脉超声斑块中心点的标注， 利用一 个非标准的二维正态分布生成用于定位的热图 标签； 将一个斑块视作一个点， 利用关键点定位 技术建立斑块定位子网络， 完成颈动脉斑块中心 点定位； 在斑块定位子网络产出结果的基础上提 取斑块的全局和局部特征， 结合去冗余技术建立 斑块分类子网络,完成颈动脉斑块回声分类。 该 方法可以缓解超声影像中斑块大小较小而带来 的斑块特征提取困难， 并且能差别利用斑块区域 和整张超声图形的有效信息， 能用于单斑块的颈 动脉超声图像的回声分类 。 权利要求书2页 说明书9页 附图4页 CN 114943727 A 2022.08.26 CN 114943727 A 1.一种基于关键点检测的颈动脉斑块回声分类方法， 其特 征在于包括： A.数据预处 理： 对超声图像的非成像区域进行裁 剪， 并归一 化超声图现象； B.定位标签生成： 根据颈动脉超声斑块中心点的标注， 利用一个非标准的二维正态分 布生成用于 定位的热图标签； C.建立斑块定位子网络： 将一个斑块视作一个点， 利用关键点定位技术建立斑块定位 子网络， 完成颈动脉斑块中心点定位； D.建立斑块分类子网络： 在斑块定位子网络产 出结果的基础上提取斑块的全局和局部 特征， 结合去冗余 技术建立斑块分类子网络,完成颈动脉斑块回声分类。 2.根据权利要求1所述基于关键点检测的颈动脉斑块 回声分类方法， 其特征在于步骤B 中以Dxy表示定位标签在(x,y)位置的值， 生成的定位标签可如下定义： 其中(x0， y0)表示斑块的中心位置， radius表示 惩罚半径。 3.根据权利要求1所述基于关键点检测的颈动脉斑块 回声分类方法， 其特征在于步骤C 中： 斑块定位子网络先采用卷积和池化层将超声图像转化为128通道的特征层， 再将这128 通道的特征层组通过残差块和池化层下采样三次， 然后通过残差块与最近邻插值进行上采 样恢复分辨率， 相同分辨率下采样与上采样层的特征通过残差块进行连接； 最后通过卷积 层将特征通道归为1， 输出颈动脉斑块定位热图。 4.根据权利要求1所述基于关键点检测的颈动脉斑块 回声分类方法， 其特征在于步骤D 中： 斑块分类子网络 分为多分支特征提取模块、 正交融合模块和带权多损失模块三个模块， 首先通过多分支特征提取模块分别提取斑块区域的高清细节特征以及超声图像全图的整 体特征； 然后正交融合模块将细节特征与整体特征通过正交方式剔除冗余信息并进行特征 融合； 最后带权多损失模块将全局分支、 局部分支和融合分支的分类结果利用加权损失的 方式进行约束， 进行区别性的训练。 5.根据权利要求4所述基于关键点检测的颈动脉斑块 回声分类方法， 其特征在于： 多分 支特征提取模块采用全局分支和局部分支的多分支设计， 全局分支以调整 大小后的颈动脉 斑块超声图像和颈动脉斑块的定位热图的拼接后的四通道图像为输入， 局部分支以颈动脉 斑块超声原图像斑块区域的裁剪图像为输入， 两分支具有相同的结构， 都为四层的双卷积+ 池化结构。 6.根据权利要求5所述基于关键点检测的颈动脉斑块 回声分类方法， 其特征在于： 正交 融合模块以多分支特征提取模块最后一个池化层经过展平后的输出为输入， 经过正交约束 后使用拼接方式进行融合， 正交约束由一个正交损失(LOrth)进行实现， 具体定义如下： 其中F1＝[α1， α1， ...， an]， F2＝[β1， β1， ...， βn]分别为全局和局部分支分类层前经过展 平操作后的特 征， θ 为F1、 F2的夹角。 7.根据权利要求6所述基于关键点检测的颈动脉斑块 回声分类方法， 其特征在于： 带权权　利　要　求　书 1/2 页 2 CN 114943727 A 2多损失模块由带权的全局分支损失、 局部分支损失、 融合分支损失及正交损失组成， 全局、 局部、 融合分支损失都使用交叉熵损失函数进行实现， 交叉熵损失函数定义如下： 其中i表示斑块类别， y＝[y0， y1， y2]表示斑块类别标签， p ＝[p0， p1， p2]表示模型的预测 概率， 模型分类总损失定义如下： Lclassificati on＝w1LG+w2LL+w3LF+w4Lorth 其中w1、 w2、 w3、 w4为权重。 8.根据权利要求2所述基于关键点检测的颈动脉斑块 回声分类方法， 其特征在于： 数据 集中最大斑块的长度为 L， 定位标签中 高斯分布的半径取L/2。 9.根据权利要求7所述基于关键点检测的颈动脉斑块回声分类方法， 其特征在于： w1、 w2、 w3、 w4分别取0.1、 1、 0.1、 0.4  。权　利　要　求　书 2/2 页 3 CN 114943727 A 3