(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210693989.3 (22)申请日 2022.06.19 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 李胜　董胜　朱润雯　杨文琴　 古梦婷　龚歆宇　 (74)专利代理 机构 杭州赛科专利代理事务所 (普通合伙) 33230 专利代理师 宋飞燕 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/52(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于多尺度上下文信息与注意力机制的肠 壁血管分割方法 (57)摘要 本发明涉及一种基于多尺度上下文信息与 注意力机制的肠壁血管分割方法， 构建融合多尺 度上下文信息与注意力机制的神经网络， 包括特 征编码器， 特征编码器的多级输出分别通过结合 通道注意力模块的跳跃连接、 结合改进的轴向注 意力模块的多尺度上下文融合模块， 得到的多级 特征逐次通过解码器模块解码、 输出； 制作肠壁 血管数据集输入神经网络， 训练直至神经网络稳 定， 输入待分割肠壁血管图像后由稳定的神经网 络实现肠壁血管分割。 本发明极大保存语义信息 完整性， 提高对粘膜褶皱、 血管的分辨能力， 更多 关注微小血管的结构特征， 提高抗干扰能力， 缩 小高低语义信息差距， 增强提取微小血管的能 力， 更好区分粘膜褶皱与血 管， 抗干扰能力强。 权利要求书2页 说明书8页 附图3页 CN 115249302 A 2022.10.28 CN 115249302 A 1.一种基于多尺度上下文信息与注意力机制的肠壁血管分割方法， 其特征在于： 所述 方法构建融合多尺度上 下文信息与注意力机制的神经网络； 所述神经网络包括特征编码器， 所述特征编码器的多级输出分别通过结合通道注意力 模块的跳跃连接、 结合改进的轴向注意力模块的多尺度上下文融合模块， 得到的多级特征 逐次通过解码器模块 解码、 输出； 制作肠壁血管数据集输入所述神经网络， 训练直至神经网络稳定， 输入待分割肠壁血 管图像后由稳定的神经网络实现肠壁血 管分割。 2.根据权利要求1所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割方 法， 其特征在于： 所述特征编码 器包括5个残差块， 对于任一输入图像， 相 邻的残差块间设置 有最大池化层； 每 个残差块输出对应的特 征。 3.根据权利要求2所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割方 法， 其特征在于： 任一所述残差块包括两个级 联的3×3卷积层和一个1 ×1卷积层， 输入图像 同时经过3 ×3卷积层和1 ×1卷积层， 两个结果像素级相加， 经过激活函数ReLU层后输出对 应的特征。 4.根据权利要求2所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割方 法， 其特征在于： 前4个残差块输出 的特征通过结合通道注意力模块的跳跃连接， 最后一个 残差块输出的特 征通过结合改进的轴向注意力模块的多尺度上 下文融合模块。 5.根据权利要求4所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割方 法， 其特征在于： 所述结合 提高轴向注意力模块的多尺度上 下文融合模块包括两个分支； 第一个分支由3 ×3标准卷积层和3 ×3空洞卷积并行结构组成， 得到的特征信息通过改 进的轴向注意力模块， 得到局部上 下文信息； 第二个分支由5 ×5标准卷积层和5 ×5空洞卷积并行结构组成， 得到的特征信息通过改 进的轴向注意力模块， 得到全局上 下文信息； 以局部上 下文信息和全局上 下文信息之和输出。 6.根据权利要求5所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割方 法， 其特征在于： 任一所述改进的轴向注意力模块先经过1 ×1卷积层， 所述 1×1卷积层的输 出分别输入垂直方向注意力块和水平方向注意力结构， 垂直方向注意力结构分别通过三个 卷积在垂直方向上进行形状的重塑、 转置以及点乘， 水平方向注意力结构分别通过三个卷 积在水平方向上进 行形状的重塑、 转置以及点乘， 以此聚合不同信息； 最后以垂 直方向注 意 力块和水平方向注意力块的输出相加。 7.根据权利要求4所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割方 法， 其特征在于： 所述结合 通道注意力模块的跳跃 连接包括并列设置的两个分支； 一个分支用于输出图像纹理特征， 包括顺次设置的全局最大池化层、 全连接层和 Sigmoid函数层； 另一个分支用于输出整体数据特征， 包括顺次设置的全局平均池化层、 全连接层和 Sigmoid函数层； 上述两个分支的输出相加。 8.根据权利要求4所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割方 法， 其特征在于： 所述结合改进的轴向注意力模块的多尺度上下文融合模块的输出经过四权　利　要　求　书 1/2 页 2 CN 115249302 A 2层解码器模块恢复特征映射， 完成每层解码恢复特征映射后的结果与各层 对应的结合通道 注意力模块的跳跃 连接的输出通道拼接， 直至最终的输出 结果。 9.根据权利要求1所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割方 法， 其特征在于： 所述方法中， 采集肠壁血管图像， 对采集的图像进行去除图像中的光斑及 去除敏感信息的处理， 对肠壁血管图像中的血管进行人工标注， 制作对应的肠壁血管数据 集。 10.根据权利要求1所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割 方法， 其特征在于： 所述方法中， 将肠壁血管数据集 随机划分为训练集和测试集， 选择梯度 下降算法、 损失函数， 调整学习率后进行训练。权　利　要　求　书 2/2 页 3 CN 115249302 A 3