(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210803057.X (22)申请日 2022.07.07 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 刘盛　陈俊皓　张峰　郭炳男　 陈瑞祥　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 忻明年 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合稀疏框架和空间注意力的实时实 例分割方法 (57)摘要 本发明公开了一种融合稀疏框架和空间注 意力的实时实例分割方法首先获取待处理图像， 输入到特征提取网络提取多尺度特征图， 将多尺 度特征图输入到特征增强网络， 得到增强的特征 图； 然后将增强的特征图输入到实例分支， 得到 目标框和目标分类， 将增强的特征图与实例分支 输出的目标框进行拼接后输入到掩码分支， 首先 经过卷积操作， 然后分别经过空间注 意力模块和 掩码核生成模块， 得到空间注意力特征和掩码 核， 将空间注 意力特征和掩码核相乘得到分割掩 码； 最后将分割掩码、 目标框和目标分类映射到 待处理图像上， 得到实例分割结果。 本发明提高 了实例分割任务的速度和精度， 当输入为连续视 频帧时， 可以获得实时且精确的分割结果。 权利要求书2页 说明书7页 附图3页 CN 115100410 A 2022.09.23 CN 115100410 A 1.一种融合稀疏框架和空间注意力的实时实例分割方法， 采用构建的实例分割网络对 图像进行实例分割， 其特征在于， 所述实例分割网络包括特征提取网络、 特征增强网络、 掩 码分支和实例分支， 所述融合稀疏框架和空间注意力的实时实例分割方法， 包括： 获取待处 理图像， 输入到特 征提取网络提取多尺度特 征图； 将多尺度特 征图输入到特 征增强网络， 得到增强的特 征图； 将增强的特 征图输入到实例分支， 得到目标框和目标分类； 将增强的特征图与实例分支输出的目标框进行拼接后输入到掩码分支， 首先经过卷积 操作， 然后分别经过空间注意力模块和掩码核生成模块， 得到空间注意力特征和掩码核， 将 空间注意力特 征和掩码核相乘得到分割掩码； 将分割掩码、 目标框和目标分类映射到待处 理图像上， 得到实例分割结果。 2.根据权利要求1所述的融合稀疏框架和空间注意力的实时实例分割方法， 其特征在 于， 所述特征提取网络采用ResNet50， 将所述ResNet50中残差模块3、 4和5的输出作为提取 到的第三尺度特 征图、 第二尺度特 征和第一尺度特 征图； 所述将多尺度特 征图输入到特 征增强网络， 得到增强的特 征图， 包括： 将第一尺度特 征图输入到金字塔池化模块， 输出第一特 征图； 将第二尺度特 征图与第一特 征图进行 元素相加后得到第二特 征图； 将第三尺度特 征图与第二特 征图进行 元素相加后得到第三特 征图； 将所述第一特征图、 第 二特征图和第 三特征图分别经过卷积操作后 拼接得到增强的特 征图。 3.根据权利要求1所述的融合稀疏框架和空间注意力的实时实例分割方法， 其特征在 于， 所述将增强的特 征图输入到实例分支， 得到目标框和目标分类， 包括： 初始化建议框和建议特 征； 将增强的特 征图通过区域特 征聚焦提取感兴趣特 征； 将感兴趣特 征和建议特 征输入到动态卷积头， 生成最终的目标框和目标分类。 4.根据权利要求1所述的融合稀疏框架和空间注意力的实时实例分割方法， 其特征在 于， 所述空间注意力模块， 执 行如下操作： 将输入的特征图进行通道维度上的最大值池化与平均池化得到池化之后的特征Pmax和 Pavg， 之后将Pmax与Pavg进行点积后通过一个3 ×3的卷积， 再进行sigmoid操作后与原输入的 特征图进行相乘得到空间注意力特 征。 5.根据权利要求1所述的融合稀疏框架和空间注意力的实时实例分割方法， 其特征在 于， 所述掩码核生成模块， 执 行如下操作： 对输入的特 征图通过线性层调整维度， 生成128维的掩码核。 6.根据权利要求1所述的融合稀疏框架和空间注意力的实时实例分割方法， 其特征在 于， 在训练所述 实例分割网络时， 所述将增强的特征图输入到实例分支， 得到目标框和目标 分类， 还包括： 引入交并比I oU来调整目标分类概 率， 公式如下： 其中， 为调整后的目标分类概率， Si表示交并比IoU， Pi表示目标框i对应的目标分类权　利　要　求　书 1/2 页 2 CN 115100410 A 2概率。 7.根据权利要求1所述的融合稀疏框架和空间注意力的实时实例分割方法， 其特征在 于， 在训练所述实例分割网络时， 网络整体损失函数如下： 其中， 表示目标分类损失， 表示掩码损失， 表示标框损失， λcls为权重 系数； 其中， 和 为骰子损失和像素级二进制交叉熵损失， λdice和λpix为对应的权重 系数。权　利　要　求　书 2/2 页 3 CN 115100410 A 3