(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210843050.0 (22)申请日 2022.07.18 (71)申请人 浙江科技学院 地址 310012 浙江省杭州市西湖区留和路 318号 (72)发明人 彭艳斌　郑志军　丰明坤　翟治年　 潘志刚　 (74)专利代理 机构 杭州裕阳联合专利代理有限 公司 33289 专利代理师 金方玮 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于语义指导和注意力机制的显著目标检 测方法 (57)摘要 本发明公开了一种基于语义指导和注意力 机制的显著目标检测方法， 该方法中所构建的卷 积神经网络包含输入层、 隐藏层和输出层， 隐藏 层包含RGB图特征提取网络、 RGB图通道注意力网 络、 深度图特征提取网络、 深度图空间注意力网 络、 多模态融合网络、 高层语义信息网络和低层 边缘信息网络。 将训练集中的RGB图和对应深度 图输入卷积神经网络进行训练， 从高层语义信息 网络和低层边缘信息网络分别得到一幅显著性 预测图， 综合计算两幅显著性预测图和真实显著 图之间的损失函数值， 用于训练卷积神经网络， 在测试阶段， 将待测试的RGB图和对应的深度图 输入训练好的卷积神经网络模型， 得到测试结 果。 基于语义指导和注意力机制的显著目标检测 方法， 具有较高的准确性。 权利要求书5页 说明书12页 附图2页 CN 115205663 A 2022.10.18 CN 115205663 A 1.一种基于语义指导和注意力机制的显著目标检测方法， 其特征在于， 包含训练阶段 和测试阶段； 训练阶段的步骤 包含： 步骤一、 建立训练集： 选取K幅RGB图及其对应的深度图和真实显著图， 构成训练集， RGB 图表示为{RGBk(i,j)}， 深度图表示为{ Dk(i,j)}， 真实显著图表示为{RSk(i,j)}， 其中， 1≤k ≤K为正整数， 表示第k 幅图像， K≥500， 1≤i≤X， 1≤j≤Y， X和Y分别表示图像的宽和高， 均 为32的整数倍； 步骤二、 建立卷积神经网络： 卷积神经网络包括输入层、 隐藏层和输出层， 输入层包括 RGB图输入层和深度图输入层， 隐藏层包括RGB图特征提取网络、 RGB图通道注意力网络、 深 度图特征提取网络、 深度图空间注意力网络、 多模态融合网络、 高层语义信息网络和 低层边 缘信息网络， RGB图特征提取网络包括 五个依次连接的RGB卷积块， RGB图通道注意力网络包 括五个通道 注意力神经网络块， 深度图特 征提取网络包括五个依次连接的深度卷积块， 深度图空间注意力网络包含五个空间注意力神经网络块， 多模态融合网络包含五个融 合神经网络块、 四个融合卷积层和三个融合池化层， 输出层包括高层输出层和低层输出层； RGB图输入层接收一幅RGB图， 输出训练用RGB图给隐藏层的RGB图特征提取网络， 训练 用RGB图的宽度X为并且高度为Y； 深度图输入层接收RGB图对应的深度图， 输出训练用深度图给隐藏层的深度图特征提 取网络， 训练用深度图的宽度X为并且高度为Y； RGB图特征提取网络 的五个依次连接 的RGB卷积块分别对应ResNet50中依次连接 的五 个模块， 第一个RGB卷积块接收RGB图输入层传来的训练用RGB图， 输出分别连接到第二个 RGB卷积块和第一个通道注意力神经网络块， 第二个RGB卷积块输出分别 连接到第三个RGB 卷积块和 第二个通道注意力神经网络块， 第三个RGB卷积块的输出分别连接到第四个RGB卷 积块和第三个通道注 意力神经网络块， 第四个RGB卷积块的输出分别连接到第五个RGB卷积 块和第四个通道注意力神经网络块， 第五个RGB卷积块的输出连接第五个通道注意力神经 网络块； 深度图特征提取网络的五个依次连接的深度卷积块分别对应ResNet50中依次连接的 五个模块， 第一个深度卷积块接收深度图输入层传来的训练用深度图， 输出分别连接第二 个深度卷积块和 第一个空间注意力神经网络块， 第二个深度卷积块的输出分别连接到第三 个深度卷积块和 第二个空间注意力神经网络块， 第三个深度卷积块的输出分别连接到第四 个深度卷积块和 第三个空间注意力神经网络块， 第四个深度卷积块的输出分别连接到第五 个深度卷积块和 第四个空间注意力神经网络块， 第五个深度卷积块的输出连接第五个空间 注意力神经网络块； 第一个通道注意力神经网络块和第一个空间注意力神经网络块的输出均输入第一个 融合神经网络块， 第一个融合神经网络块的输出连接到第一个融合卷积层， 第二个通道注 意力神经网络块、 第二个空间注意力神经网络块和 第一个融合卷积层的输出均输入第二个 融合神经网络块， 第二个融合神经网络块的输出连接到第二个融合卷积层， 第二个融合卷 积层的输出连接到第一个融合池化层， 第三个通道注意力神经网络块、 第三个空间注意力 神经网络块和 第一个融合池化层的输出均输入第三个融合神经网络块， 第三个融合神经网 络块的输出连接到第三个融合卷积层， 第三个融合卷积层的输出连接到第二个融合池化权　利　要　求　书 1/5 页 2 CN 115205663 A 2层， 第四个通道注意力神经网络块、 第四个空间注意力神经网络块和第二个融合池化层的 输出均输入第四个融合神经网络块， 第四个融合神经网络块的输出连接到第四个融合卷积 层， 第四个融合卷积层的输出连接到第三个融合池化层， 第五个通道注意力神经网络块、 第 五个空间注意力神经网络块和第三个融合池化层的输出均输入第五个融合神经网络块； 高层语义信息网络的输入端连接到第五个融合神经网络块和第四个融合神经网络块 的输出端， 其输出连接到高层输出层， 低层边缘信息网络的输入端连接到第三个融合神经 网络块、 第二个融合神经网络块、 第一个融合神经网络块和高层输出层的输出端， 其输出连 接低层输出层， 高层输出层输出第一幅显著预测图， 低层输出层输出第二幅显著预测图； 步骤三、 将训练集中每幅RGB图和对应的深度图输入到卷积神经网络中进行训练， 得到 训练集中每幅RGB图对应的两幅显著预测图， 第一幅显著预测图记为{S1k(i,j)}， 第二幅显 著预测图记为{S2k(i,j)}， 其中， S1k(i,j)为第k幅RGB图对应的第一幅显著预测图的第(i, j)个像素点的像素值， S2k(i,j)为第k幅RGB图对应的第二幅显著预测图的第(i,j)个像素 点的像素值； 步骤四、 计算训练集中每幅RGB图对应的显著预测图和对应的真实显著图之间的损失 函数值， 将{S1k(i,j)}与{RSk(i,j)}之 间的损失函数值记为Loss1， 将{S2k(i,j)}与{RSk(i, j)}之间的损失函数值记 为Loss2， 采用二元交叉熵损失函数。 综合损失函数值为Loss＝α × Loss1+(1‑α )×Loss2， 其中0 ≤α ≤1是权 重系数； 步骤五、 重复执行步骤三和步骤四共epoch次， 在每个epoch循环中， 数据 集成批喂入卷 积神经网络， 对每批数据计算综合损失函数值， 并进 行反向传播， 用梯度下降方法来优化网 络参数， 得 出最优权值向量和最优偏置项。 ； 测试阶段的步骤 包含： 步骤一、 待测试的RGB图和对应的深度图分别记为为 和 其中， 表示测试集中第q幅RGB图坐标为(i,j)的像素点的像素值， 表示测试 集中第q幅RGB图对应的深度图坐标为(i,j)的像素点的像素值。 步骤二、 用最优权值向量和最优偏置项初始化卷积神经网络， 将 和 输入到卷积神经网络中进行预测， 得到 的第二副显著预测图为显著性预测结果 图， 记为{Sq(i,j)}。 2.根据权利要求1所述的基于语义指导和注意力机制的显著目标检测方法， 其特征在 于， 第一个通道注意力神经网路块包含依次连接的第 一池化层、 第一卷积层、 第 一激活层、 第二卷积层和 第二激活层， 第二激活层的输出和 第一个通道注意力神经网络块的输入进 行 维度扩展的相乘操作， 相乘的结果作为第一个通道注意力神经网络块的输出， 第二个通道 注意力神经网路块包含依次连接的第二池化层、 第三卷积层、 第三激活层、 第四卷积层和 第 四激活层， 第四激活层的输出和 第个二通道注意力神经网络块的输入进 行维度扩展的相乘 操作， 相乘的结果作为第二个通道注意力神经网络块的输出， 第三个通道注意力神经网路 块包含依次连接的第三池化层、 第四卷积层、 第四激活层、 第五卷积层和第 五激活层， 第五 激活层的输出和 第三个通道注意力神经网络块的输入进行维度扩展的相乘操作， 相乘的结权　利　要　求　书 2/5 页 3 CN 115205663 A 3