(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210680325.3 (22)申请日 2022.06.16 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 (72)发明人 赵铁松　蔡晓文　江楠峰　胡可鉴　 陈炜玲　胡锦松　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 张灯灿　蔡学俊 (51)Int.Cl. G06T 5/00(2006.01) G06V 20/05(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/34(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度级联残差网络的水下图像增强方 法及系统 (57)摘要 本发明涉及一种基于深度级联残差网络的 水下图像增强方法及系统， 该方法包括： S1： 构建 深度级联残差网络； 按比例构建训练集和测试 集； S2： 将输入图像分块， 然后分别输入到深度级 联残差网络的三个级 联子网中， 让网络进行前向 传播获得训练后网络输出的清晰图像； S3： 计算 输出图像相较于目标图像的损失值， 根据损失值 进行误差反向传播以更新网络权重； S4： 判断深 度级联残差网络是否训练完毕， 是则挑选出网络 的最佳模型； S5： 将测试集输入最佳模型进行测 试， 判断最佳模型是否达到预期； S6： 将水下退化 图像输入通过测试的深度级 联残差网络， 获得增 强后的水下图像。 该方法及系统有利于纠正水下 图像的颜色偏差， 提高对比度和清晰度， 提高整 体视觉效果。 权利要求书3页 说明书8页 附图3页 CN 114936983 A 2022.08.23 CN 114936983 A 1.一种基于深度级联残差网络的水 下图像增强方法， 其特 征在于， 包括以下步骤： 步骤S1： 构建深度级联残差网络并对其进行参数设置； 按比例构建训练集和测试集， 训 练集中包括水 下退化图像和其所对应的真实图像； 步骤S2： 将训练集中的水下退化图像按照设定比例进行分块， 然后分别输入到所述深 度级联残差网络的三个级联子网中， 让深度级联残差网络进 行前向传播 获得训练后网络输 出的清晰图像； 步骤S3： 计算所述深度级联残差网络的输出图像相较于对应的真实图像的损失值， 根 据所述损失值进行误差反向传播以对深度级联残差网络的权 重值进行 更新； 步骤S4： 判断深度级联残差网络是否训练完毕， 是则挑选出训练后的深度级联残差网 络的最佳模型并执 行步骤S5， 否则返回执 行步骤S2； 步骤S5： 将所述测试集输入至所述深度级联残差网络的最佳模型进行测试， 并根据测 试结果判断所述最佳模型是否达到预期要求， 是则执行下一步骤S6， 否则 返回重新执行步 骤S2； 步骤S6： 将待增强的水下退化图像输入至通过测试的深度级联残差网络， 获得增强后 的水下图像。 2.根据权利要求1所述的基于深度级联残差网络的水下图像增强方法， 其特征在于， 所 述深度级联残差网络由三个级联子网组成， 利用三个级联子网从粗到细逐步恢复退化水下 图像； 将输入图像按照4 ‑2‑1的比例进行分块并输入深度级联残差网络， 即将图像分成4个 不重叠的块输入第一子网， 将图像分成2个不重叠的块输入第二子网， 将原始图像输入第三 子网； 前两个子网采用门控编解码 器子网络， 用于学习上下文信息， 第三个子网采用原始分 辨率子网络， 用于在不使用任何上下采样操作的条件下保留所需的精细纹理； 为了进一步 提高子网间信息传递以及视觉质量， 所述深度级联残差网络在不同的子网之间嵌入不同的 模块： 嵌入细节增强模块DEB来学习图像的多尺度特征； 嵌入监督复原模块SRB来融合之前 的信息以进行最终复原。 3.根据权利要求2所述的基于深度级联残差网络的水下图像增强方法， 其特征在于， 所 述门控编解码器子网络首先采用通道注意模块来考虑不同通道特征包含的不同加权信息， 其次利用扩张卷积层代替转置的卷积层来提高解码器中特征的空间分辨率， 进一步扩大接 受域， 避免细节损失。 4.根据权利要求2所述的基于深度级联残差网络的水下图像增强方法， 其特征在于， 所 述原始分辨率子网络保留从输入图像到输出图像的细节， 不使用任何降采样操作； 考虑到 水下图像的颜色和水体的影响， 原始分辨率子网络采用通道注意块和像素注意块来 获得像 素和通道信息， 以产生更好的增强； 所述原始分辨率子网络由多个原始分辨率块组成， 每个 原始分辨率块包含通道注意块和像素注意 块。 5.根据权利要求2所述的基于深度级联残差网络的水下图像增强方法， 其特征在于， 所 述细节增强模块基于多层金字塔结构嵌入不同尺度的细节特征得到最终结果； 所述细节增 强模块包括两个3 ×3的前端和其他1 ×1的卷积层； 首先， 第一子网的输出通过前端 卷积层， 并对前端卷积层的输出进行1/8、 1/16、 1/32下采样， 建立一个三尺度的细节金字塔； 其次， 1 ×1卷积层用于降维， 将图像上采样 到原始尺寸； 最后， 将其输出连接起来， 通过一个3 ×3的 卷积层来生成最 终输出； 通过融合不同尺度的特征， 重 建第一子网中的水下图像的细节， 并权　利　要　求　书 1/3 页 2 CN 114936983 A 2将丰富的细节特 征图传递到下一个子网络中； 所述细节增强模块具体表示如下： 其中Ci‑j表示卷积层， i表示卷积核的大小， j表示第j个卷积层， σ 为Relu激活函数， Dp和 Up分别表示池化和上采样 操作， p表示尺度的大小。 6.根据权利要求2所述的基于深度级联残差网络的水下图像增强方法， 其特征在于， 所 述监督复原模块使用第二子网的输出作为监督信号， 在监督预测的帮助下， 生成注意力地 图来抑制信息较少的特征， 并且只 允许有用的特征进行训练； 该过程表示为： 首先， 使用一 个1×1的卷积层来处理第二子网的输出， 生成相应的残差图像， 即y0； 同时， 用同样的方法 对第三子网的输入图像进行处理， 生成y1； 然后将y1添加到y0中， 生成y2， 通过1×1的卷积层 和sigmoid激活函数来生成注意图； 其次， 生 成的注意力图与y0相乘得到 y3， y3包含更多增强 图像的有用信息； 第三， 使用跳过连接， 将y3与监督信号结合起来， 产生y4； 最后， 将y4和y1结 合起来， 得到最终的特 征图， 并将其输入到原 始分辨率子网络； 具体表示如下： 其中ω为sigmo id激活函数， Ci‑j表示卷积层， i表示卷积核的大小， j表示第j个卷积层。 7.根据权利要求1所述的基于深度级联残差网络的水下图像增强方法， 其特征在于， 采 用平滑L1损失和感知损失的加权求和作为网络的训练损失， 对网络训练过程进行实时评 价， 实时保存训练得到的网络和数据； 其中， 平 滑L1损失函数表示 为： 其中， y′i和yi表示在像素i处的真实图像和增强图像， N是像素的总数； 为了 获得更真实 的图像， 引入感知损失函数， 即测量输出图像和真实图像之间的特 征差异； 感知损失函数表示 为： 其中， Vj(Φ(y′i))和VjΦ(yi)分别表示VGG网络第i层的增强后特征图和真实特征图； Cj， Hj， Wj表示VGG网络中第j个卷积层的特 征图的维数； M是感知损失函数中使用的特 征数； 总损失函数由上述两个函数加权求和， 表示 为：权　利　要　求　书 2/3 页 3 CN 114936983 A 3