(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210793571.X (22)申请日 2022.07.05 (71)申请人 西南交通大 学 地址 610000 四川省成 都市二环路北一段 (72)发明人 赵小乐　张笑铭　李天瑞　张晓博　 (74)专利代理 机构 成都其知创新专利代理事务 所(普通合伙) 51326 专利代理师 房立普 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/80(2022.01) G06V 10/40(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种非残差结构的极深图像超分辨率重建 网络模型及方法 (57)摘要 本发明公开了一种非残差结构的极深图像 超分辨率重建网络模型及方法， 其网络的整体结 构包括网络头部、 网络主干、 网络尾部三部分； 网 络头部用于提取输入低分辨率图像的浅层特征； 网络主干由16个特征通道并联组通过自适应权 重再相互通道并联的方式串联组成， 经过 16个特 征通道并联组推理的图像特征张量将经过全局 自适应特征融合的集成， 集 成后的信息会依次通 过两个不同核的普通卷积层； 网络尾部用于聚合 网络提取的浅层特征和深层特征， 并集成回RGB 三个通道得到最后放大的超分辨图像。 本发明的 网络模型使用了不含残差学习的恒等映射的通 道并联， 实现层与层之间的跳跃连接， 解决了深 度学习算法中网络模型设计过大过深后难以训 练等问题。 权利要求书2页 说明书7页 附图2页 CN 115100041 A 2022.09.23 CN 115100041 A 1.一种非残差结构的极深图像超分辨率重建网络模型， 其特征在于， 模型网络的整体 结构包括网络 头部、 网络主干、 网络尾部三部分； 所述网络 头部用于提取输入低分辨 率图像的浅层特 征； 所述网络主干由16个特征通道并联组串联后， 通过自适应权重并联的方式组成； 经过 16个特征通道并联 组推理的图像特征张量将经过全局自适应特征融合的集 成， 集成后的信 息会依次通过一个核为1 ×1， 输入通道 为32， 输出通道 为32的普通卷积层和一个核为3 ×3， 输入通道为32， 输出通道为32的普通卷积层； 所述网络尾部用于聚合网络提取的浅层特征和深层特征， 并集成回RGB三个通道得到 最后放大的超分辨图像。 2.如权利要求1所述的非残差结构的极深图像超分辨率重建网络模型， 其特征在于， 模 型网络的整体表达式为： Y＝Ft(Fb(Fh(X))) 式中， Fh(·)表示网络头部， Fb(·)表示网络主干， Ft(·)表示网络尾部， X表示输入的 低分辨率RGB图像， Y表示输出的高分辨 率RGB图像。 3.如权利要求1所述的非残差结构的极深图像超分辨率重建网络模型， 其特征在于， 所 述网络头部为一个核为3 ×3， 输入通道数为3， 输出通道数为32的普通卷积层， 网络头部的 表达式为： X0＝Fh(X)＝C3×3(X) 式中， X表示输入的低分辨率RGB图像； X0表示经过网络头部输出的图像特征张量； Fh (·)表示网络 头部； C3×3(·)表示3×3卷积层。 4.如权利要求1所述的非残差结构的极深图像超分辨率重建网络模型， 其特征在于， 网 络主干部分的表达式为： Xn+1＝Fb(X0)＝C3×3(C1×1(Xc)) 式中， Xn+1表示经过网络主干部分输出的特征； Fb(·)表示网络主干部分； X0表示经过网 络头部输出的图像特征张量， 由于主干部分含有16个特征提取模块， 即特征通道并联组， n 表示特征提取模块的总数， 因此n＝16； Xc表示由全局自适应特征融合方 式聚合后的全局图 像特征张量， C3×3(·)表示3×3卷积层， C1×1(·)表示1×1卷积层。 5.如权利要求1所述的非残差结构的极深图像超分辨率重建网络模型， 其特征在于， 所 述特征通道并联组的表达式为： X′i＝Cgi(Xi‑1)＝Cgi(Cgi‑1(...Cg1(X1)...)) Xi＝C1×1(X′i) 式中， X′i表示经过1 ×1卷积层前并经过特征通道并联组特征提取后的图像特征张量， Cgi(·)表示第i个特征通道并联组， 其中i表示位置的索引， 由于网络模型一共有 16个通道 并联组， 因此i＝1， 2， ...， 16； Xi‑1表示由第i ‑1个特征通道 并联组推理后的图像特征张量； Cgi‑1(·)表示第i ‑1个的特征通道 并联组； Cg1(·)表示第1个特征通道并联组； C1×1(·)表 示1×1卷积层， Xi表示由第i个特 征通道并联组最终推理后的图像特 征张量。 6.如权利要求1所述的非残差结构的极深图像超分辨率重建网络模型， 其特征在于， 所 述全局自适应特 征融合的表达式为： Xc＝G(X0， ...， Xi， ...， Xn)＝[Λ0X0， ...， ΛiXi， ...， ΛnXn]权　利　要　求　书 1/2 页 2 CN 115100041 A 2式中， Λi表示经过第i个特征通道并联组推理后的图像特征张量对应的自适应权重参 数， Xi表示经过第i个特征通道并联组推理后的图像特征张量， 其中i表示位置的索引， 由于 网络模型一共有16个通道并联组， 因此i＝1， 2， ...， 16； G( ·)表示全局自适应特征融合方 式， Xc表示由全局自适应特征融合方式聚合后的全局图像特征张量， [ ·]表示通道的并联 操作； X0表示经过网络头部输出的图像特征张量， Xn表示经过第n个特征通道并联组推理后 的图像特征张量， 由于网络模型一共有 16个通道并联组， 因此n＝16； Λ0表示经过网络头部 输出的图像特征张量对应的自适应权重参数， Λn表示经过第n个特征通道并联组推理后的 图像特征张量对应的自适应权 重参数。 7.如权利要求1所述的非残差结构的极深图像超分辨率重建网络模型， 其特征在于， 网 络主干部分最后的输出部分的表达式为： Xn+1＝C3×3(C1×1(Xc)) 式中， C1×1(·)表示第一层1×1卷积层， C3×3(·)表示第二层3 ×3卷积层， Xn+1表示网络 主干最后的输出部分， Xc表示由全局自适应特征融合方式聚合后的全局图像特征张量； 由 于网络模型一共有16个通道并联组， 因此n ＝16。 8.如权利要求1所述的非残差结构的极深图像超分辨率重建网络模型， 其特征在于， 所 述网络主干 部分的基础单位 为特征并联模块， 特 征通道并联模块的表达式为： W(Xm， i‑1)＝C3×3(R(C3×3(Xm， i‑1)) Xm， i＝C1×1([β1Xm， i‑1， β2W(Xm， i‑1)]) 式中， W(·)表示非线性映射部分； Xm， i‑1表示第m个特征通道并联组中， 经过第i ‑1个特 征通道并联模块输入的图像特征张量， 由于每个通道并联 组一共含有8 个通道并联模块， 一 共有16个通道并联组， 因此m＝1， 2， ...， 8， i＝1， 2， ...， 16； Xm， i表示第m个特征通道并联组 中， 经过第i个特征通道并联模块输入的图像特征张量； C3×3(·)表示3×3卷积层， R( ·)表 示线性整流函数； C1×1(·)表示1×1卷积层； [ ·]表示通道并联操作； β1表示跳跃映射部分 自适应权 重； β2表示宽通道激活部分自适应权 重。 9.如权利要求1所述的非残差结构的极深图像超分辨率重建网络模型， 其特征在于， 所 述网络尾部的表达式为： Y＝C3×3(Csub(Xn+1)) 式中， Y表示最终的超 分辨率RGB三通道图像； Csub(·)表示亚像素卷积层； C3×3(·)表示 3×3卷积层； Xn+1表示网络主干最后的输出部分； 由于网络模型一共有16个通道并联组， 因 此n＝16。 10.一种图像超分辨率重建方法， 其特征在于， 采用 如权利要求1 ‑9任意一项所述非残 差结构的极深图像超分辨 率重建网络模型进行图像超分辨 率重建。权　利　要　求　书 2/2 页 3 CN 115100041 A 3