(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210724245.3 (22)申请日 2022.06.24 (71)申请人 OPPO广东移动通信有限公司 地址 523860 广东省东莞 市长安镇乌沙海 滨路18号 (72)发明人 王磊　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 骆浩华 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 图像材质确定方法及相关装置 (57)摘要 本申请提供了一种图像材质确定方法及相 关装置， 首先， 确定目标图像的目标特征数据； 然 后， 根据所述目标特征数据确定高光特征数据和 标准特征数据， 所述高光特征数据用于指示消除 饱和像素影 响的图像特征， 所述标准特征数据用 于指示未消除所述饱和像素影 响的图像特征； 接 着， 根据所述高光特征数据和所述标准特征数据 确定融合特征数据； 最后， 根据所述融合特征数 据确定所述目标图像的材质数据， 所述材质数据 包括漫反射材质图、 粗糙度材质图、 镜面材质图 和法线材质图中的至少一种。 无需对输入的目标 图像进行过多的采集， 只需要单张目标图像就可 以得到准确的材质数据， 大大提升了对材质进行 估计的效率和准确性。 权利要求书2页 说明书11页 附图6页 CN 115035306 A 2022.09.09 CN 115035306 A 1.一种图像材质确定方法， 其特 征在于， 所述方法包括： 确定目标图像的目标 特征数据； 根据所述目标特征数据确定 高光特征数据和标准特征数据， 所述高光特征数据用于指 示消除饱和像素影响的图像特征， 所述标准特征数据用于指示未消除所述饱和像素影响的 图像特征； 根据所述高光特 征数据和所述标准特 征数据确定融合特 征数据； 根据所述融合特征数据确定所述目标图像的材质数据， 所述材质数据包括漫反射材质 图、 粗糙度材质图、 镜面材质图和法线材质图中的至少一种。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述目标特征数据确定 高光特征 数据和标准特 征数据， 包括： 将所述目标特征数据输入材质估计模型的高光分支模组， 根据 所述高光分支模组的输 出确定所述高光特 征数据； 以及， 将所述目标特征数据输入所述材质估计模型的标准分支模组， 根据所述标准分支模组 的输出确定所述标准特 征数据。 3.根据权利要求2所述的方法， 其特征在于， 所述高光分支模组包括第一高光卷积模 块、 第一空洞卷积模块以及第一标准卷积模块； 所述将所述 目标特征数据输入材质估计模 型的高光分支模组， 根据所述高光分支模组的输出确定所述高光特 征数据， 包括： 将所述目标特征数据输入所述第 一高光卷积模块， 根据 所述第一高光卷积模块的输出 得到第一高光卷积数据、 第二高光卷积数据和第三高光卷积数据； 将所述第二高光卷积数据和所述第 三高光卷积数据输入所述第 一空洞卷积模块， 根据 所述第一空洞卷积模块的输出 得到第四高光卷积数据； 将所述第一高光卷积数据和所述第四高光卷积数据输入所述第 一标准卷积模块， 根据 所述第一标准卷积模块的输出 得到所述高光特 征数据。 4.根据权利要求2所述的方法， 其特征在于， 所述标准分支模组包括第二标准卷积模 块、 第二空洞卷积模块以及第三标准卷积模块； 所述将所述 目标特征数据输入所述材质估 计模型的标准分支模组， 根据所述标准分支模组的输出确定所述标准特 征数据， 包括： 将所述目标特征数据输入所述第 二标准卷积模块， 根据 所述第二标准卷积模块的输出 得到第一标准卷积数据、 第二标准卷积数据和第三标准卷积数据； 将所述第二标准卷积数据和所述第 三标准卷积数据输入所述第 二空洞卷积模块， 根据 所述第二空洞卷积模块的输出 得到第四标准卷积数据； 将所述第一标准卷积数据和所述第四标准卷积数据输入所述第 三标准卷积模块， 根据 所述第三标准卷积模块的输出 得到所述标准特 征数据。 5.根据权利要求1所述的方法， 其特征在于， 所述根据所述高光特征数据和所述标准特 征数据确定融合特 征数据， 包括： 将所述高光特征数据和所述标准特征数据输入材质估计模型的特征融合模组， 根据 所 述特征融合模组的输出 得到所述融合特 征数据。 6.根据权利要求5所述的方法， 其特征在于， 所述特征融合模组包括特征连接模块、 自 注意力特征选择模块以及融合卷积模块； 所述将所述高光特征数据和所述标准特征数据输 入材质估计模型 的特征融合模组， 根据所述特征融合模组的输出得到所述融合特征数据，权　利　要　求　书 1/2 页 2 CN 115035306 A 2包括： 将所述高光特征数据和所述标准特征数据输入所述特征连接模块， 根据 所述特征连接 模块的输出 得到特征连接数据； 将所述特征连接数据输入所述自注意力特征选择模块， 根据所述自注意力特征选择模 块的输出 得到特征权重数据； 将所述特征权重数据输入所述融合卷积模块， 根据 所述融合卷积模块的输出得到所述 融合特征数据。 7.根据权利要求1所述的方法， 其特征在于， 所述确定目标图像的目标特征数据之前， 所述方法还 包括： 将训练图像输入预设模型， 根据所述预设模型的输出得到预估材质数据， 所述预估材 质数据包括预估漫反射材质图、 预估粗 糙度材质图、 预估镜面材质图和预估法线材质图； 通过第一损 失函数对所述预估漫反射材质图、 所述预估粗糙度材质图、 所述预估镜面 材质图和所述预估法线材质图进行处 理， 得到第一差异数据； 通过第二损失函数对所述预估漫反射材质图和所述预估法线材质图进行处理， 得到第 二差异数据； 根据所述第 一差异数据和所述第 二差异数据对所述预设模型进行调 整， 以得到材质估 计模型。 8.一种图像材质确定装置， 其特 征在于， 所述装置包括： 特征确定单 元， 英语确定目标图像的目标 特征数据； 分支提取单元， 用于根据所述目标特征数据确定高光特征数据和标准特征数据， 所述 高光特征数据用于指示消除饱和像素影响的图像特征， 所述标准特征数据用于指示未消除 所述饱和像素影响的图像特 征； 融合提取单元， 用于根据所述高光特 征数据和所述标准特 征数据确定融合特 征数据； 材质估计单元， 用于根据所述融合特征数据确定所述目标图像的材质数据， 所述材质 数据包括漫反射材质图、 粗 糙度材质图、 镜面材质图和法线材质图中的至少一种。 9.一种电子设备， 其特征在于， 包括基带芯片， 所述基带芯片包括数字信号处理器和累 加器， 所述基带芯片用于通过所述数字信号处理器和所述累加器执行如权利要求1 ‑8任一 项所述的方法中的步骤的指令 。 10.一种计算机存储介质， 其特征在于， 所述计算机存储介质存储有计算机程序， 所述 计算机程序包括程序指 令， 所述程序指令 当被基带芯片执行时使 所述基带芯片执行如权利 要求1‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115035306 A 3