(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210685972.3 (22)申请日 2022.06.16 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 聂聪冲　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 崔晓岚　浦彩华 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/70(2017.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像的语义分割方法、 装置、 设备、 存储介质 及程序产品 (57)摘要 本申请提供了一种图像的语义分割方法、 装 置、 设备、 存储介质及程序产品； 方法包括： 获取 包括至少两个对象的待分割图像， 以及所述待分 割图像对应的深度图像； 对所述深度图像进行编 码， 得到深度编码结果； 调用至少两个分割编码 网络， 对所述深度编码结果和所述待分割图像进 行包括空间筛选和通道重组的迭代融合编码， 得 到目标编码结果， 其中， 空间筛选用于在空间维 度对待分割图像进行特征筛选， 通道重组用于在 通道维度对待分割图像进行特征筛选； 基于所述 目标编码结果， 对所述待分割图像进行语义分 割， 得到对应各所述对象的语义分割结果。 通过 本申请， 充分挖掘图像的语义之间的互补性和相 互依赖性， 有效提高语义分割的精准 性。 权利要求书3页 说明书19页 附图6页 CN 115115835 A 2022.09.27 CN 115115835 A 1.一种图像的语义分割方法， 其特 征在于， 所述方法包括： 获取包括至少两个对象的待分割图像， 以及所述待分割图像对应的深度图像； 对所述深度图像进行编码， 得到深度编码结果； 调用至少两个分割编码网络， 对所述深度编码结果和所述待分割图像进行包括空间筛 选和通道重组的迭代融合编 码， 得到目标编 码结果， 其中， 所述空间筛选用于在空间维度对 所述待分割图像进行特征筛选， 所述通道重组用于在通道维度对所述待分割图像进行特征 筛选； 基于所述目标编码结果， 对所述待分割图像进行语义分割， 得到对应各所述对象的语 义分割结果。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述深度图像进行编码， 得到深度 编码结果， 包括： 对所述深度图像进行 下采样处 理， 得到所述深度图像的下采样处 理结果； 对所述深度图像的下采样处理结果进行池化处理， 得到所述深度图像的池化处理结 果； 调用至少两个深度编码网络， 对所述深度图像的池化处理结果进行迭代编码处理， 得 到所述深度编码结果。 3.根据权利要求2所述的方法， 其特征在于， 所述调用至少两个深度编码网络， 对所述 深度图像的池化处 理结果进行迭代编码处 理， 得到所述深度编码结果， 包括： 调用第1深度编码网络， 对所述深度图像的池化处理结果进行编码处理， 得到第1深度 编码结果； 调用第i+1深度编码网络， 对所述第i深度编码结果进行编码处理， 得到第i+1深度编码 结果； 将第N深度编码结果确定为所述深度编码结果； 其中， 1≤i≤N ‑1， N表征所述深度编码网络的数量， 所述第i+1深度编码网络的尺寸小 于第i深度编码网络的尺寸。 4.根据权利要求3所述的方法， 其特征在于， 所述深度编码网络包括至少两个结构相同 的编码层， 所述至少两个结构相同的编 码层包括第一编码层和第二编码层； 所述调用第i+1 深度编码网络， 对所述第i深度编码结果进行编码处 理， 得到第i+1深度编码结果， 包括： 调用所述第一编码层， 对所述第i深度编码结果进行编码处 理， 得到第一编码结果； 调用所述第二编码层， 对所述第一编码结果进行编码处 理， 得到第二编码结果； 将所述第二编码结果确定为所述第i+1深度编码结果。 5.根据权利要求1所述的方法， 其特征在于， 所述调用至少两个分割编码网络， 对所述 深度编码结果和所述待分割图像进行包括空间筛选和通道重组的迭代融合编码， 得到目标 编码结果， 包括： 对所述待分割图像进行 下采样处 理， 得到所述待分割图像的下采样处 理结果； 对所述待分割图像的下采样处理结果进行池化处理， 得到所述待分割图像的池化处理 结果； 调用所述至少两个分割编码网络， 对所述待分割图像的池化处理结果和所述深度编码 结果进行包括所述空间筛 选和所述 通道重组的迭代融合编码， 得到所述目标编码结果。权　利　要　求　书 1/3 页 2 CN 115115835 A 26.根据权利要求5所述的方法， 其特征在于， 所述深度编码结果包括i个深度编码结果， 1≤i≤N‑1， N表征对所述深度图像进行编码的深度编码网络的数量； 所述调用所述至少两个分割编码网络， 对所述待分割图像的池化处理结果和所述深度 编码结果进行包括所述空间筛选和所述通道重组的迭代融合编码， 得到所述目标编码结 果， 包括： 调用第1分割编码网络， 对所述待分割图像的池化处理结果和第1深度编码结果进行包 括所述空间筛 选和所述 通道重组的融合编码， 得到第1分割编码结果； 调用第i+1分割编码网络， 对第i分割编码结果和所述第i深度编码结果进行包括所述 空间筛选和所述 通道重组的融合编码， 得到第i+1分割编码结果； 将第N分割编码结果确定为所述目标编码结果； 其中， 所述第i+1分割编码网络的尺寸小于第i分割编码网络的尺寸。 7.根据权利要求6所述的方法， 其特征在于， 所述分割编码网络包括至少两个残差层和 至少一个注意力残差层； 所述调用第i+1分割编码网络， 对第i分割编码结果和所述第i深度编码结果进行包括 所述空间筛 选和所述 通道重组的融合编码， 得到第i+1分割编码结果， 包括： 调用所述至少两个残差层， 对所述第i分割编码结果进行特征提取， 得到所述第i分割 编码结果的特 征提取结果； 调用所述至少一个注意力残差层， 对所述特征提取结果和所述第i深度编码结果， 进行 包括所述空间筛 选和所述 通道重组的融合编码， 得到所述第i+1分割编码结果。 8.根据权利要求7所述的方法， 其特征在于， 当所述注意力残差层的数量为至少两个 时， 所述调用所述至少一个注意力残差层， 对所述特征提取结果和所述第i深度编码结果， 进行包括所述空间筛 选和所述 通道重组的融合编码， 得到所述第i+1分割编码结果， 包括： 调用第1注意力残差层， 对所述特征提取结果和所述第i深度编码结果， 进行包括所述 空间筛选和所述 通道重组的融合编码， 得到第1融合编码结果； 调用第j注意力残差层， 对所述第i深度编码结果和第j ‑1融合编码结果， 进行包括所述 空间筛选和所述通道重组的融合编码， 得到第j融合编码结果， 其中， 2≤j ≤M， M表征所述注 意力残差层的数量； 将第M融合编码结果， 确定为所述第i+1分割编码结果。 9.根据权利要求8所述的方法， 其特征在于， 所述注意力残差层包括空间注意力层、 通 道注意力层和残差连接层； 所述调用第1注意力残差层， 对所述特征提取结果和所述第i深 度编码结果， 进行包括所述空间筛选和所述通道重组的融合编码， 得到第 1融合编码结果， 包括： 调用所述第1注意力残差层的空间注意力层， 对所述特征提取结果和所述第 i深度编码 结果进行空间筛 选， 得到所述第1注意力残差层的空间筛 选结果； 调用所述第1注意力残差层的通道注意力层， 对所述空间筛选结果进行通道重组， 得到 所述第1注意力残差层的通道重组结果； 调用所述第1注意力残差层的所述残差连接层， 对所述通道重组结果和所述特征提取 结果进行融合处 理， 得到所述第1融合编码结果。 10.根据权利要求7所述的方法， 其特征在于， 所述注意力残差层包括空间注意力层、 通权　利　要　求　书 2/3 页 3 CN 115115835 A 3