(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210698445.6 (22)申请日 2022.06.20 (71)申请人 京东科技控股 股份有限公司 地址 100176 北京市北京经济技 术开发区 科创十一 街18号C座2层2 21室 (72)发明人 张熠恒　姚霆　邱钊凡　梅涛　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 罗岚 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) (54)发明名称 图像语义分割方法、 装置、 计算机设备及存 储介质 (57)摘要 本公开提出一种图像语义分割方法、 装置、 计算机设备及存储介质， 该方法包括： 获取初始 图像， 处理初始图像， 得到多帧待分割图像， 其 中， 多帧待分割图像分别对应多个空间特征信 息， 确定待分割图像基于相应空间特征信息的像 素语义特征， 其中， 像素语义特征， 由与待分割图 像所对应语义分割模型识别得到， 融合多个像素 语义特征， 得到语义分布特征， 以及根据初始特 征信息对语义分布特征进行处理， 得到图像语义 特征。 通过本公开， 能够基于多个空间特征信息 对图像进行特征提取处理， 从而可以有效提升得 到的图像语义特征的准确性， 利用多个语义分割 模型对图像进行识别处理， 可以有效提升语义分 割处理效率， 有效提升图像 语义分割处 理效果。 权利要求书6页 说明书23页 附图11页 CN 114972762 A 2022.08.30 CN 114972762 A 1.一种图像 语义分割方法， 其特 征在于， 包括： 获取初始图像， 其中， 所述初始图像对应初始特 征信息； 处理所述初始图像， 得到多帧待分割图像， 其中， 所述多帧待分割图像分别对应多个空 间特征信息； 确定所述待分割图像基于相应所述空间特征信息的像素语义特征， 其中， 所述像素语 义特征， 由与所述待分割图像所对应 语义分割模型识别得到； 融合多个所述像素语义特 征， 得到语义分布特 征； 以及 根据所述初始特 征信息对所述语义分布特 征进行处 理， 得到图像 语义特征。 2.如权利要求1所述的方法， 其特征在于， 所述融合多个所述像素语义特征， 得到语义 分布特征， 包括： 确定与多个所述语义分割模型分别对应的多个参考交互信息， 其中， 所述参考交互信 息用于描述相应所述像素语义特 征的参考权重情况； 根据所述 参考交互信息融合多个所述像素语义特 征， 得到目标语义特 征； 以及 根据所述目标语义特 征， 得到所述语义分布特 征。 3.如权利要求1所述的方法， 其特征在于， 所述语义分割模型包括： 级联的多个卷积块， 部分级联 所述卷积块构成卷积集 合， 所述卷积块包括： 特 征识别通道； 其中， 所述卷积集合中所述卷积块， 用于基于所述特征识别通道对所述语义分割模型所属待 分割图像执 行特征识别任务。 4.如权利要求3所述的方法， 其特 征在于， 其中， 所述语义分割模型的数量动态可调； 和/或 所述卷积集 合中卷积块的数量动态可调； 和/或 所述特征识别通道的数量动态可调。 5.如权利要求3所述的方法， 其特 征在于， 还 包括： 确定需求分割性能； 根据所述需求分割性能， 确定所述卷积集合中卷积块的第一目标数量， 并确定所述特 征识别通道的第二目标 数量； 以及 形成所述语义分割模型， 其中， 所述语义分割模型包括： 由所述第一数量卷积块构 成的 卷积集合， 所述卷积块包括： 所述第二目标 数量的特 征识别通道。 6.如权利要求5所述的方法， 其特征在于， 所述根据所述需求分割性能， 确定所述卷积 集合中卷积块的第一目标 数量， 并确定所述特 征识别通道的第二目标 数量， 包括： 确定候选扩展参数； 确定所述卷积集合中卷积块的第 一初始数量， 并确定所述特征识别通道的第 二初始数 量； 基于所述候选扩展参数对所述第一初始数量和/或所述第二初始数量进行扩展处理， 得到第一扩展数量和/或第二扩展数量； 预测所扩展分割模型的预测分割性能， 其中， 所述所扩展分割模型包括： 由所述第一扩 展数量卷积块构成的卷积集合， 和/或所述卷积块包括： 所述第二扩展数量的特征识别通 道； 以及 如果所述预测分割性 能满足所述需求分割性 能， 则将所述第 一扩展数量作为所述第 一权　利　要　求　书 1/6 页 2 CN 114972762 A 2目标数量， 和/或将所述第二扩展数量作为所述第二目标 数量。 7.如权利要求6所述的方法， 其特 征在于， 所述确定候选扩展参数， 包括： 确定深度维度参数和宽度维度参数， 其中， 所述深度维度参数， 用于确定所述卷积集合 中卷积块的数量， 所述宽度维度参数， 用于确定所述特 征识别通道的数量； 将所述深度维度参数和宽度维度参数作为所述 候选扩展参数。 8.如权利要求7 所述的方法， 其特 征在于， 所述确定候选扩展参数， 还 包括： 确定空间特 征参数作为所述 候选扩展参数； 其中， 所述方法还 包括： 根据所述空间特 征参数， 确定多个空间特 征信息； 分别根据所述多个空间特征信息， 配置相应多个所述语义分割模型， 以使所述语义分 割模型可识别相 应待分割图像的像素语义特征， 其中， 所述相应待分割图像的空间特征信 息， 与针对所述语义分割模型 所配置空间特 征信息相同。 9.如权利要求3所述的方法， 其特征在于， 所述确定所述待分割图像基于相应所述空间 特征信息的像素语义特 征， 包括： 基于第一卷积集合中的卷积块处理所述待分割图像， 得到第 一语义特征， 其中， 所述第 一卷积集 合中包括： 所述级联的多个卷积块中首位卷积块； 基于第二卷积集合中的卷积块对所述第 一语义特征执行所述特征识别任务， 得到所述 像素语义特征， 其中， 所述第二卷积集合中的级联首位所述卷积块在所述第一卷积集合中 的级联末位所述卷积块之后。 10.如权利要求9所述的方法， 其特征在于， 所述基于第一卷积集合中的卷积块处理所 述待分割图像， 得到第一语义特 征， 包括： 确定所述待分割图像的初始像素 特征； 基于所述第 一卷积集合中级联首位卷积块对所述初始像素特征降维， 得到第 一降维像 素特征； 以及 基于所述第 一卷积集合中其他卷积块处理所述第 一降维像素特征， 得到所述第 一语义 特征。 11.如权利要求9所述的方法， 其特征在于， 所述基于第二卷积集合中的卷积块对所述 第一语义特 征执行所述特征识别任务， 得到所述像素语义特 征， 包括： 基于所述第 二卷积集合中所述级联首位所述卷积块对所述第 一语义特征降维， 得到第 二降维像素 特征； 基于所述第 二卷积集合中其他卷积块处理所述第 二降维像素特征， 得到所述像素语义 特征。 12.如权利要求9所述的方法， 其特 征在于， 其中， 所述第二卷积集合的数量是多个， 不同所述第二卷积集合之间设置信息交换模型， 所 述信息交换模型的输入端与前一第二卷积集合中级联末位所述卷积块相连接， 所述信息交 换模型的输出端与后一第二卷积集 合中级联 首位所述卷积块相连接 。 13.如权利要求12所述的方法， 其特 征在于， 还 包括： 基于所述信 息交换模型对第 一像素语义特征和第 二像素语义特征进行双向交互处理， 得到融合像素语义特征， 其中， 所述第一像素语义特征是所述前一第二卷积集合所输出 的权　利　要　求　书 2/6 页 3 CN 114972762 A 3