(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210779475.X (22)申请日 2022.07.04 (71)申请人 中南大学 地址 410000 湖南省长 沙市岳麓区麓山 南 路932号 (72)发明人 王雅琳　李思龙　刘晨亮　王凯　 吴翰升　谭栩杰　刘柢炬　 (74)专利代理 机构 长沙轩荣专利代理有限公司 43235 专利代理师 李崇章 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/52(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多尺度特征提取与融合的钾盐浮选泡 沫图像分割方法 (57)摘要 本公开实施例中提供了一种基于多尺度特 征提取与融合的钾盐浮选泡沫图像 分割方法， 属 于图像处理技术领域， 具体包括： 采集钾盐粗选 过程的泡沫图像， 标注泡沫图像中各个泡沫边缘 的多个像素点获取泡沫所在区域， 进而得到语义 分割标签图像后， 由泡沫图像和语义分割标签图 像构建原始数据集， 并扩充原始数据集的样本， 划分为训练集和测试集； 构建浮选泡沫图像分割 深度神经网络模型； 以训练集作为输入， 对浮选 泡沫图像分割深度神经网络模型进行训练； 获取 待分割的浮选泡沫图像并裁剪至指定尺寸， 随后 输入到训练完成的浮选泡沫 图像分割深度神经 网络模型， 得到分割结果。 通过本公开的方案， 提 高了钾盐浮选泡沫图像的分割精准度。 权利要求书3页 说明书12页 附图4页 CN 115131561 A 2022.09.30 CN 115131561 A 1.一种基于多尺度特 征提取与融合的钾盐浮选泡沫图像分割方法， 其特 征在于， 包括： 步骤1， 采集钾盐粗选过程的泡沫图像， 标注泡沫图像 中各个泡沫边缘的多个像素点获 取泡沫所在区域， 进而得到语义分割 标签图像后， 由泡沫图像和语义分割 标签图像构建原 始数据集， 并扩充原 始数据集的样本， 划分为训练集和 测试集； 步骤2， 构建浮选泡沫图像分割深度神经网络模型， 其中， 浮选泡沫图像分割深度神经 网络模型包括交替堆叠并行多尺度特征提取子模块和基于注意力机制的多尺度特征融合 子模块构成的分割网络主干、 输入调整模块和输出调整模块； 步骤3， 以训练集作为输入， 对浮选泡沫图像分割深度神经网络模型进行训练； 步骤4， 获取待分割的浮选泡沫图像并裁剪至指定尺寸， 随后输入到训练完成的浮选泡 沫图像分割深度神经网络模型， 得到分割结果。 2.根据权利要求1所述的方法， 其特 征在于,所述 步骤1具体包括： 步骤1.1， 采集钾盐粗选浮选 槽泡沫图像并裁 剪至730×730像素尺寸； 步骤1.2， 通过图像标注软件对步骤1.1所得图像进行精细分割标签的制作， 通过标注 图像中各个泡沫边缘的若干像素点并连接成封闭图形， 获取泡沫所在区域， 进而得到语义 分割标签图像， 由泡沫图像和语义分割标签图像构建原 始数据集； 步骤1.3， 借助平移、 旋转、 添加噪声、 仿射变换等手段， 对原始数据集进行扩充， 对扩充 后的数据集进行裁 剪， 得到中心区域512 ×512像素尺寸的图像划分为训练集和 测试集。 3.根据权利要求2所述的方法， 其特 征在于,所述 步骤2具体包括： 步骤2.1， 构建带残差连接的双卷积子模块； 步骤2.2， 构建并行多尺度特征提取子模块， 包括多个尺度特征提取分支， 每个尺度特 征提取分支由堆叠的双卷积子模块构成， 单个尺度特征提取分支的输入和输出特征图尺 寸、 通道数均相同， 相 邻尺度特征提取分支的输入 特征图之间为尺寸减半、 通道数加倍的关 系； 步骤2.3， 构建基于注意力机制的多尺度特征融合子模块， 以多个尺度图像特征图作为 输入， 将输入调整为指定尺度后进行加权求和， 得到单个指定尺度的输出 特征图； 步骤2.4， 交替堆叠多个并行多尺度特征提取子模块及基于注意力机制的多尺度特征 融合子模块； 步骤2.5， 对原始输入图像做初步调整， 输入至分割网络主干中， 获取分割网络主干输 出； 步骤2.6， 对步骤2.5的分割网络主干输出进行上采样后， 通过双卷积子模块进一步提 取特征并通过1 ×1卷积变换特征图通道数， 得到浮选泡沫图像分割深度神经网络模型输 出。 4.根据权利要求3所述的方法， 其特征在于,所述步骤2.1的双卷积子模块通过以下公 式进行： Y＝ReLU(BN(W2(ReLU(BN(W1X))))+X) 其中， X、 Y分别表示输入、 输出特征图， W1、 W2分别表示第一个、 第二个3 ×3卷积的卷积核 权重， BN表示批量归一 化， ReLU表示逐像素 执行ReLU激活函数， 表达式为 5.根据权利要求4所述的方法， 其特征在于,所述步骤2.2中， 并行多尺度 特征提取子模权　利　要　求　书 1/3 页 2 CN 115131561 A 2块在图像尺度最大的分支上 带有从输入特 征图至输出特征图的跳跃 连接。 6.根据权利要求5所述的方法， 其特 征在于,所述 步骤2.3具体包括： 步骤2.3.1， 将输入的各个尺度特征图调整至目标尺度， 得到调整后的特征图记为X'i,i ＝1...K， K为输入的不同尺度特 征图数量； 步骤2.3.2， 在步骤2.3.1调整后的各个尺度特征图上进行通道 维度的最大池化和平均 池化操作， 得到2 ×H×W维度的特征图， H、 W分别为特征图高、 宽， 后接单个卷积核的膨胀卷 积， 扩大感受野并进一 步融合信息， 得到表示单尺度空间信息的1 ×H×W特征图； 步骤2.3.3， 对步骤2.3.2所提取的K个单通道特征 图在通道维度上进行拼接， 随后接1 ×1卷积， 得到多尺度注意力特 征图Wi,i＝1...K； 步骤2.3.4， 将步骤2.3.1调 整后的特征图X'i,i＝1…K通过步骤2.3.3所提多尺度注意 力特征图Wi,i＝1…K进行加权求和， 得到 输出特征图Y， 公式如下 其中上标j表示特 征图的第j个通道， ⊙表示哈达 玛积， C表示输出 特征图通道数。 7.根据权利要求6所述的方法， 其特 征在于,所述 步骤2.4具体包括： 步骤2.4.1， 对于第S次堆叠， 该阶段的特征提取子模块 中包含S+1个分支， 后接S+1个特 征融合子模块， 每个特征融合子模块接收特征提取子模块全部S+1个分支的输出作为输入， 并分别得到与输入相同的S+1个尺度的输出， 对于最后一次堆叠， 包含1个特征融合子模块， 输入为特 征提取子模块的全部分支输出， 输出尺度为 最大的输入特 征图尺度； 步骤2.4.2， 每进行一次堆叠， 在下一阶段特征提取子模块中增加一个分支， 该分支的 输入由当前阶段 特征提取子模块的最小尺度分支输出 经卷积和下采样获得。 8.根据权利要求7 所述的方法， 其特 征在于,所述 步骤2.5具体包括： 步骤2.5.1， 通过双卷积子模块进行初步特 征提取； 步骤2.5.2， 接步长为2的3 ×3卷积将特征图尺寸减半通道数加倍， 减小网络整体参数； 步骤2.5.3， 将步骤2.5.2的输出特征 图接步长为1的3 ×3卷积， 不改变特征图尺寸， 将 特征图通道数调整至基准通道数Cbase， 以及， 将步骤2.5.2的输出特征图接步长为2的3 ×3 卷积将特征图尺寸减半， 调整通道数至基准通道数 的两倍， 得到分割网络主干两个分支的 输入特征图； 步骤2.5.4， 将步骤2.5.3调整得到的两个不同尺度特征图输入至分割网络主干， 获取 分割网络主干 输出。 9.根据权利要求8所述的方法， 其特 征在于,所述 步骤3具体包括： 以训练集作为输入， 对浮选泡沫图像分割深度神经网络模型进行3次特征提取和特征 融合子模块的堆叠， 基准 通道数Cbase为64， 并按照如下 方式进行训练： 采用Dice Loss损失函数， 表达式如下： 其中， P表示预测标签， R表示真实标签， |P∩R|表示对应元素点乘后相加求和， | ·|表 示各元素求和， 使用Adam优化器更新训练权 重， 按照以下公式调整学习率：权　利　要　求　书 2/3 页 3 CN 115131561 A 3