(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210796258.1 (22)申请日 2022.07.06 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 李叔罡　李爽　刘驰　 (74)专利代理 机构 北京中海智圣知识产权代理 有限公司 1 1282 专利代理师 王志东 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/10(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于视觉域自适应学习的跨布匹瑕疵精准 检测方法 (57)摘要 本发明提出一种基于视觉域自适应学习的 跨布匹瑕疵精准检测方法， 包括： 定义已有的源 域布匹图像数据集， 定义目标域布匹瑕疵检测数 据集； 构建瑕疵检测模块； 构建特征域自适应模 块、 前景目标对齐模块、 全局特征对齐模块； 跨布 匹瑕疵精 准检测方法的训练： 将目标域布匹生产 线的布匹图像数据输入训练好的布匹瑕疵检测 模型中， 对目标域的布匹进行瑕疵检测， 获得检 测结果。 所述检测方法集 成的前景目标对齐模块 和全局特征对齐模块， 实现了对布匹瑕疵检测任 务领域偏 差的有效修正， 大大提升了模型的泛化 性， 使得瑕疵检测模型在新的布匹类别上拥有更 高的检测精准度。 权利要求书3页 说明书7页 附图2页 CN 115393265 A 2022.11.25 CN 115393265 A 1.一种基于 视觉域自适应学习的跨布匹瑕疵 精准检测方法， 其特 征在于， 包括： 步骤1， 定义已有的源域布匹图像数据集为Ys， 收集不同于源域布匹图像数据的目标域 布匹瑕疵检测数据集， 定义目标域布匹瑕疵检测数据集 为Yt； 步骤2， 基于具 备自注意力机制的编码器和解码器构建瑕疵检测模块； 步骤3， 构建深度特 征域自适应模块： 创建前 景目标对齐模块， 创建全局特 征对齐模块； 步骤4， 跨布匹瑕疵 精准检测方法的训练： 步骤4.1， 随机采样一个源域样本以及一个目标域样本 输入布匹瑕疵检测模型； 步骤4.2， 样本数据经过ResNet ‑50主干卷积网络后获得多层的输出 特征图 分别 将源域样本的特征图和目标域样本的特征图输入域判别器D 中， 获得单层特征图各自的域 分类结果损失 对结果计算多层特 征图对齐损失Sd； 步骤4.3， 对于源域的输入图片， 利用图片的真实标注信息求出图片中的缺陷目标所对 应的前景区域； 对于目标域的图片， 利用网络输出 的伪标签缺陷包围框当作图片的临时标 注信息， 求得缺陷包围框在特征图中所对应的前景区域， 利用重加权算法 对特征图 进行重新加权的操作， 并基于前 景目标损失函数计算得到前 景目标损失 步骤4.4， 将前景目标损失 与多层特征图对 齐损失Sd的加和作为 前景目标对 齐模块的 总体损失SFO； 步骤4.5， 对于布匹瑕疵检测网络解码器的输出 以及 利用切片的Wasserst ein 距离计算源域和目标域间的全局特征对齐模块损失SGF， 从而实现在减少领域偏移的同时， 保留位置信息； 步骤4.6， 计算模型的总体损失S， 并利用梯度下降算法进行反向传播， 以更新整个模型 的参数， 来 最小化损失函数， 实现源域样本和目标域样本的特 征对齐； 步骤4.7， 重复上述 步骤4.1‑4.6步骤进行训练， 直至模型收敛或达 到最大迭代次数； 步骤5， 将目标域布匹生产线的布匹图像数据输入训练好的布匹瑕疵检测模型中， 对目 标域的布匹进行瑕疵检测， 获得检测结果。 2.根据权利要求1所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法， 其特征 在于， 步骤4.2中， 单层特 征图域分类损失 的公式表示 为： 上式(1)中， f表示第f层特征图， 表示第f层特征 图的域判别器的输出结果， 和 分别表示源域和目标域特征图在(x， y)位置处的 域判别器的输出分类结果 值。 3.根据权利要求2所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法， 其特征 在于， 步骤4.2中， 多层特 征图对齐损失Sd的公式表示 为： 权　利　要　求　书 1/3 页 2 CN 115393265 A 2上式(2)中， 表示第f层特 征图的损失。 4.根据权利要求1所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法， 其特征 在于， 步骤4.3中， 重加权算法 的公式表示 为： 上式(5)中， 表示第n张目标域图片的预测结果， 代表第zn个预测目标的包围框坐 标， 表示第zn个预测目标的分类置信度值， 上式(4)中， 表示第n张目标域图片的预测 结果中分类置信度大于阈值 的所有预测目标的包围框， 上式(3)中， (x， y)表示对应特征图 中的位置 。 5.根据权利要求4所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法， 其特征 在于， 步骤4.3中， 前 景目标损失 的公式表示 为： 上式(6)中， 和 分别表示源域和目标域特征图在(x， y)位置处的重加权结果， 和 分别表示源域和目标域 特征图在(x， y)位置处的域判别器的输出结果， f表示 第f层特征图， 表示第f层特征图的域判别器的输出 结果。 6.根据权利要求1所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法， 其特征 在于， 步骤4.4中， 前 景目标对齐模块的总体损失SFO的公式表示 为： 上式(7)中， Sd表示多层特征图对齐损失， 表示前景目标对齐损失， λ是权衡两个损失 贡献的超参数。 7.根据权利要求1所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法， 其特征 在于， 步骤4.5中， 基于全局特 征对齐的损失函数SGF的公式表示 为： 上式(8)中， 表示解码器的输出特 征， 和 分别表示来自源 域和目标域 的第n个解码器的输出特征， fun( ·)是将元素从小到大排序的函数， σw表示一 种能够将解码器特 征映射到一维空间的投影向量。 8.根据权利要求1所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法， 其特征 在于， 步骤4.6中， 模型的总体损失S的公式表示 为：权　利　要　求　书 2/3 页 3 CN 115393265 A 3