(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210823984.8 (22)申请日 2022.07.13 (71)申请人 南京大学 地址 210000 江苏省南京市 鼓楼区汉口路 22号 (72)发明人 柏业超　陈玥秀　唐岚　张兴敢　 (74)专利代理 机构 南京业腾知识产权代理事务 所(特殊普通 合伙) 32321 专利代理师 缪友益 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/50(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G01N 23/04(2018.01) G01V 5/00(2006.01) (54)发明名称 基于模态转换的被动式太赫兹安检图像的 目标检测方法 (57)摘要 本发明公开了基于模态转换的被动式太赫 兹安检图像的目标检测方法， 包括： 将X射线下危 险品图像与被动式太赫兹人体图像进行图像融 合， 使用循环 生成对抗网络进行非成对数据的模 态风格转换， 生成和真实图像高度相似的被动式 太赫兹安检图像， 通过合 成图像扩充数据集的数 量与种类， 然后， 利用该数据集训练改进的 YOLOv5目标检测网络， 学习多种类危 险品特征， 最终使用训练后的目标检测网络检测真实的被 动式太赫兹安检图像， 解决了被动式太赫兹安检 图像目标检测训练过程中样本少、 样本不均衡的 问题， 提高了检测精度和泛化性， 适应实际安检 场景下对多种类危险品的检测需求。 权利要求书2页 说明书5页 附图4页 CN 115187842 A 2022.10.14 CN 115187842 A 1.基于模态转换的被动式太赫兹安检图像的目标检测方法， 其特征在于， 包括如下步 骤： S1、 将获取 X射线下危险品图像与被动式太赫兹人体图像进行图像融合； S2、 构建循环生成对抗网络， 进行非成对数据的模态风格转换， 生成被动式太赫兹安检 图像； S3、 基于不同种类物品生成的被动式太赫兹安检图像， 经过挑选和标记， 制作被动式太 赫兹安检图像数据集； S4、 利用被动式太赫兹安检图像数据集训练改进的YOLOv5目标检测网络； S5、 通过训练后的目标检测网络检测真实的被动式太赫兹安检图像。 2.根据权利要求1所述的基于模态转换的被动式太赫兹安检图像的目标检测方法， 其 特征在于： 在步骤S1中， 对 X射线下危险品图像进行 处理， 并转化至灰度图片， 建立处理后图 像的掩膜， 提取出带有物品的有效区域， 并按照真实数据集中物品位置统计， 生成符合二 维 正态分布的随机位置， 提取太赫兹人体图像生 成的叠加区域， 根据X射线图像的掩膜将 两张 图融合： Imgadd[i,j]＝Img1[i,j]*mask[i,j]+Img2[i,j]*(1 ‑mask[i,j])； 其中Imgadd为叠加图片， mask为X射线图像的掩膜， Img1和Img2分别代表X射线图像和被 动式太赫兹人体图像中提取的待融合的区域； 将Imgadd覆盖原太赫兹人体图片的对应区域。 3.根据权利要求2所述的基于模态转换的被动式太赫兹安检图像的目标检测方法， 其 特征在于： 对X射线 下危险品图像进 行处理： 对危险品图像进 行数据集标注， 然后旋转X射线 危险品图片， 得到不同角度的物体图片， 接着按照一定比例对图片进行缩放。 4.根据权利要求2或3所述的基于模态转换的被动式太赫兹安检图像的目标检测方法， 其特征在于： 对于灰度图片通过直方图正视化进行对比增强， 增强后的图像为： 其中， I为图像灰度矩阵， Imax为I中的最大灰度级， Imin为I中的最 小灰度级。 5.根据权利要求1所述的基于模态转换的被动式太赫兹安检图像的目标检测方法， 其 特征在于： 在步骤S2中， 循环生成对抗网络包括两个生成器和 两个判别器， 其中， 将生成的 被动式太赫兹安检图像记为X域， 将真实太赫兹图片记为Y域， X域图片转Y域图片的生成器 记作GXY， Y域图片转X域图片记作GYX， 鉴别X域图片的判决器为DX， 鉴别Y域图片的判决器为 DY； 循环生成对抗网络同时建立X →Y与Y→X的映射。 6.根据权利要求5所述的基于模态转换的被动式太赫兹安检图像的目标检测方法， 其 特征在于： 在循环生成对抗网络转 化过程中的损失函数为： 其中， 为X→Y循环过程中的对抗损失函数， 为Y权　利　要　求　书 1/2 页 2 CN 115187842 A 2→X循环过程中的对抗损失函 数， λcyc、 λidt为比例系数， 为循环一致性损失函 数， 为dentity损失； 优化目标为： 7.根据权利要求5所述的基于模态转换的被动式太赫兹安检图像的目标检测方法， 其 特征在于： 生成器包括编 码器、 转换器和解码 器， 其中， 编 码器从输入图像中提取特征向量， 进行卷积、 归一化、 激活操作， 转换器将源域的特征向量转换为目标域的特征向量， 解码器 从特征向量向量中还原出低级 特征， 生成图像； 判别器用于从图像中提取特征， 并判断特征 是否接近某域图像特 征。 8.根据权利要求1所述的基于模态转换的被动式太赫兹安检图像的目标检测方法， 其 特征在于： 在步骤S3中， 通过步骤S5中生成的被动式太赫兹安检图像不 断扩充数据集的数 量与种类。 9.根据权利要求1所述的基于模态转换的被动式太赫兹安检图像的目标检测方法， 其 特征在于： 在步骤S4中， 搭建YOLOv5目标检测网络并改进， 其中， 在YOLOv5目标检测网络的 backbone网络末端添加融合通道注 意力与空间注 意力的注 意力机制模块CBAM， 关注输出特 征图中的关键位置， 特征提取模块采用双向特征融合方式： 加权双向特征金字塔网络 BiFPN， 采用双向交叉尺度连接和 加权特征融合实现特 征的双向融合。权　利　要　求　书 2/2 页 3 CN 115187842 A 3