(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202110706976.0 (22)申请日 2021.06.24 (65)同一申请的已公布的文献号 申请公布号 CN 113297804 A (43)申请公布日 2021.08.24 (73)专利权人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 乐心怡　陈彩莲　尤志远　陈李洋　 (74)专利代理 机构 上海汉声知识产权代理有限 公司 3123 6 代理人 胡晶 (51)Int.Cl. G06F 30/27(2020.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/08(2006.01) (56)对比文件 CN 112989710 A,2021.0 6.18 CN 112861071 A,2021.0 5.28 CN 112907589 A,2021.0 6.04CN 112233073 A,2021.01.15 CN 112818892 A,2021.0 5.18 Mohammadreza Salehi et al..Multireso lution Knowledge Distillation for An omal detecti on. 《2021 IEEE/CVF Conference o n Computer Visi on and Pattern Recogn ition》 .2020,第1-14页. 俞益洲等.深度学习在医学影 像分析中的应 用综述. 《数据与计算发展前沿》 .2019,第1卷(第 06期),第37- 52页. 文成林等.基 于深度学习的故障诊断方法综 述. 《电子与信息学报》 .2020,第42卷(第01期), 第234-248. Ashish Vaswan i et al. .Attention is all you ne ed. 《31st Co nference o n Neural Informati on Proces sing System s》 .2017,第1- 12页. Olaf Ronneberger et al. .U-Net: Convolutional Netw orks for Bi omedical Image Segmentati on. 《Medical Ima ge Computing and Computer-As sisted Interventi on-MICCAI 2015》 .2015,第93 51卷第 234-241页. 审查员 贾慧敏 (54)发明名称 基于U-Tran sformer多层次特征重构的异常 检测方法及系统 (57)摘要 本发明提供了一种基于U ‑Transformer多层 次特征重构的异常检测方法及系统， 包括如下步 骤： 模型建立步骤： 建立U ‑Transformer模型； 推 断步骤： 通过U ‑Transformer模型对样本进行异 常检测。 本发明完全使用正常样本进行训练， 提 取多尺度的特征信息， 并通过从局部到整体的多 层次特征重构的方式进行异常检测； 在有部分异 常样本参与训练的时候， U ‑Transformer模型的 异常检测能力将会得到进一步的提升， 有利于提高特征重构的异常检测的效果。 权利要求书2页 说明书6页 附图1页 CN 113297804 B 2022.02.25 CN 113297804 B 1.一种基于U ‑Transformer多层次特征重构的异常检测方法， 其特征在于， 包括如 下步 骤： 特征提取步骤： 预训练特 征提取器， 通过 所述特征提取器提取 出多尺度特 征； 网络结构步骤： 将所提取的所述多尺度特征分割成不同的图像块， 并在图像块内划分 出特征词序列，  U‑Transformer模型包括多个Tran sformer编码器和多个Tran sformer解码 器， Transformer编码器和Tran sformer解码器一一对应， 采用Tran sformer编码器对于图像 块内的特征词序列进行编码； 对于编码后的所述特征词序列取其下采样表征， 作为图像块 的特征词， 根据不同数据集的不同特性， Transformer编码器对于图像块内的特征词序列进 行编码将会重复不同的层次； 采用相同数量的所述Transformer 解码器， 利用不同层次的特 征编码， 将多层次的问询词序列重构为特征； 对应的所述Transformer编码器和 Transformer 解码器之间连接有跳层连接层； 最后得到了一个重构的特征词序列， 对重构的 特征词序列进行 形状重组和上采样， 得到 重构的多尺度特 征； 完全正样本步骤： 训练集全部由正常样本组成， 采用回归损失函数， 使得重构特征图去 靠近特征提取器所提取的特征图， 从而对于U ‑Transformer模 型网络的参数进行更新； 当U ‑ Transformer模型能够重构特征提取器所提取的多尺度特征图的时候， 说明U ‑Transformer 模型能够对于正常样本的特 征分布进行建模； 存在部分负样本步骤： 训练集存在部分负样本， 建立兼容少量异常样本的损失函数； 重 构损失函数L可以被表示 为“拉近‑推离”损失函数； 其中， u表示空间点的索引； N为空间点的总个数； y(u)为像素级别的标签， s(u)表示重 构特征和特征提取器提取 的特征之间的差异； L的第一项将正常样本的重构特征拉近到原 始特征， 即s(u)越小， 第一项就越小； 第二项将异常区域的重构特征推离原始特征， 即s(u) 越大， 第二项就越小； 第一项表示 第二项表示 推断步骤： 通过 所述U‑Transformer模型对工业质检中的样本进行异常检测。 2.根据权利 要求1所述的基于U ‑Transformer多层次特征重构的异常检测方法， 其特征 在于， 所述推 断步骤包括： 通过提取 的所述多尺度特征和重构的多尺度特征之间的差异度 作为样本的异常评分。 3.根据权利 要求1所述的基于U ‑Transformer多层次特征重构的异常检测方法， 其特征 在于， 所述跳层连接层上加入了降维 ‑升维层， 即在进行跳层连接的时候， 对于输入先降维 再升维。权　利　要　求　书 1/2 页 2 CN 113297804 B 24.一种基于U ‑Transformer多层次特征重构的异常检测系统， 其特征在于， 应用权利要 求1‑3任一所述的基于U ‑Transformer多层次特 征重构的异常检测方法， 包括如下模块： 特征提取模块： 预训练特 征提取器， 通过 所述特征提取器提取 出多尺度特 征； 网络结构模块： 将所提取的所述多尺度特征分割成不同的图像块， 并在图像块内划分 出特征词序列，  U‑Transformer模型包括多个Tran sformer编码器和多个Tran sformer解码 器， Transformer编码器和Tran sformer解码器一一对应， 采用Tran sformer编码器对于图像 块内的特征词序列进行编码； 对于编码后的所述特征词序列取其下采样表征， 作为图像块 的特征词， 根据不同数据集的不同特性， Transformer编码器对于图像块内的特征词序列进 行编码将会重复不同的层次； 采用相同数量的所述Transformer 解码器， 利用不同层次的特 征编码， 将多层次的问询词序列重构为特征； 对应的所述Transformer编码器和 Transformer 解码器之间连接有跳层连接层； 最后得到了一个重构的特征词序列， 对重构的 特征词序列进行 形状重组和上采样， 得到 重构的多尺度特 征； 推断模块： 通过 所述U‑Transformer模型对工业质检中的样本进行异常检测。 5.根据权利 要求4所述的基于U ‑Transformer多层次特征重构的异常检测系统， 其特征 在于， 所述推 断模块包括： 通过提取 的所述多尺度特征和重构的多尺度特征之间的差异度 作为样本的异常评分。权　利　要　求　书 2/2 页 3 CN 113297804 B 3