(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210838922.4 (22)申请日 2022.07.18 (65)同一申请的已公布的文献号 申请公布号 CN 114913402 A (43)申请公布日 2022.08.16 (73)专利权人 深圳比特微电子科技有限公司 地址 518000 广东省深圳市南 山区高新 南 六道航盛科技大厦801 (72)发明人 范晓　凌明　杨作兴　艾国　 (74)专利代理 机构 北京德琦知识产权代理有限 公司 11018 专利代理师 谢安昆　宋志强 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/40(2022.01) G06N 20/00(2019.01) (56)对比文件 CN 109710 691 A,2019.0 5.03CN 114692568 A,202 2.07.01 CN 112580723 A,2021.0 3.30 CN 113112026 A,2021.07.13 CN 112163620 A,2021.01.01 JP 202019093 5 A,2020.1 1.26 刘韵婷等.基 于深度学习的多 模型融合图像 智能检测方法研究. 《电子测量 技术》 .2021,第4 4 卷(第20期), Tianying Wang等.Ef ficient Robotic Task General ization Using Deep Model Fusion Reinforcement Learn ing. 《2019 IE EE Internati onal Conference o n Robotics and Biomimetics (ROBIO)》 .2020, Xiaoran F eng等.Pavement Crack Detection and Segmentati on Method Based on Improved De ep Learn ing Fusion Model. 《Hindawi Mathematical Problem s in Engineering》 .2020, 审查员 李佳丽 (54)发明名称 一种深度学习模型的融合方法、 装置 (57)摘要 本发明公开了一种深度学习模型的融合方 法， 包括： 基于训练所得到的两个以上深度学习 模型， 分别对任务数据进行特征提取， 选取第一 模型， 对于第一模型中的每一特征提取层： 基于 每个第一特征提取器， 确定该第一特征提取器所 提取的第一特征数据与第二模型中每个第二特 征提取器所提取的第二特征数据之间的相关程 度， 根据相关程度确定所对应的第二特征数据， 确定第一特征数据所来源的第一特征提取器与 第二特征数据所来源的第二特征提取器的对应 关系； 根据对应关系， 调整第二模型中每个第二 特征提取器的顺序； 选取下一第二模型， 直至所 有第二模型的模型参数都与第一模型的模型参 数对齐； 将模 型参数对齐后的所有第二模型以及 第一模型的模型参数进行融合。 权利要求书3页 说明书13页 附图6页 CN 114913402 B 2022.10.18 CN 114913402 B 1.一种深度学习模型的融合方法， 其特 征在于， 该 方法包括： 基于训练所 得到的两个以上深度学习模型， 分别对 任务数据进行图像特 征数据提取， 选取任一深度学习模型作为用于参 考的第一模型， 对于第一模型中的每一特 征提取层： 基于该特征提取层中的每个第 一特征提取器， 确定该第 一特征提取器所提取的第 一图 像特征数据与第二模型中该特征提取层的每个第二特征提取器所提取的第二图像特征数 据之间的相关程度； 从所确定的相关程度中选出符合设定条件的相关程度， 确定所选相关 程度所对应的第二图像特征数据， 将该第一图像特征数据所来源的第一特征提取器与该第 二图像特 征数据所来源的、 且未曾被确定对应关系的第二特 征提取器， 作为对应关系； 根据所述对应关系， 调整第二模型中该特征提取层的每个第二特征提取器的顺序， 并 调整该特征提取层的相邻下一特征提取层中对应于该每个第二特征提取器的通道顺序， 以 使得第二模型 的模型参数与所述第一模型 的模型参数对齐； 其中， 第二模型为所述训练所 得到的两个以上深度学习模型中除所述第一模型之外的任一深度学习模型； 选取下一第二模型， 并反复执行所述对于第一模型中的每一特征提取层的步骤， 直至 所有第二模型的模型参数都与所述第一模型的模型参数对齐； 将模型参数对齐后的所有第二模型以及所述第一模型的模型参数进行融合； 其中， 所述相关程度为相关系数矩阵， 相关系数矩阵中第m行第n列的元素为： 第一特征提取 器m所提取的第一图像特 征数据与第二特 征提取器n所提取的第二图像特 征数据相关系数， 所述从所确定的相关程度中选出符合设定条件的相关程度， 确定所选相关程度 所对应 的第二图像特征数据， 将该第一图像特征数据所来源的第一特征提取器与该第二图像特征 数据所来源的、 且未曾被确定对应关系的第二特 征提取器， 作为对应关系， 包括： 在相关系数矩阵中查找每一行中最大值对应的、 且未曾被作为对应关系的位置信息， 若在该位置信息已被作为对应关系的情况下， 则查找下一最大值对应的、 且未 曾被作为对 应关系的位置信息， 记录该行与所查找到的位置信息的对应关系， 并标记该位置信息已被作为对应关系， 其中， 行信息表示第一图像特征数据所来源的第一特征提取器， 位置信息表示第二图像特 征数据所来源的第二特 征提取器。 2.如权利要求1所述的融合方法， 其特征在于， 所述将模型参数对齐后的所有第 二模型 以及所述第一模型的模型参数进行融合， 包括： 对于所有模型中的每一特 征提取层： 将各模型中该 特征提取层的模型参数作为该模型 该特征提取层的模型参数向量， 根据各个模型的模型参数向量的模值以及角度信息， 确定该 特征提取层的模型参数。 3.如权利要求2所述的融合方法， 其特征在于， 所述根据 各个模型的模型参数向量的模 值以及角度信息， 确定该 特征提取层的模型参数， 包括： 确定所有所述模型参数向量的平均角度， 计算各模型的模型参数向量与平均角度之间的夹角相似度， 得到各模型的夹角相似 度， 以各模型的夹角 相似度为各模型的加权系数， 对各模型的所述模型参数向量进行加权权　利　要　求　书 1/3 页 2 CN 114913402 B 2平均， 得到各模型的模型参数向量的融合模值， 基于融合模值、 以及所述平均角度的单位向量， 确定该 特征提取层的模型参数。 4.如权利要求3所述的融合方法， 其特征在于， 所述确定所有所述模型参数向量的平均 角度， 包括： 分别确定各个所述模型参数向量的模值， 基于模值， 对各个所述模型参数向量进行归一化， 得到各个所述模型参数向量的归一 化向量， 求取所有归一化向量的平均向量， 对该平均向量进行归一化， 得到用于表征平均角度 的单位向量； 所述计算各模型的模型参数向量与平均角度之间的夹角相似度， 包括： 将各个所述归一化向量与 所述单位向量进行内积运算， 得到各个所述模型参数向量与 平均夹角之 间的夹角的余弦值， 该余弦值用于表征各模型的模型参数向量与 平均角度之间 的夹角相似度。 5.如权利要求4所述的融合方法， 其特征在于， 所述以各模型的夹角 相似度为各模型的 加权系数， 对各模型的所述模型参数向量进行加权平均， 包括： 计算各模型的所述模型参数向量的模值与 该模型的加权系数的乘积， 得到各个模型的 乘积结果， 将各个模型的乘积结果进行累加， 得到累加模值， 将累加模值对所有模型的加权系数之和进行平均， 得到融合模值； 所述基于 融合模值、 以及所述平均角度的单位向量， 确定该特征提取层的模型参数， 包 括： 将融合模值与单位向量相乘， 得到该 特征提取层的模型参数。 6.如权利要求1所述的融合方法， 其特征在于， 所述分别对任务数据进行特征提取， 包 括： 分别对参考数据集中每个任务数据进行特征提取， 将各深度学习 模型中每层特征提取 层所提取的图像特 征数据进行归一 化处理； 所述基于该特征提取层中的每个第 一特征提取器， 确定该第 一特征提取器所提取的第 一图像特征数据与第二模型中该特征提取层的每个第二特征提取器所提取的第二图像特 征数据之间的相关程度， 包括： 对于第一模型中该 特征提取层中任一第一特 征提取器m： 将该第一特征提取器所提取的第一图像特征数据与第二模型中该特征提取层的任一 第二特征提取器n所提取 的第二图像特征数据分别进行内积运算， 得到用于表征该第一图 像特征数据与该第二图像特征数据相关程度的相关系数， 将该相关系数作为相关系数矩阵 中第m行第n列的元 素， 反复执行， 得到具有d行d列的相关系数矩阵， 其中， m、 n为不大于d的自然数， d为该特征 提取层中的特 征提取器的个数。 7.如权利要求1所述的融合方法， 其特征在于， 所述在相关系数矩阵中查找每一行中最 大值对应的、 且未曾被作为对应关系的位置信息， 包括： 逐行遍历相关系数矩阵中每一行， 在每一行中查找每一行中最大值对应的、 且未曾被权　利　要　求　书 2/3 页 3 CN 114913402 B 3