(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210763876.6 (22)申请日 2022.06.30 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区 二号路1158号 (72)发明人 徐海涛　赵际　陈婧　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 董建姣　臧建明 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/42(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于注意力机制的驾驶行为检测模型训练 方法及装置 (57)摘要 本申请实施例提供一种基于注意力机制的 驾驶行为检测模型训练方法及装置。 该方法包 括： 获取多个第一样本数据和多个第二样本数 据， 第一样 本数据包括第一样 本图像和第一样本 图像的第一样本图像类型， 第二样 本数据中分别 包括第二样本图像和第二样本图像的第二样本 图像类型； 通过多个第一样本数据对 预设模型进 行训练， 得到第一模型， 第一模型包括注意力模 块、 膨胀归一化模块、 耦合模块和分类模块； 依次 通过注意力模块、 膨胀归一化模块、 耦合模块和 分类模块对第二样本图像进行处理， 得到预测图 像类型； 根据预测图像类型和第二样本图像类 型， 更新第一模型的模型参数。 提高了模型检测 驾驶行为的准确性。 权利要求书2页 说明书14页 附图5页 CN 115223008 A 2022.10.21 CN 115223008 A 1.一种模型训练方法， 其特 征在于， 包括： 获取多个第 一样本数据和多个第 二样本数据， 所述第 一样本数据包括第 一样本图像和 所述第一样本图像的第一样本图像类型， 所述第二样本数据中分别包括第二样本图像和所 述第二样本图像的第二样本图像 类型； 通过所述多个第一样本数据对预设模型进行训练， 得到第一模型， 所述第一模型包括 注意力模块、 膨胀归一 化模块、 耦合模块和分类模块； 依次通过所述注意力模块、 所述膨胀归一化模块、 所述耦合模块和所述分类模块对所 述第二样本图像进行处 理， 得到预测图像 类型， 所述预测图像 类型用于指示驾驶行为； 根据所述预测图像类型和所述第二样本 图像类型， 更新所述第一模型的模型参数， 所 述第一模型用于检测所述驾驶行为。 2.根据权利要求1所述的方法， 其特征在于， 依次通过所述注意力模块、 所述膨胀归一 化模块、 所述耦合模块和所述分类模块对所述第二样本图像进 行处理， 得到预测图像类型， 包括： 通过所述注意力模块对所述第二样本图像进行特征提取处理， 得到第一图像特征信 息； 通过所述膨胀归一化模块对所述第 一图像特征信 息进行多尺度 特征处理， 得到多尺度 特征信息； 通过所述耦合模块对所述多尺度特 征信息进行耦合处 理， 得到全局特 征信息； 通过所述分类模块对所述全局特 征信息进行处 理， 得到所述预测图像 类型。 3.根据权利要求2所述的方法， 其特征在于， 所述注意力模块包括至少一个残差层和至 少一个注意力层， 所述至少一个残差层和所述至少一个注意力层间隔分布； 通过所述注意力模块对所述第二样本图像进行特征提取处理， 得到第一图像特征信 息， 包括： 按照所述至少一个残差层和所述至少一个注意力层的排列顺序， 依次对所述第 二样本 图像进行处 理， 以得到所述第一图像特 征信息； 其中， 所述残差层用于对接收的信息进行特征提取处理， 所述注意力层用于根据接收 到的信息确定注意力特征图， 所述注意力特征图中的像素用于指示所述像素为感兴趣对象 的概率， 所述第一图像特 征信息为所述注意力模块中最后一层输出的信息 。 4.根据权利要求2或3所述的方法， 其特征在于， 所述膨胀归一化模块包括M个膨胀 卷积 层和池化层， 所述M个膨胀卷积层的膨胀率 不同， 所述M为大于或等于1的整数； 通过所述膨胀归一化模块对所述第 一图像特征信 息进行多尺度 特征处理， 得到多尺度 特征信息， 包括： 通过所述M个膨胀卷积层分别对所述第一图像特征信息进行处理， 得到M个特征信息， 所述M个特 征信息的尺度不同； 通过所述池化层对所述M个特 征信息进行池化处 理， 得到所述多尺度特 征信息。 5.根据权利要求2 ‑4任一项所述的方法， 其特征在于， 通过所述耦合模块对所述多尺度 特征信息进行耦合处 理， 得到全局特 征信息， 包括： 确定耦合策略， 所述耦合策略中包括归一 化方法和特 征融合方法； 通过所述归一化方法对所述多尺度 特征信息进行归一化处理， 以及通过所述特征融合权　利　要　求　书 1/2 页 2 CN 115223008 A 2方法对所述归一化处理后得到的信息进行融合处理， 以得到所述全局特征信息； 所述耦合 处理包括所述归一 化处理和所述融合处 理。 6.根据权利要求2 ‑5任一项所述的方法， 其特征在于， 所述分类模块包括全连接层和分 类层； 通过 所述分类模块对所述全局特 征信息进行处 理， 得到所述预测图像 类型， 包括： 通过所述全连接层对所述全局特 征信息进行组合处 理， 得到目标 特征信息； 通过所述分类模块对所述目标 特征信息进行分类处 理， 得到所述预测图像 类型。 7.一种模型训练装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取多个第一样本数据和多个第二样本数据， 所述第一样本数据包括 第一样本图像和所述第一样本图像的第一样本图像类型， 所述第二样本数据中分别包括第 二样本图像和所述第二样本图像的第二样本图像 类型； 训练模块， 用于通过所述多个第 一样本数据对预设模型进行训练， 得到第 一模型， 所述 第一模型包括注意力模块、 膨胀归一 化模块、 耦合模块和分类模块； 处理模块， 用于依次通过所述注意力模块、 所述膨胀归一化模块、 所述耦合模块和所述 分类模块对所述第二样本图像进行处理， 得到预测图像类型， 所述预测图像类型用于指示 驾驶行为； 更新模块， 用于根据所述预测图像类型和所述第二样本 图像类型， 更新所述第一模型 的模型参数， 所述第一模型用于检测驾驶行为。 8.一种模型训练设备， 其特 征在于， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1至 6中任一项所述的方法。 9.一种存储有计算机指令的非瞬时计算机可读存储介质， 其特征在于， 其中， 所述计算 机指令用于使所述计算机执 行根据权利要求1至 6中任一项所述的方法。 10.一种计算机程序产品， 包括计算机程序， 该计算机程序被处理器执行时实现权利要 求1至6任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115223008 A 3