(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210735642.0 (22)申请日 2022.06.27 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 赵洋　李杰　李曙光　彭知南　 黄瑞　程洪　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 邓黎 (51)Int.Cl. B60W 60/00(2020.01) B60W 40/02(2006.01) B60W 50/00(2006.01) G06V 20/56(2022.01)G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/77(2022.01) G06N 3/04(2006.01) (54)发明名称 一种多视角注意力机制的端到端自动驾驶 行为决策方法 (57)摘要 本发明公开了一种多视角注意力机制端到 端自动驾驶行为决策方法， 属于自动驾驶技术领 域。 该方法基于多摄像头获取的视频流信息， 得 到各视角的多时刻场景图像； 将其分别降维后得 到各视角特征， 通过多视角注 意力网络模块提取 出各视角特征融合了其它视角不同事物的权重 信息， 再将该权重信息作用回原输入， 得到各视 角的融合特征； 再分别经过池化处理后输入长短 时记忆网络， 获取各视角的时序特征； 最后结合 实时导航信息， 预测车辆的转角控制量和速度控 制量， 作为最终的决策信息。 本发明基于多视角 注意力， 综合各个视觉传感器提取车身周围目标 位置信息和时间信息， 使 得预测过程更能观察到 车身周围应注意信息， 从而使预测结果更加准 确。 权利要求书1页 说明书4页 附图2页 CN 115092178 A 2022.09.23 CN 115092178 A 1.一种多视角注意力机制的端到端自动驾驶行为决策方法， 其特征在于， 包括如下步 骤： S1.基于多摄 像头获取的视频流信息， 预处 理得到各视角的多时刻场景图像； S2.将各视角的多时刻场景图像分别降维后得到各视角特征， 然后输入多视角注意力 网络模块； 所述多视角注意力网络模块提取出各视角特征融合了其它视角不同事物的权重 信息， 再将该权 重信息作用回原输入， 得到各视角的融合特 征； S3.各视角的融合特征分别经过池化处理后输入长短时记忆网络， 获取各视角的时序 特征； S4.将实时导 航地图视频流信息 输入到卷积神经网络中， 获取实时导 航信息； S5.将各视角的时序 特征、 实时导航信息输入到第一多层感知机中， 预测车辆的转角控 制量和速度控制量， 作为 最终的决策信息 。 2.如权利要求1所述的一种多视角注意力机制的端到端自动驾驶行为决策方法， 其特 征在于， 所述多视角注意力网络模块包括四个尺寸不同、 依 次连接的多视角注意力网络子 模块； 所述多视角注意力网络子模块为空间子模块 时， 输出融合空间特征； 为通道子模块时， 输出融合通道特征； 为空间子模块和通道子模块的串 联组成时， 输出融合空间通道特征； 为 通道子模块和空间子模块的串联组成时， 输出融合 通道空间特 征。 3.如权利要求2所述的一种多视角注意力机制的端到端自动驾驶行为决策方法， 其特 征在于， 所述通道子模块， 用于提取各视角不同事物的响应权重信息； 以各视角特征作为输 入， 经过通道维度进 行融合， 得到通道融合信息； 所述通道融合信息 分别经过平均池化和最 大池化处理， 得到包含了各视角所有通道的平均响应的一维向量和最大响应的一维向量； 两种一维向量再同时输入第二多层感知机， 提取各视角通道注意力权重信息； 再将通道注 意力权重信息按照原 通道融合的顺序进行拆分， 得到各视角特征融合了其它视角不同事物 的权重信息； 将各视角特征融合了其它视角不同事物的权重信息， 分别作用回原输入， 得到 各视角的融合 通道特征。 4.如权利要求2或3所述的一种 多视角注意力 机制的端到端自动驾驶行为决策方法， 其 特征在于， 所述空间子模块， 用于提取各视角不同事物的位置权重信息； 以各视角特征作为 输入， 分别经过平均池化和 最大池化在空间维度进行压缩并组合， 得到各视角压缩后的空 间特征图； 该 空间特征图经过CNN网络处理后得到更精细的各视角空间特征信息； 将各视角 空间特征信息沿空间中同一维度进行融合， 融合后的特征信息经过一组卷积神经网络， 再 次提取得到各视角空间注意力权重信息； 将各视角空间注意力权重信息经由泰勒激活函数 处理， 再按照原空间融合的顺序进行拆分， 得到各视角融合了其它视角不同事物的位置权 重信息； 将各视角融合了其它视角不同事物的位置权重信息， 分别作用回原输入， 得到各视 角的融合空间特 征。权　利　要　求　书 1/1 页 2 CN 115092178 A 2一种多视角注意力机制的端到端自动驾驶行为决策 方法 技术领域 [0001]本发明属于自动驾驶技术领域， 涉及一种多视角注意力机制端到端自动驾驶行为 决策方法。 背景技术 [0002]我国汽车保有量不断增加， 由于驾驶员驾驶技术良莠不齐， 导致公路交通拥堵、 发 生交通事故的概率越来越高。 自动驾驶是依靠计算机技术与人工智能技术实现的驾驶技 术， 能够提高出行效率， 极大程度避免因驾驶员误操作导致的交通拥堵和交通事故。 自动驾 驶的决策规划模块是自动驾驶技术体系中的重点模块之一， 决策模块从接收到感知信息 后， 对当前环境做出分析并计算出合理的控制量， 并将控制量传达给下层执行模块。 端到端 决策方法是决策模型的一个实现方法， 主要依靠深度学习或深度强化学习等方法设计出模 型， 借助大量的人类驾驶数据做训练， 使得模型学习到从输入图像到输出方向盘转角和速 度等控制量的关系。 [0003]自2016年英伟达公司提出端到端驾驶概念以来， 学术界和工业届对其重视程度不 断提高。 然而当前 的端到端自动驾驶决策方法存在两个缺陷： 其一使用重量级网络和多传 感器海量数据输入， 在实时性表现不佳； 其二人类驾驶中广泛存在的注意力机制， 并未考虑 在多传感器中某个时刻系统关注对象的存在以及位置变化。 人的视觉系统会有选择的观察 到场景中的内容并加以区分重要性， 例如重点关注行车过程中的行人、 信号灯、 其他车辆等 重要信息， 而不会特别关注落叶、 天空、 路灯等不重要信息。 自动驾驶行为决策不仅要求实 时运行处理海量数据， 而且车身周围目标的位置， 历史运动状态等信息需要特别提取才能 达到更好的效果。 因此我们要在保证实时性的前提下， 让端到端自动驾驶系统在多个视觉 传感器中有选择的像人类视觉系统一样注意到车身周围场景中值得关注目标位置， 历史状 态。 因此基于多视角注意力机制的轻量级端到端自动 驾驶决策模型成为了一个新的研究热 点。 发明内容 [0004]为了克服上述现有技术中， 端到端自动驾驶决策方法没有考虑到多视角传感器信 息量爆炸， 常规海量数据 处理模型无法实时运行， 同时没有针对多视角传感器的数据进行 侧重提取导致的决策速率低下、 准确 率偏低等缺点。 本发明提供了一种多视角端到端自动 驾驶决策 方法。 为了 达到上述目的， 本发明采用以下技 术方案进行实现： [0005]一种多视角注意力机制的端到端自动驾驶行为决策 方法， 包括如下步骤： [0006]S1.基于多摄 像头获取的视频流信息， 预处 理得到各视角的多时刻场景图像； [0007]S2.将各视角的多时刻场景图像分别降维后得到各视角特征， 然后输入多视角注 意力网络模块； 所述多视角注意力网络模块提取出各视角特征融合了其它视角不同事物的 权重信息， 再将该权 重信息作用回原输入， 得到各视角的融合特 征； [0008]S3.各视角的融合特征分别经过池化处理后输入长短时记忆网络， 获取各视角的说　明　书 1/4 页 3 CN 115092178 A 3