(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210747916.8 (22)申请日 2022.06.29 (71)申请人 上海人工智能创新中心 地址 200232 上海市徐汇区云锦路701号 37、 38层 (72)发明人 陈立　李弘扬　李阳　唐屠天　 吴鹏浩　严骏驰　乔宇　 (74)专利代理 机构 上海智晟知识产权代理事务 所(特殊普通 合伙) 31313 专利代理师 张瑞莹　李镝的 (51)Int.Cl. G01C 21/34(2006.01) G01C 21/36(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/40(2022.01) G06V 10/80(2022.01) (54)发明名称 一种端到端的自动驾驶路径规划方法 (57)摘要 本发明公开一种端到端的自动驾驶路径规 划系统， 包括图片预处理模块、 特征提取网络、 时 序网络以及全连接层。 其中， 图片预处理模块用 于对相机输入的图片进行视角转换。 特征提取网 络用于提取经预处理后的图片的特征矩阵。 时序 网络用于在特征矩阵中融合时序信息。 全连接层 用于根据融合了时序信息的特征向量进行轨迹 预测， 输出多条轨 迹坐标及各个 轨迹的置信度。 权利要求书1页 说明书5页 附图2页 CN 115127573 A 2022.09.30 CN 115127573 A 1.一种端到端的自动驾驶路径规划系统， 其特 征在于， 包括： 图片预处 理模块， 其被 配置为对相机 输入的图片进行视角转换； 特征提取网络， 其被 配置为提取经视角转换后的图片的特 征矩阵； 时序网络， 其被 配置为在所述特 征矩阵中 融合时序信息； 以及 全连接层， 其被配置为根据融合了时序信息的特征向量进行轨迹预测， 并输出多条轨 迹坐标及各个轨 迹的置信度。 2.如权利要求1所述的自动驾驶路径规划系统， 其特征在于， 还包括卷积层， 其被配置 为将所述特 征矩阵转换为指定维度的特 征向量， 再输入到时序网络中。 3.如权利要求1所述的自动驾驶路径规划系统， 其特征在于， 所述特征提取网络包括深 度残差网络、 或Ef ficientNet模型。 4.如权利要求1所述的自动驾驶路径规划系统， 其特征在于， 所述 时序网络包括门控制 循环单元或时间递归神经网络或长短期记 忆神经网络 。 5.如权利要求4所述的自动驾驶路径规划系统， 其特征在于， 所述门控制循环单元的隐 状态的初始值均为0 。 6.如权利要求1所述的自动驾驶路径规划系统， 其特征在于， 包括第 一损失函数以及第 二损失函数， 分别被 配置为优化轨 迹坐标以及轨 迹置信度。 7.如权利要求6所述的自动驾驶路径规划系统， 其特征在于， 所述第 一损失函数包括正 样本轨迹与真值之间的平均绝对误差， 其中所述正样本是指输出轨迹中置信度最大的一 条。 8.如权利要求6所述的自动驾驶路径规划系统， 其特征在于， 所述第 二损失函数包括二 元交叉熵， 其被配置为使得正样本回归置信度1， 以及负样本回归置信度0， 其中所述正样本 是指输出轨 迹中置信度最大的一条， 以及负 样本指其 他输出轨 迹。 9.一种端到端的自动驾驶路径规划方法， 其特 征在于， 包括 步骤： 将相机输入的图片进行视角转换， 以获取 预设视角下的指定区域的图像； 将前后两帧经视角转换后的图片进行叠加， 形成输入特 征矩阵； 将所述输入特 征矩阵输入特 征提取网络以提取 得到特征矩阵； 在所述特 征矩阵中 融合时序信息； 以及 根据融合了时序信息的特 征进行轨 迹预测。 10.如权利要求9所述的自动驾驶路径规划方法， 其特征在于， 在所述特征矩阵中融合 时序信息包括 步骤： 将所述特 征矩阵展平， 得到指定维度的特 征向量； 以及 将所述特 征向量输入时序网络 。 11.如权利要求9所述的自动驾驶路径规划方法， 其特 征在于， 所述轨 迹预测包括： 将所述融合了时序信息的特征经过多层全连接层， 输出指定长度的向量， 其中所述指 定长度的向量包括多条轨 迹。 12.如权利要求11所述的自动驾驶路径规划方法， 其特征在于， 每条轨迹 中包括指定数 量的时间点对应的坐标值及所述轨 迹的置信度。 13.如权利要求12所述的自动驾驶路径规划方法， 其特征在于， 所述指定数量的时间点 采用前密后疏的方式选取。权　利　要　求　书 1/1 页 2 CN 115127573 A 2一种端到端的 自动驾驶路径规划方 法 技术领域 [0001]本发明涉及自动驾驶技术领域， 特别涉及 一种端到端的自动驾驶路径规划系统及 方法。 背景技术 [0002]作为人工智能领域的热点技术， 近年来， 自动驾驶技术发展迅速， 其中L2级别的自 动驾驶方案已经在量产车辆上得到普及， 其可以完成自适应巡航控制(Adaptive  Cruise  Control,ACC)、 自动变道(Automated  Lane Change,ALC)等任务。 [0003]模块化的自动驾驶系统一般分为若干较为独立的模块， 例如感知、 定位预测、 规划 控制等。 但是复杂的模块化设计方案及传感器配置方案在现阶段难以提升自动 驾驶落地应 用水平。 相较于模块化设计， 端到端的自动驾驶方案是指从车身视觉传感器等采集的信号 提取出高维有效特征， 然后基于所述高维有效特征预测轨迹信号或控制信号。 端到端的自 动驾驶方案可以直接聚焦于最终目标， 即规划控制， 并避免级联误差、 信息损失等问题。 [0004]现有端到端自动驾驶技术一般需要依靠激光雷达和/或高精地图实现。 但是， 激光 雷达成本较为昂贵， 对用户使用而言， 需要较高的成本需求。 而高精地图的构建则需要耗费 大量人力物力， 并且随着时间增长， 地图还会产生变化， 进而导致前后不一致的使用问题， 这就使得端到端自动驾驶研究目前多集中于学术方面， 而尚未在现实生活中落地使用。 针 对这一问题， 美国Comma.ai公司发布了Openpilot开源系统， 该系统的核心为一个端到端的 神经网络， 所述神经网络的输入为设备采集的图像， 输出为自车轨迹规划与其它一些信息， 如车道线、 前车状态等。 但是Comma.ai的Openpilot系统中的神经网络需要大量数据进行训 练， 使得其 也存在一定的落 地应用问题。 发明内容 [0005]针对现有技术中的部分或全部问题， 本发明一方面提供一种端到端的自动驾驶路 径规划系统， 包括： [0006]图片预处 理模块， 用于对相机 输入的图片进行视角转换； [0007]特征提取网络， 用于提取 经预处理后的图片的特 征矩阵； [0008]时序网络， 用于在所述特 征矩阵中 融合时序信息； 以及 [0009]全连接层， 用于根据 融合了时序信息 的特征向量进行轨迹预测， 并输出多条轨迹 坐标及各个轨 迹的置信度。 [0010]进一步地， 所述自动驾驶路径规划系统还包括卷积层， 其用于将所述特征矩阵转 换为指定维度的特 征向量， 再输入到时序网络中。 [0011]进一步地， 所述特 征提取网络包括深度残差网络、 或Ef ficientNet模型。 [0012]进一步地， 所述时序网络包括门控制循环单元或时间递归神经网络或长短期记忆 神经网络 。 [0013]进一步地， 所述门控制循环单 元的隐状态的初始值均为0 。说　明　书 1/5 页 3 CN 115127573 A 3