(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210738527.9 (22)申请日 2022.06.24 (71)申请人 河南科技大 学 地址 471000 河南省洛阳市涧西区西苑路 48号 (72)发明人 高爱云　徐鹏飞　付主木　宋书中　 陶发展　司鹏举　焦龙吟　陈启宏　 张冬凯　 (74)专利代理 机构 合肥左心 专利代理事务所 (普通合伙) 34152 专利代理师 王凯 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/82(2022.01) G06V 10/75(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合多头注意力机制的双分支网络车 道线检测方法 (57)摘要 本发明涉及自动驾驶技术领域， 公开了一种 融合多头注意力机制的双分支网络车道线检测 方法， 包括以下步骤： 步骤一： 建立结合摄像机焦 距和倾斜角的多项式车道线模型； 步骤二： 建立 基于匈牙利拟合的损失函数， 预测的车道线参数 与真实车道线之间进行二部匹配， 利用匹配结果 对特定车道的回归损失进行优化； 步骤三： 建立 Global‑Local双分支网络。 本发明可对复杂驾驶 环境下的车道线标记线进行检测， 尤其是视野远 端的车道线标记， 在没有额外的处理操作下将每 条车道线汇聚到一点， 形成车道线消失点， 克服 车道线标记模糊 、 遮挡、 强光干扰、 光线阴暗等因 素为识别带来的难题。 权利要求书3页 说明书7页 附图4页 CN 115527177 A 2022.12.27 CN 115527177 A 1.一种融合多头注意力机制的双分支网络车道线检测方法， 其特征在于， 包括以下步 骤： 步骤一： 建立结合摄 像机焦距和倾 斜角的多 项式车道线模型； 步骤二： 建立基于匈牙利拟合的损 失函数， 预测的车道线参数与真实车道线之间进行 二部匹配， 利用匹配结果对特定车道的回归损失进行优化； 步骤三： 建立全局 ‑局部双分支网络 。 2.根据权利要求1所述的一种结合多头注意力机制的双分支网络车道线检测方法， 其 特征在于， 所述 步骤一的建立结合摄 像机焦距和倾 斜角的多 项式车道线模型包括： 建立车道线三次多 项式模型： Xi＝α1,iY3+α2,iY2+α3,iY+b 式中， (Xi,Y)为第i条车道线在地面上的点， α1,i、 α2,i、 α3,i和b为第i条车道线多项式函数 的系数； 建立车道线三次多 项式的“鸟瞰图”模型： 式中， (x,y)为转换后相平面上对应的像素点位置， fx为焦平面上像 素的宽度除以焦距， fy为焦平面上像素的高度除以焦距， H为摄 像机架设的高度； 建立结合摄 像机倾斜角的车道线三次多 项式模型： 式中， θ为摄像机倾斜角， f为摄像机焦距， f ′为经过变换后的摄像机焦距， (x ′,y′)代表 经过变换后的像素点 位置； 建立车道线三次多 项式参数化模型： pi＝(ci, α1,i′, α2,i′, α3,i′,f′,bi′,bi″, βi,γi) f′＝fsinθ权　利　要　求　书 1/3 页 2 CN 115527177 A 2式中， pi为表示第i条车道线形状的多项式参数集， ci∈[0,1]为第i条车道线的置信度 (0代表背景， 1代表车道 线标记)， βi和γi分别代表第i 条车道线的纵向起始和截 止偏移量， i ∈[0,...,M]， M为当前图像中车道线的总数量。 3.根据权利要求1所述的一种结合多头注意力机制的双分支网络车道线检测方法， 其 特征在于， 所述步骤二中采用匈牙利拟合损失， 在预测的车道线参数与真实车道线之间进 行二部匹配， 利用匹配结果对特定车道的回归损失进行优化， 构造一种用于计算预测的车 道线参数与真实车道线之间的匹配度的损失函数如下： 基于匈牙利拟合的损失函数如下： S1、 获得预测的车道线参数集 合P＝{pi}； S2、 获取真实车道线标记集S＝{(ci,xi,yi)}； S3、 将步骤2中获取的真实车道线标记集S， 通过搜索最后单射函数： l:S →P， 将预测的 车道线参数集与真实车道线标记集之间的二部匹配问题定义为一个代价最小的问题： 其中M为预定义的车道线数量， Lbmc(Pli,Si)为第i条真实车道线标 记集Si与索引为 li的预测参数集Pli之间的匹配代价； S4、 基于匈 牙利拟合的损失函数定义 为： 其中， L为损失函数输出值， g(ci)为类别ci的概率， 为通过二部匹配后索引为 的拟 合车道线序列集， μ1， μ2， μ3为损失函数的系数， Lmae为平均绝对误差， Z( ·)为指标函数， βi为 第i条真实车道线的纵向起始偏移量， 为通过二部匹配后索引为 预测车道线的纵向起 始偏移量， γi为第i条真实车道线的纵向截止偏移 量， 为通过二部匹配后索引为 预测 车道线的纵向截止偏移量。 4.根据权利要求1所述的一种结合多头注意力机制的双分支网络车道线检测方法， 其 特征在于， 所述步骤三建立全局 ‑局部双分支网络， 该网络结合CNN与多头注 意力机制， 按照 扩张‑压缩结构进行 搭建， 关注到更多的空间信息 视野远端车道线标记信息的方法为： A、 构建多头注意力机制模块： MultiHead(Q,K,V)＝Concat(head1,...,headh)WO， headi ＝Attention(QWiQ,KWiK,VWiV)， 其中MultiHead为多头 注意力机制的输出， Concat为将每个头的输出进行组合， head为多头注意力机制中每个头 的输出， Attention为自注意机制， softmax为逻辑回归函数， d为查询向量(Q)和键向量(K) 的维度， V为值向量， WiQ， WiQ， WiQ分别代表对第i自注 意机制的Q， K和V进行线性变换的矩阵， h 为自注意机制的个数， WO为多头注意力的权重矩阵。 由于标准的多头注意力机制没有对位权　利　要　求　书 2/3 页 3 CN 115527177 A 3