(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210738337.7 (22)申请日 2022.06.27 (71)申请人 中国第一汽车股份有限公司 地址 130011 吉林省长 春市汽车 经济技术 开发区新红旗大街1号 (72)发明人 马菲菲　刘晔　高仕宁　李超　 孙涛　陈兴　林源　柳菁　强一丁　 朱静　 (74)专利代理 机构 北京博浩百 睿知识产权代理 有限责任公司 1 1134 专利代理师 谢湘宁 (51)Int.Cl. G06V 20/56(2022.01) G06V 20/59(2022.01) G06V 40/16(2022.01)G06V 40/20(2022.01) G06V 10/80(2022.01) (54)发明名称 车辆内外信息融合的方法、 控制装置、 处理 器及车辆 (57)摘要 本发明公开了一种车辆内外信息融合的方 法、 控制装置、 处理器及车辆。 其中， 该方法包括： 获取车辆的车内目标对象 的信息， 以及车辆的车 外目标对象的信息， 其中， 目标对象的信息包括 如下至少之一： 目标对象的人脸信息、 动作信息、 面部表情信息、 心率信息； 结合预置数学模型， 将 车内目标对象的信息与车外目标对象的信息进 行融合， 获得融合信息， 其中， 融合信息用于表征 车内目标对象与车外目标对象在同一时刻 的场 景信息， 场景信息包括如下至少之一： 下车场景 信息、 上车场景信息、 车内场景信息、 车外场景信 息。 本发明解决了如何及时获取车内外的有效信 息的技术问题。 权利要求书2页 说明书7页 附图3页 CN 115187942 A 2022.10.14 CN 115187942 A 1.一种车辆内外信息融合的方法， 其特 征在于， 包括： 获取车辆的车内目标对象的信息， 以及所述车辆的车外目标对象的信 息， 其中， 所述目 标对象的信息包括如下至少之一： 目标对象的人脸信息、 动作信息、 面部表情信息、 心率信 息； 结合预置数学模型， 将所述车内目标对象的信息与所述车外目标对象的信息进行融 合， 获得融合信息， 其中， 所述融合信息用于表征所述车内目标对象与所述车外目标对象在 同一时刻的场景信息， 所述场景信息包括如下至少之一： 下车场景信息、 上车场景信息、 车 内场景信息、 车外场景信息 。 2.根据权利要求1所述的方法， 其特征在于， 将所述车内目标对象的信 息与所述车外目 标对象的信息进行融合， 获得融合信息， 包括： 采集第一时刻所述车内目标对象的人脸信息； 采集第二时刻所述车外目标对象的人脸信息， 其中， 所述第一时刻位于所述第二时刻 之前； 判断所述车内目标对象的人脸信息与所述车外目标对象的人脸信息是否相同； 如果是， 生成所述下 车场景信息 。 3.根据权利要求1所述的方法， 其特征在于， 将所述车内目标对象的信 息与所述车外目 标对象的信息进行融合， 获得融合信息， 包括： 采集第三时刻所述车内目标对象的人脸信息； 采集第四时刻所述车外目标对象的人脸信息， 其中， 所述第三时刻位于所述第 四时刻 之后； 判断所述车内目标对象的人脸信息与所述车外目标对象的人脸信息是否相同； 如果是， 生成所述上 车场景信息 。 4.根据权利要求1所述的方法， 其特征在于， 将所述车内目标对象的信 息与所述车外目 标对象的信息进行融合， 获得融合信息， 包括： 采集车内目标对象的心率信息、 面部表情信息以及动作信息； 将所述车内目标对象的心率信息与预置心率范围进行比较， 获得第一比较结果； 将所述车内目标对象的面部表情信息与预置表情进行比较， 获得第二比较结果； 将所述车内目标对象的动作信息与第一预置动作进行比较， 获得第三比较结果； 基于所述第一比较结果、 第二比较结果以及所述第三比较结果， 生成所述车内场景信 息， 所述车内场景信息包括如下至少之一： 目标对象的疲劳状态、 目标对 象的情绪状态、 目 标对象的开车门的动作信息、 目标对 象的关车门的动作信息、 目标对 象的抓握方向盘的动 作信息。 5.根据权利要求1所述的方法， 其特征在于， 将所述车内目标对象的信 息与所述车外目 标对象的信息进行融合， 获得融合信息， 包括： 采集车外目标对象的动作信息； 将所述车外目标对象的动作信息与第二预置动作进行比较， 获得第四比较结果； 基于所述第四比较结果， 生成所述车外场景信息， 所述车外场景信息包括如下至少之 一： 目标对象远离车辆预设距离内的行为信息、 目标对象的开车门的动作信息、 目标对象的 关车门的动作信息 。权　利　要　求　书 1/2 页 2 CN 115187942 A 26.根据权利要求1所述的方法， 其特征在于， 获取车辆的车内目标对象的信息， 以及所 述车辆的车外目标对象的信息， 包括： 通过检测元件检测所述车内目标对象的信 息以及所述车外目标对象的信 息， 所述检测 元件包括如下至少之一： 摄像头、 离手探测传感器、 心率传感器、 雷达传感器、 红外传感器、 射频传感器。 7.一种车辆内外信息融合的控制装置， 其特 征在于， 包括： 获取模块， 所述获取模块用于获取车辆的车内目标对象的信息， 以及所述车辆的车外 目标对象的信息， 其中， 所述目标对象的信息包括如下至少之一： 目标对 象的人脸信息、 动 作信息、 面部表情信息、 心率信息； 融合模块， 所述融合模块用于结合预置数学模型， 将所述车内目标对象的信息与所述 车外目标对象的信息进 行融合， 获得融合信息， 其中， 所述融合信息用于表征所述车内目标 对象与所述车外目标对 象在同一时刻的场景信息， 所述场景信息包括如下至少之一： 下车 场景信息、 上 车场景信息、 车内场景信息、 车外场景信息 。 8.一种计算机存储介质， 其特征在于， 所述计算机存储介质包括存储的程序， 其中， 在 所述程序运行时控制所述计算机存储介质所在设备执行权利要求1 ‑6中任一项所述的方 法。 9.一种处理器， 其特征在于， 所述处理器用于运行程序， 所述处理器被设置为运行计算 机程序以执 行权利要求1 ‑6中任一项所述的方法。 10.一种车辆， 包括存储器和处理器， 其特征在于， 所述存储器中存储有计算机程序， 所 述处理器被设置为 运行所述计算机程序以执 行权利要求1 ‑6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115187942 A 3