(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210707482.9 (22)申请日 2022.06.21 (71)申请人 北京通用人工智能研究院 地址 100080 北京市海淀区颐和园路2号未 来科技大厦东裙楼 (72)发明人 刘腾宇　蒋楠　曹哲暄　崔洁茗　 王鹤　黄思远　朱毅鑫　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 周磊 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 姿态估计方法、 装置和电子设备 (57)摘要 本发明提供一种姿态估计方法、 装置和电子 设备， 通过根据待识别图像和物体规范姿态点云 数据提取人体图像特征和物体图像特征， 根据人 体图像特征和物 体图像特征进行姿态信息提取， 得到人体姿态特征和物体姿态特征， 其中， 人体 姿态特征和物体姿态特征中含有人体和物体的 交互信息， 将人体姿态特征和物体姿态特征输入 多层感知机， 得到预测姿态信息。 通过人体姿态 特征和物体姿态特征中含有人体和物体的交互 信息的方式， 利用交互信息来弥补 物体或人体在 被遮挡时导致的姿态信息不完整的缺陷， 进而估 计物体和人体的姿态， 实现无论是否在被遮挡的 情况下， 均能准确估计物体和人体的姿态的效 果。 权利要求书2页 说明书8页 附图1页 CN 115063887 A 2022.09.16 CN 115063887 A 1.一种姿态估计方法， 其特 征在于， 包括： 获取待识别图像和物体规范姿态点云数据； 根据所述待识别图像和物体规范姿态点云数据提取 人体图像特 征和物体图像特 征； 根据所述人体图像特征和所述物体图像特征进行姿态信 息提取， 得到人体姿态特征和 物体姿态特征， 其中， 所述人体姿态特征和所述物体姿态特征中含有人体和物体的交互信 息； 将所述人体姿态特 征和所述物体姿态特 征输入多层感知机， 得到预测姿态信息 。 2.根据权利要求1所述的姿态估计方法， 其特征在于， 根据 所述待识别图像和物体规范 姿态点云数据提取 人体图像特 征和物体图像特 征， 包括： 将所述待识别图像输入第一神经网络， 输出 人体图像特 征； 将所述物体规范姿态点云数据输入第二神经网络， 输出物体几何特 征； 将所述待识别图像输入第三神经网络， 输出物体初始图像特 征； 根据所述物体几何特征和所述物体初始图像特征进行基于交叉注意力特征融合， 得到 物体图像特 征。 3.根据权利要求1所述的姿态估计方法， 其特征在于， 根据 所述人体图像特征和所述物 体图像特 征进行姿态信息提取， 得到人体姿态特 征和物体姿态特 征， 包括： 根据所述人体图像特征和所述物体图像特征进行基于互注意力的特征交互学习， 得到 交互物体图像特 征和交互人体图像特 征； 对所述交互人体图像特征和所述交互物体图像特征进行基于自注意力的特征强化学 习， 得到人体姿态特 征和物体姿态特 征。 4.根据权利要求1所述的姿态估计方法， 其特征在于， 将所述人体姿态特征和所述物体 姿态特征输入多层感知机， 得到预测姿态信息， 包括： 将所述人体姿态特征和所述物体姿态特征分别输入多层感知机， 输出对应的人体预测 姿态信息和物体预测姿态信息 。 5.一种姿态估计装置， 其特 征在于， 包括： 获取单元， 用于获取待识别图像和物体规范姿态点云数据； 图像特征单元， 用于根据所述待识别图像和物体规范姿态点云数据提取人体图像特征 和物体图像特 征； 姿态特征单元， 用于根据所述人体图像特征和所述物体图像特征进行姿态信息提取， 得到人体姿态特征和物体姿态特征， 其中， 所述人体姿态特征和所述物体姿态特征中含有 人体和物体的交 互信息； 感知单元， 用于将所述人体姿态特征和所述物体姿态特征输入多层感知机， 得到预测 姿态信息 。 6.根据权利要求5所述的姿态估计装置， 其特 征在于， 所述图像特 征单元， 具体用于： 将所述待识别图像输入第一神经网络， 输出 人体图像特 征； 将所述物体规范姿态点云数据输入第二神经网络， 输出物体几何特 征； 将所述待识别图像输入第三神经网络， 输出物体初始图像特 征； 根据所述物体几何特征和所述物体初始图像特征进行基于交叉注意力特征融合， 得到 物体图像特 征。权　利　要　求　书 1/2 页 2 CN 115063887 A 27.根据权利要求5所述的姿态估计装置， 其特 征在于， 所述姿态特 征单元， 具体用于： 根据所述人体图像特征和所述物体图像特征进行基于互注意力的特征交互学习， 得到 交互物体图像特 征和交互人体图像特 征； 对所述交互人体图像特征和所述交互物体图像特征进行基于自注意力的特征强化学 习， 得到人体姿态特 征和物体姿态特 征。 8.根据权利要求5所述的姿态估计装置， 其特 征在于， 所述感知单 元， 具体用于： 将所述人体姿态特征和所述物体姿态特征分别输入多层感知机， 输出对应的人体预测 姿态信息和物体预测姿态信息 。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至4任 一项所述姿态估计方法的步骤。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1至4任一项所述姿态估计方法的步骤。权　利　要　求　书 2/2 页 3 CN 115063887 A 3