(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210694288.1 (22)申请日 2022.06.20 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路２ 号 (72)发明人 张海薇　杨鑫　魏小鹏　张强　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 许明章　王海波 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种融合眼动追踪计算的轻量化实时情绪 分析方法 (57)摘要 本发明属于计算机视觉技术领域， 提出了一 种融合眼动追踪计算的轻量化实时情绪分析方 法。 该方法基于事件的摄像机获取时间同步的灰 度图和事件帧， 分别输入至帧分支和事件分支； 帧分支通过卷积操作提取空间特征， 事件分支通 过conv‑SNN块提取时间特征； 帧分支对于事件分 支设有引导注 意力机制； 全 连接层将空间特征和 时间特征进行融合， 最终输出n次全连接层输出 的平均值， 以此表示最终的表情表达式。 本方法 实现各种复杂光线变化场景中识别任意阶段表 情表达， 同时可以使用不定长序列长度进行测 试； 同时该方法的复杂 度低， 计算参数少， 可在资 源有限的设备上稳定运； 并且在 有限精度损失情 况下， 缩短情绪识别时间， 达到用户情绪 “实时” 分析。 权利要求书2页 说明书5页 附图1页 CN 115131856 A 2022.09.30 CN 115131856 A 1.一种融合眼动追踪计算的轻量化实时情绪分析方法， 其特征在于， 基于事件的摄像 机获取时间同步的灰度图和事件帧， 分别输入至帧分支和事件分支； 帧分支通过卷积操作 提取空间特征， 事件分支通过conv ‑SNN块提取时间特征； 帧分支对于事件分支设有引导注 意力机制； 全连接层将空间特征和时间特征进行融合， 最终输出n次全连接层输出的平均 值， 并以此表示 最终的表情表达式； 具体步骤如下： 步骤一、 灰度图序列通过帧分支提取与表情相关的空间特 征； 空间特征的提取基于给定灰度图序列的第 一帧和最后 一帧； 两张灰度图叠加后经过一 个自适应多尺度感知模块和两个额外卷积层逐步 提取空间特 征； 自适应多尺度感知模块采用三个不同尺寸核的卷积层提取灰度图的多尺度信 息， 再利 用自适应加权平衡方案平衡不同尺度特征 的贡献； 之后使用一个卷积核大小为1的卷积层 对于加权的多尺度特 征进行融合； 自适应多尺度感知模块具体 体现为式(1)到式(3)： 其中， [·]表示通道连接； Ci表示i*i卷积层； C1表示1*1卷积层； M为多层感知器操作符， 其包括一个线性输入层、 一个批标准化层、 一个ReLU激活函数和一个线性输出层； σ为 Softmax函数； Fi表示多尺度帧特征； 所有自适应权重wi的和为1； 分别表示第一张和 最后一张灰度图； 基于 两个额外卷积层生成基于 的最终帧空间特 征 如式(4) 其中， C3表示3*3卷积层； 步骤二、 事 件帧通过事 件分支提取时间特 征； 事件分支基于脉冲CNN架构， 其包括三个conv ‑SNN块； 每个conv ‑SNN块中， 包括一个卷 积层和一个基于LIF的SNN层， 二者依次连接； 在第一个conv ‑SNN块中， 卷积层将 输入的事件 帧转换为膜电位， 并输入至SNN层中， SNN层的输出为脉冲； 之后的两个conv ‑SNN块的卷积层 将脉冲转换为膜电位， 并输入至之后的SN N层； 对于n个事件帧， 事件分支按时间顺序依次处理， 同时根据帧分支更新事件分支上卷积 层的权值； 事件分支上卷积层的结构与帧分支的卷积层对称， 对称位置上卷积层的设置均 与帧分支上的卷积层相同； 如式(5)； 其中， θG表示帧分支上卷积层的参数， 表示事件分支的卷积层在时间戳t时的参 数； k是取值在0到1范围内的参数， 表示事 件分支参数 更新时， 两个分支参数贡献的权 重； 在时间戳t的第l层神经 元的膜电位Vt,l表示为式(6)到式(9)； 权　利　要　求　书 1/2 页 2 CN 115131856 A 2Ht,l＝( α Vt‑1,l)(1‑Zt,l‑1)   (8) Zt,0＝Et   (9) 其中， f(·)为阶跃函数； 为膜电位阈值； α 为LIF神经元的泄漏因子； Et为第t个事件 帧； 表示自适应多尺度感知模块或之后额外的两个卷积层操作； 为了有效融合空间特征和时间特征， 设置引导注意力机制， 加强时空信息， 数学表示为 式(10)到式(1 1)； Gt＝ ψ( β(C7([Max(Dt),Mean(Dt)])))Vt,l＝3+Vt,l＝3    (10) 其中， C7表示7*7的卷积层， β 为批标准化层和ReLU函数； ψ为sigmoid函数； Max和Mean分 别表示信道维度上特征的最大池化操作和平均池化操作； Gt是注意力机制在时间戳t分类 器上生成的密集特 征； 步骤三、 基于分类 器， 进行分类 两个基于SNN的全连接层作为分类 器； 分类器在时间戳t处的输入定义 为公式(12) 在最后一个时间戳n中， 计算所有时间戳中从1到n的最后一个全连接层输 出峰值Ot的平 均值， 经过Softmax函数 得到S， 并使用S来表示7种表情得分； 其中σ 为Softmax函数； 7种表情分别为： 开心、 伤 心、 惊讶、 恐惧、 厌 恶、 生气和中性。 2.根据权利要求1所述的融合眼动追踪计算的轻量化实时情绪分析方法， 其特征在于， 所述自适应多尺度感知模块的三个不同尺寸核的卷积层分别为3 *3,5*5,7*7。权　利　要　求　书 2/2 页 3 CN 115131856 A 3