(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210698171.0 (22)申请日 2022.06.20 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 饶宇熹　宁博　左杰文　汤仲淳　 (74)专利代理 机构 北京康信知识产权代理有限 责任公司 1 1240 专利代理师 周春枚 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/25(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G10L 15/02(2006.01)G10L 15/16(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 谎言识别方法、 装置、 存 储介质及处 理器 (57)摘要 本申请公开了一种谎言识别方法、 装置、 存 储介质及处理器。 涉及人工智 能领域， 该方法包 括： 获取目标对象在预设时段的人脸图像； 使用 预设掩码循环神经网络提取人脸图像的图像特 征； 获取目标对象在预设时段的语音信息； 使用 长短期记忆网络提取语音信息的语音特征； 使用 最大软分类对图像特征和语音特征进行分析， 确 定对目标对象的谎言识别结果， 其中， 最大软分 类为使用多组数据通过机器学习训练出的， 多组 数据中每组数据均包括： 图像特征和图像特征标 识的谎言标签， 语音特征中标识的谎言标签， 谎 言标签用于指示是否说谎。 通过本申请， 解决了 相关技术中说谎检测的效果差的问题。 权利要求书2页 说明书15页 附图3页 CN 115063856 A 2022.09.16 CN 115063856 A 1.一种谎言识别方法， 其特 征在于， 包括： 获取目标对象在预设时段的人脸图像； 使用预设掩码循环神经网络提取 所述人脸图像的图像特 征； 获取所述目标对象在所述预设时段的语音信息； 使用预设长短期记 忆网络提取 所述语音信息的语音特 征； 使用最大软分类对所述图像特征和所述语音特征进行分析， 确定对所述目标对象的谎 言识别结果， 其中， 所述最大软分类为使用多组数据通过机器学习训练出的， 所述多组数据 中每组数据均包括： 图像特征和图像特征标识的谎言标签， 语音 特征中标识的谎言标签， 所 述谎言标签用于指示是否说谎。 2.根据权利要求1所述的方法， 其特征在于， 使用预设掩码循环神经网络提取所述人脸 图像的图像特 征包括： 使用所述预设掩码循环神经网络 中的主干网络提取所述人脸图像的特征， 得到人脸特 征图， 其中， 所述主干网络包括： 残差网络和特 征金字塔网络； 使用所述预设掩码循环神经网络中的区域生成网络在所述人脸特征图中提取感兴趣 区域的五官 特征图， 其中， 所述感兴趣区域至少包括： 五官区域； 基于所述五官 特征图确定所述图像特 征。 3.根据权利要求2所述的方法， 其特征在于， 使用所述预设掩码循环神经网络中的主干 网络提取 所述人脸图像的特 征， 得到人脸特 征图包括： 识别所述人脸图像中的人脸可视化图像和人脸红外 图像， 其中， 所述人脸可视化图像 基于可视化相机采集的面部图像确定， 所述人脸红外图像基于红外相机采集的面部图像确 定； 将所述人脸可视化图像输入第一预设图像编码器， 得到可视化特 征图； 将所述人脸红外图像输入第二预设图像编码器， 得到红外特 征图； 对所述人脸可视化特征图和所述人脸红外特征图进行特征维度的叠加， 得到所述图像 特征。 4.根据权利要求3所述的方法， 其特 征在于， 将所述人脸可视化图像输入第一预设图像编码器， 得到可视化特 征图包括： 使用所述第 一预设图像编码器的第 一卷积核对所述人脸可视化图像进行处理， 得到第 一特征图， 其中， 所述第一卷积核的大小为1x3； 使用所述第 一预设图像编码器的第 二卷积核对所述第 一特征图进行处理， 得到所述可 视化特征图， 其中， 所述第二卷积核的大小为3x1； 将所述人脸红外图像输入第二预设图像 编码器， 得到红外特 征图包括： 使用所述第 二预设图像编码器的第 一卷积核对所述人脸可视化图像进行处理， 得到第 二特征图， 其中， 所述第一卷积核的大小为1x3； 使用所述第 二预设图像编码器的第 二卷积核对所述第 一特征图进行处理， 得到所述可 视化特征图， 其中， 所述第二卷积核的大小为3x1。 5.根据权利要求1所述的方法， 其特征在于， 使用最大软分类对所述图像特征和所述语 音特征进行分析， 确定对所述目标对象的谎言识别结果包括： 将所述图像特 征和所述语音特 征进行叠加， 得到混合特 征；权　利　要　求　书 1/2 页 2 CN 115063856 A 2使用所述 最大软分类对所述混合特 征进行分析， 得到分析 结果； 根据分析 结果对所述目标对象进行谎言识别。 6.根据权利要求1所述的方法， 其特征在于， 使用最大软分类对所述图像特征和所述语 音特征进行分析， 确定对所述目标对象的谎言识别结果包括： 确定所述语音特征的权重值， 其中， 所述权重值由多组语音特征的历史数据进行分析 确定； 使用最大软分类和所述语音特征的权重值对所述图像特征和所述语音特征进行分析， 确定对所述目标对象的谎言识别结果。 7.根据权利要求1所述的方法， 其特征在于， 在使用最大软分类对所述图像特征和所述 语音特征进行识别， 得到谎言识别结果之前， 所述方法还 包括： 获取提取图像特 征的图像损失函数； 获取提取语音特 征的语音损失函数； 根据所述图像损失函数和所述语音损失函数， 确定所述 最大软分类的模型损失函数。 8.一种谎言识别装置， 其特 征在于， 包括： 第一获取 单元， 用于获取目标对象在预设时段的人脸图像； 第一提取单元， 用于使用预设掩码循环神经网络提取 所述人脸图像的图像特 征； 第二获取 单元， 用于获取 所述目标对象在所述预设时段的语音信息； 第二提取单元， 用于使用预设长短期记 忆网络提取 所述语音信息的语音特 征； 分析单元， 用于使用最大软分类对所述图像特征和所述语音特征进行分析， 确定对所 述目标对象的谎言识别结果， 其中， 所述最大软分类为使用多组数据通过机器学习训练出 的， 所述多组数据中每组数据均包括： 图像特征和图像特征标识的谎言标签， 语音 特征中标 识的谎言标签， 所述谎言标签用于指示是否说谎。 9.一种处理器， 其特征在于， 所述处理器用于运行程序， 其中， 所述程序运行时执行权 利要求1至7中任意 一项所述的谎言识别方法。 10.一种电子设备， 其特征在于， 包括一个或多个处理器和存储器， 所述存储器用于存 储一个或多个程序， 其中， 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所 述一个或多个处 理器实现权利要求1至7中任意 一项所述的谎言识别方法。权　利　要　求　书 2/2 页 3 CN 115063856 A 3