(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210687087.9 (22)申请日 2022.06.17 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 李晓飞　钱庆庆　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 刘艳艳 (51)Int.Cl. G08B 21/04(2006.01) G10L 15/16(2006.01) G10L 15/26(2006.01) G10L 15/30(2013.01) G10L 25/63(2013.01)G06V 40/20(2022.01) G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合图像和语音的独居老人室内安全 保护方法及装置 (57)摘要 本发明公开了一种融合图像和语音的独居 老人室内安全保护方法， 方法包括： 获取居家环 境下的监控视频数据， 监控视频数据包括图像数 据和语音数据； 对图像数据进行人脸检测和人脸 识别， 判断得到居家环境人数以及身份认证； 响 应于判断为独居老人， 对独居老人进行跌倒动作 识别， 得到独居老人跌倒识别结果； 对语音数据 进行云端语音识别处理， 得到老人的情感分析结 果； 结合居家环境人数以及身份认证、 老人跌倒 识别结果和情感分析结果对老人状态进行综合 分析， 得到老人状态分析结果； 根据老人状态分 析结果， 向对应的终端或平台发送安全保护通 知。 本发明能够减少已有室内老人跌倒识别误报 的情况， 从而减少对老人亲属的影 响以及社会医 疗资源的浪费。 权利要求书2页 说明书6页 附图1页 CN 115171335 A 2022.10.11 CN 115171335 A 1.一种独居老人室内安全保护方法， 其特 征在于， 包括： 获取居家 环境下的监控视频 数据， 其中所述 监控视频 数据包括图像数据和语音数据； 对图像数据进行 人脸检测 和人脸识别， 判断得到居家 环境人数以及身份认证； 响应于判断为独居老人， 对独居老人进行跌倒 动作识别， 得到独居老人跌倒识别结果； 对语音数据进行云端语音识别处 理， 得到老人的情感分析 结果； 结合居家环境人数以及身份认证、 老人跌倒识别结果和情感分析结果对老人状态进行 综合分析， 得到老人状态分析 结果； 根据所述老人状态分析 结果， 向对应的终端或平台发送安全保护通知。 2.根据权利要求1所述的独居老人室内安全保护方法， 其特征在于， 对语音数据进行云 端语音识别处 理， 包括： 利用云端的语音处 理对语音数据进行语音识别得到文本信息； 将文本信息中的词进行向量化表示， 同时输入字词的位置信息， 组合后得到最终的词 向量； 将最终的词向量输入Transformer网络， 利用多头自注意力机制丰富词语之间的关联， 使得网络可以理解句子的语义和语法结构信息； 输出层首先使用卷积操作进 行特征的再提 取， 最后通过全连接层操作进行 特征的融合， 得到融合特 征； 利用预训练好的老人情绪状态 识别网络模型对融合特 征进行识别得到情感分析 结果。 3.根据权利要求1所述的独居老人室内安全保护方法， 其特征在于， 对图像数据进行人 脸检测和人脸识别， 包括： 将监控视频中的图像序列输入YOLOv3人脸检测网络， 标定出 人脸区域 坐标； 根据标定结果， 确定居家 环境内的人 数； 当人数为1时， 将标定的人脸区域进行对齐， 利用训练好的ResNet进行 特征提取； 利用ResNet提取本地人脸库的特征向量， 计算检测目标和本地图像的特征向量的余弦 相似度； 基于计算结果确定识别到的人脸是否为被监护的独居老人， 当确定是被监护的独居老 人时， 进行跌倒行为识别。 4.根据权利要求1所述的独居老人室内安全保护方法， 其特征在于， 结合居家环境人数 以及身份认证、 老人跌倒识别结果和情感分析 结果对老人状态进行综合分析， 包括： 对语音判定、 跌倒检测判定和身份识别进行加权融合， 通过 下式表示： 式(1)中， e(k)表示加权融合的老人是否需要救助的置信度， ei(k)包括情感分析、 身份 识别和跌倒检测 在k时刻的置信度， ωi表示权重， 包括情感分析、 跌倒识别和身份认证的权 重ω1， ω2， ω3， 三种参数的权 重比值由大到小的比值 为ω1， ω2， ω3， 并且ω1+ω2+ω3＝1。 5.根据权利要求 4所述的独居老人室内安全保护方法， 其特 征在于， 当检测到室内不止一个人并且识别为都是老人 亲属则不进行老人状态分析。 6.根据权利要求 4所述的独居老人室内安全保护方法， 其特 征在于， 当检测到室内不止一个人并且没有已认证的亲属时， 则进行加权融合识别， 此时ei(k) 包括情感分析和身份识别在k时刻的置信度， ωi表示权重， 包括情感分析的权重ω1和跌倒权　利　要　求　书 1/2 页 2 CN 115171335 A 2识别的权重ω2， 此时ω1＝0.3， ω2＝0.7， ω3＝0， 若结果判定老人遇到怀有恶意的陌生人， 将情况发送到亲属终端。 7.根据权利要求 4所述的独居老人室内安全保护方法， 其特 征在于， 当检测到室内只有老人时， 对老人进行加权融合识别， ei(k)包括情感分析、 身份识别和 跌倒检测在k时刻的置信度， ωi表示权重， 包括情感分析、 跌倒识别和身份认证的权重ω1， ω2， ω3， 此时ω1＝0.3， ω2＝0.4， ω3＝0.3， 若判定为独居老人发生跌倒， 则将 室内情况通 知到老人 亲属终端以及医疗服 务机构平台。 8.一种独居老人室内安全保护装置， 其特 征在于， 包括处 理器及存 储介质； 所述存储介质用于存 储指令； 所述处理器用于根据所述指令进行操作以执行根据权利要求1至7任一项所述方法的 步骤。 9.一种存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理器执行 时实现权利要求1至7任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115171335 A 3