(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210820181.7 (22)申请日 2022.07.12 (71)申请人 中国电信股份有限公司 地址 100033 北京市西城区金融大街31号 (72)发明人 朱应钊　陈春华　胡颖茂　乔宏明　 蒋艺荃　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 孙宝海 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06K 9/00(2022.01) (54)发明名称 触觉动作仿真方法、 装置、 设备和存 储介质 (57)摘要 本公开提供一种触觉动作仿真方法、 装置、 设备和存储介质， 涉及通信技术领域。 该方法包 括一种触觉动作仿真方法， 包括： 接收通信网络 传输的触觉信号， 触觉信号包括触摸压力信号和 摩擦振动信号； 对触摸压力信号进行解码， 得到 二维图像数据； 对摩擦振动信号进行解码， 得到 一维时间序列数据； 分别对二维图像数据和一维 时间序列数据进行特征提取， 得到图像特征和时 间序列特征； 对图像特征和时间序列特征进行特 征融合处理， 得到融合特征； 基于融合特征对触 觉信号进行补偿， 生成目标触觉信号； 基于目标 触觉信号， 生成用于控制触觉仿真动作的控制信 号。 通过融合特征对触觉信号进行补偿， 对损耗 的信号实现一定程度的恢复， 极大提高动作仿真 的真实性。 权利要求书2页 说明书11页 附图7页 CN 115223244 A 2022.10.21 CN 115223244 A 1.一种触觉动作仿真方法， 应用于 接收端服 务器， 其特 征在于， 包括： 接收通信网络传输的触觉信号， 所述触觉信号包括触摸压力 信号和摩擦振动信号； 对所述触摸压力 信号进行解码， 得到二维图像数据； 对所述摩擦振动信号进行解码， 得到一维时间序列数据； 分别对所述二维图像数据和所述一维时间序列 数据进行特征提取， 得到图像特征和时 间序列特 征； 对所述图像特 征和所述时间序列特 征进行特征融合处 理， 得到融合特 征； 基于所述融合特 征对所述触觉信号进行补偿， 生成目标触觉信号； 基于所述目标触觉信号， 生成用于控制触觉 仿真动作的控制信号。 2.根据权利要求1所述的触觉动作仿真方法， 其特征在于， 所述分别对所述二维图像数 据和所述 一维时间序列数据进行 特征提取， 得到图像特 征和时间序列特 征， 包括： 将所述二维图像数据输入至第一编码器中， 生成所述图像特 征； 将所述一维时间序列数据输入至第二编码器中， 生成所述时间序列特 征。 3.根据权利要求2所述的触觉动作仿真方法， 其特征在于， 所述第 一编码器包括卷积神 经网络； 所述第二编码器包括多个门循环单 元层。 4.根据权利要求1所述的触觉动作仿真方法， 其特征在于， 所述对所述图像特征和所述 时间序列特 征进行特征融合处 理， 得到融合特 征， 包括： 将所述图像特征和所述 时间序列 特征输入至预设的语义融合网络 中， 生成所述融合特 征。 5.根据权利要求1所述的触觉动作仿真方法， 其特征在于， 所述基于所述融合特征对所 述触觉信号进行补偿， 生成目标触觉信号； 包括： 构建触觉信号重建模型； 构建训练样本， 获取 所述训练样本的融合特 征和真实触觉信号； 将所述训练样本的融合特征输入到所述触觉信号重建模型， 生成训练样本的触觉重建 信号； 基于所述训练样本的触觉重建信号和对应的真实触觉信号， 对所述触觉信号重建模型 进行优化； 将目标样本的融合特 征输入到优化后的触觉信号重建模型， 生成目标触觉信号。 6.一种触觉动作仿真方法， 应用于发送端服 务器， 其特 征在于， 包括： 采集触摸动作信息， 所述触摸动作信息包括触摸压力 信息和摩擦振动信息； 将所述触摸压力 信息进行 数据转换， 得到二维图像数据； 对所述摩擦振动信息进行 数据转化， 得到一维时间序列数据； 分别对所述二维图像数据和所述一维时间序列 数据进行编码， 得到适合进行通信网络 传输的触觉信号； 将所述触觉信号通过通信网络传输至接收端服务器， 所述接收端服务器执行以下步 骤： 接收所述通信网络传输的触觉信号， 所述触觉信号包括触摸压力信号和摩擦振动信 号； 对所述触摸压力 信号进行解码， 得到所述 二维图像数据；权　利　要　求　书 1/2 页 2 CN 115223244 A 2对所述摩擦振动信号进行解码， 得到所述 一维时间序列数据； 分别对所述二维图像数据和所述一维时间序列 数据进行特征提取， 得到图像特征和时 间序列特 征； 对所述图像特 征和所述时间序列特 征进行特征融合处 理， 得到融合特 征； 基于所述融合特 征对所述触觉信号进行补偿， 生成目标触觉信号； 基于所述目标触觉信号， 生成用于控制触觉 仿真动作的控制信号。 7.一种触觉动作仿真装置， 其特 征在于， 包括： 接收模块， 用于接收通信网络传输的触觉信号， 所述触觉信号包括触摸压力信号和摩 擦振动信号； 第一解码模块， 用于对所述触摸压力 信号进行解码， 得到二维图像数据； 第二解码模块， 用于对所述摩擦振动信号进行解码， 得到一维时间序列数据； 特征提取模块， 用于分别对所述二维图像数据和所述一维时间序列数据进行特征提 取， 得到图像特 征和时间序列特 征； 特征融合模块， 用于对所述图像特征和所述时间序列特征进行特征融合处理， 得到融 合特征； 生成模块， 用于基于所述融合特 征对所述触觉信号进行补偿， 生成目标触觉信号； 控制模块， 用于基于所述目标触觉信号， 生成用于控制触觉 仿真动作的控制信号。 8.根据权利要求7 所述的触觉动作仿真装置， 其特 征在于， 还 包括： 采集模块， 用于采集触摸动作信息， 所述触摸动作信息包括触摸压力信息和摩擦振动 信息； 第一转换模块， 用于将所述触摸压力 信息进行 数据转换， 得到二维图像数据； 第二转换模块， 用于对所述摩擦振动信息进行 数据转化， 得到一维时间序列数据； 编码模块， 用于分别对所述二维图像数据和所述一维时间序列数据进行编码， 得到适 合进行通信网络传输的触觉信号； 通信网络模块， 用于将所述触觉信号 通过通信网络传输 至所述接收模块。 9.一种电子设备， 其特 征在于， 处 理器； 以及 存储器， 用于存 储所述处 理器的可 执行指令； 其中， 所述处理器配置为经由执行所述可执行指令来执行权利要求1～6 中任意一项所 述的触觉动作仿真方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1～6中任意 一项所述的触觉动作仿真方法。权　利　要　求　书 2/2 页 3 CN 115223244 A 3