(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210303776.5 (22)申请日 2022.03.26 (71)申请人 厦门靠谱云股份有限公司 地址 361000 福建省厦门市湖里区火炬高 新区软件园创新大厦C区3F-A317 (72)发明人 肖永强　唐尉棉　肖金华　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 陈鼎桂　蔡学俊 (51)Int.Cl. H04N 21/2187(2011.01) H04N 21/239(2011.01) H04N 21/254(2011.01) H04N 21/426(2011.01) H04N 21/431(2011.01)H04N 21/442(2011.01) H04N 21/478(2011.01) H04N 21/488(2011.01) H04N 21/643(2011.01) G06F 8/71(2018.01) G06F 40/30(2020.01) G06K 9/62(2022.01) (54)发明名称 一种可配置自动化驱动虚拟主播的直播互 动系统及方法 (57)摘要 本发明涉及一种可配置自动化驱动虚拟主 播的直播互动系统， 包括客户端、 FAQ服务器、 语 音服务器、 弹幕采 集服务单元、 U nity3D虚拟动画 服务单元,用户管理服务器； 所述客户端与弹幕 采集服务单元、 Unity3D虚拟动画服务单元和用 户管理服务器 分别连接； 所述用户管理服务器与 FAQ服务器、 语音服务器分别连接。 本发明有效降 低电商直播卖货中的人工成本， 为虚拟主播赋 能， 支持可配 置自动化 流程。 权利要求书2页 说明书5页 附图1页 CN 114710688 A 2022.07.05 CN 114710688 A 1.一种可配置自动化驱动虚拟主播的直播互动系统， 其特征在于， 包括客户端、 FAQ服 务器、 语音服务器、 弹幕采集服务单元、 Unity3D虚拟动画服务单元,用户管理服务器； 所述 客户端与弹幕采集服务单元、 Unity3D虚拟动画 服务单元和用户管 理服务器 分别连接； 所述 用户管理服 务器与FAQ 服务器、 语音服 务器分别连接 。 2.根据权利要求1所述的一种可配置自动化驱动虚拟主播的直播互动系统， 其特征在 于， 所述客户端实现可配置输入， 包括： 场景动画选择、 台本选择编辑、 欢迎答谢模板定制、 FAQ编辑、 合成声 音选择、 素 材上传和运行日志。 3.根据权利要求1所述的一种可配置自动化驱动虚拟主播的直播互动系统， 其特征在 于， 所述FAQ服务器基于Directional  Skip‑Gram大规模无监督学习的词向量模型对用户传 上来的问答库预 先转句子级向量。 4.根据权利要求1所述的一种可配置自动化驱动虚拟主播的直播互动系统， 其特征在 于， 所述Unity3D虚拟动画服务单元预先设计不同形象虚拟主播， 为每个虚拟主播配置不同 的动作组合， 通过开启接口监听， 并实现与客户端对接， 由客户端控制请求声 音动作输出。 5.一种可配置自动化驱动虚拟主播的直播互动系统的互动方法， 其特征在于， 包括以 下步骤: 客户端配置待驱动的虚拟主播工作流 程; 当客户端配置完成后开启直播， 进入粉丝问答 时， 会抽取最新n数量弹幕， 对n条数量过 滤之后进行 FAQ计算请求， 其中n由用户设定； 弹幕采集阶段采用两种方式进行采集， 包括基于http传输的protob uf格式的弹幕采集 和基于websocket传输的protobuf格式的弹幕 采集。 6.根据权利要求5所述的一种可配置自动化驱动虚拟主播的直播互动系统的互动方 法， 其特征在于， 所述抽取最新n数量弹幕， 具体为:设初始化 的时间是T0=0， 而当前的时间 是Tm， m表示工作流进入粉 丝问答的次数， 若Tm>T0且当前粉 丝发送弹幕时间在区间[T0,Tm]产 生的弹幕， 则作为备用待互动候选集set0， 为了进一步从候选集中提取有效的互动数据集 set1， 再进行判断每条汉字所占比例>= 0.9， 且数字 字母<5个， 其他字符<4个。 7.根据权利要求5所述的一种可配置自动化驱动虚拟主播的直播互动系统的互动方 法， 其特征在于， 所述FAQ计算， 具体为： 若互动数据集set1的某一条存在词Wm不属于语义词 集中， 则用字符差异化编辑距离作为相似度兜底计算； 请求FAQ返回包含最 高相似度配对问题Qm、 以及对应互动文本答案Am， 通过解析答案Am， 匹配用户预先设定对应 的动作组集合， 另外客户端还会将Am请求语音合成服务器， 对返回 的语音连同动作集 合一起传送给Un ity3D虚拟动画服 务， 最后给直 播间推合成视频流。 8.根据权利要求5所述的一种可配置自动化驱动虚拟主播的直播互动系统的互动方 法， 其特征在于， 所述基于 http传输的protobuf格式的弹幕 采集， 具体为： （1） 、 输入需要采集的直 播页面地址； （2） 、 使用selenium工具驱动浏览器打开直播页 面， 解析页 面获取所需的直播间id等信 息； （3） 、 启动本地代理工具， 配置 工具脚本， 采集 来自指定直 播间id的数据； （4） 、 使用selenium工具配置本地代理地址以及端口， 驱动浏览器打开需要采集的直播 页面并保持页面在后台常驻；权　利　要　求　书 1/2 页 2 CN 114710688 A 2（5） 、 本地代 理工具开始捕获符合指定规则的接口路径， 并保存接口返回数据到本地目 录； （6） 、 监听指定的本地目录， 实时解析保存下来的protobuf格式数据； （7） 、 将解析完成的弹幕信息保存至指定位置 。 9.根据权利要求5所述的一种可配置自动化驱动虚拟主播的直播互动系统的互动方 法， 其特征在于， 所述基于websocket传输的protobuf格式的弹幕 采集， 具体为： （1） 、 输入需要采集的直 播页面地址； （2） 、 使用selen ium工具驱动浏览器打开 直播页面， 获取页面html源码； （3） 、 从html源码中解析 出弹幕websocket地址、 直 播流id、 校验to ken信息； （4） 、 获取最 新的直播间礼物id与名称的映射文件， 解析并记录 到内存中； （5） 、 使用aiohttp框架模拟网页请求与服务端websocket接口进行交互， 并解析服务端 返回数据； （6） 、 将解析完成的弹幕信息保存至指定位置 。 10.根据权利要求5所述的一种可配置自动化驱动虚拟主播的直播互动系统的互动方 法， 其特征在于， 所述客户端还设置有用户跟踪管理机制， 加入了用户使用跟踪的功能， 任 何用户在使用客户端相关功能服务时， 都会与用户管理服务器进行接 收和发出消息， 系统 会复制并保存用户的各种操作信息， 然后通过辅助分析工具进行分析。权　利　要　求　书 2/2 页 3 CN 114710688 A 3