(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211045480.4 (22)申请日 2022.08.30 (71)申请人 中盈优创资 讯科技有限公司 地址 200000 上海市嘉定区曹 安公路481 1 号702室-2 (72)发明人 毛春阳　闫一帅　 (74)专利代理 机构 上海嘉蓝专利代理事务所 (普通合伙) 31407 专利代理师 金波 (51)Int.Cl. G06F 16/9535(2019.01) G06F 16/248(2019.01) G06F 16/27(2019.01) G06F 16/951(2019.01) (54)发明名称 一种基于海量数据并发检索的方法、 装置和 设备 (57)摘要 本发明提供了一种基于海量数据并发检索 的方法、 装置和设备， 所述方法包括： 数据副本管 理器根据检索的历史记录， 计算出检索的并发 数， 将数据分片加载到节点中， 形成数据分片的 副本； 用户发起检索数据分片 的请求， 检索负载 均衡器接收到检索请求后根据存储数据分片的 节点负载情况， 选择负载最低的节 点按照检索请 求检索数据分片的数据， 并将检索结果返回给检 索负载均衡器； 检索负载均衡器收到检索请求的 结果后， 响应给用户； 数据副本管理器根据检索 的历史记录， 按照Prophet时间序列模型实时要 预测出未来需要增加副本数。 以此方式， 在高并 发检索场景下， 检索响应时长保持在稳定状态， 有效地提升了用户的检索体验， 并且通过增加机 器可以线性 提升检索的并发数。 权利要求书2页 说明书7页 附图6页 CN 115455284 A 2022.12.09 CN 115455284 A 1.一种基于海量数据并发检索的方法， 其特 征在于， 该 方法包括： S01： 数据副本管理器根据检索的历史记录， 计算出检索的并发数， 将数据分片加载到 节点中， 形成数据分片的副本； S02： 用户发起检索数据分片的请求， 检索负载均衡器接收到检索请求后根据存储数据 分片的节点负载情况， 选择负载最低的节点按照检索请求检索数据分片的数据， 并将检索 结果返回给检索负载均衡 器； S03： 检索负载均衡 器收到检索请求的结果后， 响应给用户； S04： 数据副本管理器根据检索的历史记录， 按照Prophet时间序列模型实时预测出未 来需要增 加副本数。 2.根据权利要求1所述的一种基于海量数据并发检索的方法， 其特征在于， S01中所述 计算出检索的并发数的公式为： 检索的并发数＝副本数 ×每副本支持并发数。 3.根据权利要求1所述的一种基于海量数据并发检索的方法， 其特征在于， S01中所述 的将数据分片加载到节点中的步骤为： S011： 数据加载器选择一个负载最低的节点， 作为副本写入首个节点， 节点的负载情况 由IO及CPU决定， IO占的权重为20％， CPU权重为80％， 即节点的负载＝IO的利用率 ×20％+ CPU的利用率 ×80％； S012： 数据加载器将数据写入首个节点， 若首个节点写入成功， 则首个节点将副本写入 到其他节点， 否则重复步骤S01 1； S013： 若其他节点同步成功， 则将同步成功的消息发送给首个节点， 首个节点将写入成 功的消息再反馈给 数据加载器； 若其 他节点同步失败， 则重复步骤S01 1。 4.根据权利要求3所述的一种基于海量数据并发检索的方法， 其特征在于， S01中所述 的数据分片的副本在每 个节点的内容是相同的。 5.根据权利要求1所述的一种基于海量数据并发检索的方法， 其特征在于， S02中所述 的节点负载情况是由IO、 CPU及网络负荷决定的， IO占的权重为30％， CPU权重为50％， 网络 负荷权重为20％， 即节点的负载＝IO的利用率 ×30％+CPU的利用率 ×50％+网络利用率 × 20％。 6.根据权利要求1所述的一种基于海量数据并发检索的方法， 其特征在于， S02中所述 的择负载最低的节点按照检索请求检索数据分片的数据， 若此节点检索数据失败， 则重新 选择节点按照检索请求检索数据分片的数据。 7.根据权利要求1所述的一种基于海量数据并发检索的方法， 其特征在于， S03中所述 的检索负载均衡器若收到多个数据分片的检索结果， 则将数据分片进行合并， 合并完成后 再将结果返回给用户。 8.根据权利要求1所述的一种基于海量数据并发检索的方法， 其特征在于， S04中所述 的数据副本管理器预测出未来需要增加 副本数的具体步骤为： 数据副本管理器选择当前负 荷最轻的节点并通知该节点将数据副本复制 到新节点， 新节点保存副本后， 当有新的检索 请求时， 根据负载调度策略调度到新节点进行检索。 9.一种基于海量数据并发检索的装置， 其特 征在于， 该装置包括： 副本形成模块： 用于数据副本管理器根据检索的历史记录， 计算出检索的并发数， 将数 据分片加载到节点中， 形成数据分片的副本；权　利　要　求　书 1/2 页 2 CN 115455284 A 2检索模块： 用于用户发起检索数据分片的请求， 检索负载均衡器接收到检索请求后根 据存储数据分片的节点负载情况， 选择负载最低的节点按照检索请求检索数据分片的数 据， 并将检索结果返回给检索负载均衡 器； 响应模块： 用于检索负载均衡 器收到检索请求的结果后， 响应给用户； 预测模块： 用于数据副本管理器根据检索的历史记录， 按照Prophet时间序列模型实时 预测出未来需要增 加副本数。 10.一种电子设备， 包括存储器和 处理器， 所述存储器上存储有计算机程序， 其特征在 于， 所述处 理器执行所述程序时实现如权利要求1～8中任一项所述的方法。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理 器执行时实现如权利要求1～8中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115455284 A 3