(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210433528.2 (22)申请日 2022.04.24 (71)申请人 润联软件系统 （深圳） 有限公司 地址 518000 广东省深圳市福田区梅林街 道梅都社区中康路136号深圳新一代 产业园2栋801 (72)发明人 王伟　张黔　陈焕坤　郑毅　 (74)专利代理 机构 深圳市世联合知识产权代理 有限公司 4 4385 专利代理师 杨晖琼 (51)Int.Cl. G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 词向量维度 的确定方法、 装置、 设备及存储 介质 (57)摘要 本申请涉及人工智能技术， 揭露了一种词向 量维度的确定方法、 装置、 设备及存储介质， 所述 方法包括获取基础词向量； 基于第一子词向量， 确定初始词向量及维度； 利用初始词向量， 进行 自然语言处理任务， 得到各任务的第一性能指 标； 根据第二子词向量进行强化学习训练， 得到 本轮训练增加的第一维度， 根据第一维度与初始 词向量对应的维度， 确定第一词向量， 利用第一 词向量， 进行自然语言处理任务， 得到各任务的 第二性能指标， 根据第一性能指标与第二性能指 标的关系， 给 予奖励； 根据奖励更新总奖励值， 通 过进行多轮训练直至所述总奖励值收敛， 得到总 奖励值收敛时最后一轮训练的最终词向量对应 的维度。 本申请减少了训练开销， 并获得表达能 力更强的词向量。 权利要求书2页 说明书12页 附图3页 CN 114781395 A 2022.07.22 CN 114781395 A 1.一种词向量维度的确定方法， 其特 征在于， 所述方法包括： 获取基础词向量， 所述基础词向量包括多批 子词向量； 基于第一子词向量， 确定初始词向量及对应的维度； 利用所述初始词向量， 进行自然语言处 理任务， 得到各任务对应的第一 性能指标； 根据第二子词向量进行强化学习训练， 得到本轮训练增加的第一维度， 根据所述第一 维度与初始词向量对应的维度， 确定第一词向量， 利用所述第一词向量， 进行自然语言处理 任务， 得到各任务对应的第二性能指标， 根据所述第一性能指标与第二性能指标的关系， 给 予奖励； 根据所述奖励更新总奖励值， 通过进行多轮训练直至所述总奖励值收敛， 得到所述总 奖励值收敛时最后一轮训练确定的最终词向量对应的维度。 2.根据权利要求1所述的词向量维度的确定方法， 其特征在于， 所述基于第一子词向 量， 确定初始词向量及对应的维度包括： 基于第一子词向量的维度， 利用维度确定算法， 得到初始词向量对应的维度； 基于所述初始词向量对应的维度和第一子词向量， 利用词向量模型， 得到所述初始词 向量。 3.根据权利要求2所述的词向量维度的确定方法， 其特征在于， 所述基于所述初始词向 量对应的维度和第一子词向量， 利用词向量模型， 得到所述初始词向量包括： 基于所述初始词向量对应的维度， 从第一子词向量中截取对应维度的数据； 将所述数据输入词向量模型进行优化处 理， 得到所述初始词向量。 4.根据权利要求1所述的词向量维度的确定方法， 其特征在于， 所述根据第 二子词向量 进行强化学习训练， 得到 本轮训练增 加的第一维度包括： 获取本轮训练所使用的第二子词向量； 将所述本轮训练所使用的第 二子词向量输入深度 学习神经网络进行处理， 得到本轮训 练增加维度大小的概 率值； 将最大的概 率值对应的维度， 确定为所述第一维度。 5.根据权利要求1所述的词向量维度的确定方法， 其特征在于， 所述根据 所述第一性能 指标与第二 性能指标的关系， 给予奖励包括： 分别对第一性能指标和第 二性能指标求平均， 得到第 一平均性 能指标和第 二平均性 能 指标； 当所述第二平均性能指标 大于等于所述第一平均性能指标时， 给予第一奖励； 当所述第二平均性能指标小于所述第一平均性能指标时， 给予第二奖励， 其中所述第 一奖励为 正数， 所述第一奖励与第二奖励互为相反数。 6.根据权利要求5所述的词向量维度的确定方法， 其特征在于， 所述分别对第 一性能指 标和第二性能指标求平均， 得到第一平均性能指标和第二平均性能指标之后， 所述方法还 包括： 获取本轮训练执 行自然语言处 理任务对应 硬件的参数值； 将各硬件 对应的参数值进行归一 化处理， 得到各硬件 对应的归一 化值； 基于各硬件的归一 化值， 得到训练开销值； 将所述第二平均性能指标除以所述训练开销值， 得到所述第一奖励。权　利　要　求　书 1/2 页 2 CN 114781395 A 27.根据权利要求6所述的词向量维度的确定方法， 其特征在于， 所述基于各硬件的归一 化值， 得到训练开销值包括： 基于层次分析法获得 各所述硬件的权 重； 根据各所述硬件的权重， 对各所述硬件的归一化值进行加权求和， 得到所述训练开销 值。 8.一种词向量维度的确定装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取基础词向量， 所述基础词向量包括多批 子词向量； 初始模块， 用于基于第一子词向量， 确定初始词向量及对应的维度； 第一训练模块， 用于利用所述初始词向量， 进行自然语言处理任务， 得到各任务对应的 第一性能指标； 第二训练模块， 用于根据第二子词向量进行强化学习训练， 得到本轮训练增加的第一 维度， 根据所述第一维度与初始词向量对应的维度， 确定第一词向量， 利用所述第一词向 量， 进行自然语言处理任务， 得到各任务对应的第二性能指标， 根据所述第一性能指标与第 二性能指标的关系， 给予奖励； 迭代更新模块， 用于根据所述奖励更新总奖励值， 通过进行多轮训练直至所述总奖励 值收敛， 得到所述总奖励值收敛时最后一轮训练确定的最终词向量对应的维度。 9.一种计算机设备， 其特 征在于， 所述计算机设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有计算机可读指令， 所述处理器执行所述计算机可读指令时实现如权 利要求1至7中任一所述的词向量维度的确定方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 可读指令， 所述计算机可读指 令被处理器执行时实现如权利要求 1至7中任一所述的词向量 维度的确定方法。权　利　要　求　书 2/2 页 3 CN 114781395 A 3