(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210423505.3 (22)申请日 2022.04.21 (71)申请人 润联软件系统 （深圳） 有限公司 地址 518000 广东省深圳市福田区梅林街 道梅都社区中康路136号深圳新一代 产业园2栋801 (72)发明人 王伟　张黔　陈焕坤　郑毅　 (74)专利代理 机构 深圳市世联合知识产权代理 有限公司 4 4385 专利代理师 刘畅 (51)Int.Cl. G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 数字文本的嵌入向量生成方法、 装置、 设备 及存储介质 (57)摘要 本申请公开了一种数字文本的嵌入向量生 成方法、 装置、 设备及存储介质， 本申请属于 人工 智能技术领域。 本申请通过对训练语料中的数字 文本的字符串转化， 并利用训练语料集构建数值 特征样本和算术特征样本， 对上述样本进行词向 量转化， 得到初始嵌入向量， 利用初始嵌入向量 对联合神经网络模型进行迭代训练， 获取模型权 重平均值， 得到数字文本的嵌入向量。 本申请通 过将数字文本的转化为中文字 符串， 再将中文字 符串进行词向量转化， 保留了数字文本特征， 并 结合训练语料中的算术特征对神经网络联合训 练， 使得生成的数字文本的嵌入向量具备比较数 字大小和进行算术运算的能力， 从而在应对更复 杂的下游处理任务， 同时提高模型运算的准确 度。 权利要求书2页 说明书13页 附图3页 CN 114781394 A 2022.07.22 CN 114781394 A 1.一种数字文本的嵌入向量 生成方法， 其特 征在于， 包括： 获取训练语料集， 并对所述训练语料集进行预处理， 其中， 所述预处理包括将所述训练 语料集中的数字文本转 化为中文字符串； 利用完成预处理的所述训练语料集构建特征样本集， 其中， 所述特征样本集包括数值 特征样本和算 术特征样本； 对所述数值特 征样本进行词向量 转化， 得到初始数值特 征嵌入向量； 对所述算术特征样本进行词向量 转化， 得到初始算 术特征嵌入向量； 利用所述初始数值特征嵌入向量和所述初始算术特征嵌入向量对预设的联合神经网 络模型进行迭代训练， 直至模型拟合； 获取模型拟合后的所述联合神经网络模型的权重平均值， 得到所述数字文本的嵌入向 量。 2.如权利要求1所述的数字文本的嵌入向量生成方法， 其特征在于， 所述获取训练语料 集， 并对所述训练语料集进行 预处理的步骤， 具体包括： 获取训练语料集， 并查找所述训练语料集中的数字文本； 获取预设的数字单位 集合； 根据所述数字单位集合对所述训练语料集中的数字文本进行字符串转化， 得到所述数 字文本对应的数值文本， 其中， 所述数值文本为所述数字文本对应的中文字符串。 3.如权利要求2所述的数字文本的嵌入向量生成方法， 其特征在于， 所述利用完成预处 理的所述训练语料集构建特 征样本集的步骤， 具体包括： 获取所述训练语料集中的数值语料， 并基于所述数值语料构建数值特 征样本； 获取所述训练语料集中的算 术语料， 并基于所述 算术语料构建算 术特征样本。 4.如权利要求3所述的数字文本的嵌入向量生成方法， 其特征在于， 所述获取所述训练 语料集中的数值语料， 并基于所述数值语料构建数值特 征样本的步骤， 具体包括： 遍历所述数值语料， 获取 所述数值语料中的所有数值文本， 构建数值文本集； 获取预设的滑动窗口， 并利用所述滑动 窗口在所述数值文本集中滑动， 生成数值特征 样本。 5.如权利要求4所述的数字文本的嵌入向量生成方法， 其特征在于， 所述对所述数值特 征样本进行词向量 转化， 得到初始数值特 征嵌入向量的步骤， 具体包括： 获取所述数值特 征样本中的所有数值文本， 得到第一数值文本； 依次将所述第一数值文本的每一个中文字符进行词向量转化， 得到第一初始嵌入向 量， 其中， 所述第一数值文本的每一个中文字符对应一个第一初始嵌入向量； 统计每一个所述中文字符的频率系数； 基于第一初始嵌入向量和每一个所述中文字符的频率系数， 构建所述初始数值特征嵌 入向量。 6.如权利要求3所述的数字文本的嵌入向量生成方法， 其特征在于， 所述获取所述训练 语料集中的算 术语料， 并基于所述 算术语料构建算 术特征样本的步骤， 具体包括： 遍历所述 算术语料， 获取 所述算术语料中的算 术文本； 对所述算术文本进行语义识别， 得到所述 算术文本的运 算符号； 提取所述算术文本的数值文本， 得到第二数值文本；权　利　要　求　书 1/2 页 2 CN 114781394 A 2基于所述第二数值文本和所述 算术文本的运 算符号， 构建算 术特征样本。 7.如权利要求6所述的数字文本的嵌入向量生成方法， 其特征在于， 所述对所述算术特 征样本进行词向量 转化， 得到初始算 术特征嵌入向量的步骤， 具体包括： 依次将所述第二数值文本的每一个中文字符进行词向量转化， 得到第二初始嵌入向 量， 其中， 所述第二数值文本的每一个中文字符对应一个第二初始嵌入向量； 将所述运算符号进行词向量 转化， 得到运 算符嵌入向量； 基于所述第二初始嵌入向量和所述运算符嵌入向量， 构建所述初始算术特征嵌入向 量。 8.如权利要求1至7任意一项所述的数字文本的嵌入向量生成方法， 其特征在于， 所述 联合神经网络模型包括第一神经网络模型和 第二神经网络模型， 所述利用所述初始数值特 征嵌入向量和所述初始 算术特征嵌入向量对预设的联合神经网络模型进 行迭代训练， 直至 模型拟合的步骤， 具体包括： 将所述初始数值特征嵌入向量输入到所述第 一神经网络模型， 并使用预设的交叉熵损 失函数对所述第一神经网络模型进行迭代更新； 将所述初始算术特征嵌入向量输入到所述第 二神经网络模型， 并使用预设的均 方差误 差损失函数对所述第二神经网络模型进行迭代更新； 获取完成迭代后的所述第一神经网络模型的梯度值， 得到第一梯度值； 获取完成迭代后的所述第二神经网络模型的梯度值， 得到第二梯度值； 计算所述第 一梯度值和所述第 二梯度值的梯度平均值， 并利用所述梯度平均值对所述 联合神经网络模型进行优化， 得到拟合的所述联合神经网络模型。 9.一种数字文本的嵌入向量 生成装置， 其特 征在于， 包括： 语料预处理模块， 用于获取训练语料集， 并对所述训练语料集进行预处理， 其中， 所述 预处理包括将所述训练语料集中的数字文本转 化为中文字符串； 样本集构建模块， 用于利用完成预处理的所述训练语料集构建特征样本集， 其中， 所述 特征样本集包括数值特 征样本和算 术特征样本； 第一向量转化模块， 用于对所述数值特征样本进行词向量转化， 得到初始数值特征嵌 入向量； 第二向量转化模块， 用于对所述算术特征样本进行词向量转化， 得到初始算术特征嵌 入向量； 联合训练模块， 用于利用所述初始数值特征嵌入向量和所述初始算术特征嵌入向量对 预设的联合神经网络模型进行迭代训练， 直至模型拟合； 嵌入向量生成模块， 用于获取模型拟合后的所述联合神经网络模型的权重平均值， 所 述数字文本的嵌入向量。 10.一种计算机设备， 其特征在于， 包括存储器和处理器， 所述存储器中存储有计算机 可读指令， 所述处理器执行所述计算机可读指 令时实现如权利要求 1至8中任一项 所述的数 字文本的嵌入向量 生成方法的步骤。 11.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 可读指令， 所述计算机可读指 令被处理器执行时实现如权利要求 1至8中任一项 所述的数字 文本的嵌入向量 生成方法的步骤。权　利　要　求　书 2/2 页 3 CN 114781394 A 3