(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210504129.0 (22)申请日 2022.05.10 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 司世景　王健宗　 (74)专利代理 机构 深圳众鼎专利商标代理事务 所(普通合伙) 44325 专利代理师 姚章国 (51)Int.Cl. G06K 9/62(2022.01) G06F 40/295(2020.01) G06F 40/126(2020.01) G06F 40/30(2020.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 训练数据生成方法、 装置、 设备及存 储介质 (57)摘要 本申请涉及人工智能技术领域， 本申请公开 了一种训练数据生成方法、 装置、 设备及存储介 质， 将待处理图文数据分别处理为对应的特征向 量， 根据目标图像处理模型进行特征提取处理， 确定待处理图像对应的待处理图像特征向量， 根 据目标语言处理模型进行编码处理， 确定待处理 文本对应的待处理文本特征向量， 以准确提取不 同模态的特征向量； 将待处理图像特征向量和待 处理文本 特征向量进行特征融合处理， 确定待处 理图文数据对应的融合特征向量， 并根据待处理 图文数据及对应的融合特征向量， 从而利用待处 理图文数据及不同模态的融合特征向量作为模 型训练数据， 强化模型训练数据的特征， 进而提 高所训练模型的准确率。 权利要求书2页 说明书11页 附图4页 CN 114818960 A 2022.07.29 CN 114818960 A 1.一种训练数据生成方法， 其特 征在于， 包括： 获取目标应用场景对应的待处理图文数据， 所述待处理图文数据包括待处理图像和待 处理文本； 采用所述目标应用场景对应的目标图像处理模型， 对所述待处理图像进行图像特征提 取， 获取所述待处 理图像特 征向量； 采用所述目标应用场景对应的目标语言处理模型， 对所述待处理文本进行文本特征提 取， 获取所述待处 理文本特 征向量； 对所述待处理图像特征向量和所述待处理文本特征向量进行特征融合处理， 获取所述 待处理图文数据对应的融合特 征向量； 根据所述待处 理图文数据和所述融合特 征向量， 获取模型训练数据。 2.如权利要求1所述的训练数据生成方法， 其特征在于， 所述对所述待处理图像特征向 量和所述待处理文本特征向量进 行特征融合处理， 获取所述待处理图文 数据对应的融合特 征向量， 包括： 对所述待处理图像特征向量和所述待处理文本特征向量进行乘积运算， 获取乘积特征 向量； 对所述待处理图像特征向量和所述待处理文本特征向量进行差值运算， 获取差值特征 向量； 对所述待处理图像特征向量、 所述待处理文本特征向量、 所述乘积特征向量和所述差 值特征向量进 行拼接处理， 获取所述待处理图像特征向量和所述待处理文本特征向量对应 的所述融合特 征向量。 3.如权利要求1所述的训练数据生成方法， 其特征在于， 在所述获取待处理图文数据之 前， 所述训练数据生成方法还 包括： 从所述目标应用场景对应的应用场景图像库中， 获取至少两个第一训练图像； 对所述第一训练图像进行 数据增强处 理， 获取第二训练图像； 对所述第一训练图像和所述第 二训练图像进行图像特征提取， 获取第 一图像特征向量 和第二图像特 征向量； 将所述第一图像特征向量和所述第 二图像特征向量输入图像处理模型， 获取所述目标 应用场景对应的目标图像处 理模型。 4.如权利要求3所述的训练数据生成方法， 其特征在于， 所述对所述第 一训练图像和所 述第二训练图像进行 特征提取处 理， 获取第一图像特 征向量和第二图像特 征向量， 包括： 对所述第一训练图像和所述第 二训练图像进行图像特征提取， 获取第 一原始图像向量 和第二原 始图像向量； 对所述第一原始图像向量和所述第 二原始图像向量进行非线性变换处理， 获取所述第 一图像特 征向量和所述第二图像特 征向量。 5.如权利要求1所述的训练数据生成方法， 其特征在于， 在所述获取待处理图文数据， 所述待处 理图文数据包括待处 理图像和待处 理文本之前， 所述训练数据生成方法还 包括： 从所述目标应用场景对应的应用场景语料库中， 获取至少两个第一训练文本； 对所述第一训练文本进行 数据增强处 理， 获取第二训练文本； 对所述第一训练文本和所述第 二训练文本进行编码处理， 获取第 一文本特征向量和第权　利　要　求　书 1/2 页 2 CN 114818960 A 2二文本特 征向量； 将所述第一文本特征向量和所述第 二文本特征向量输入语言处理模型， 获取目标语言 处理模型。 6.如权利要求5所述的训练数据生成方法， 其特征在于， 所述对所述第 一训练文本进行 数据增强处 理， 获取第二训练文本， 包括： 对所述第一训练文本进行 数据增强， 获取至少两个增强训练文本； 对所述第一训练文本和所述至少两个增强训练文本进行余弦相似度计算， 获取至少两 个余弦相似度； 对至少两个所述余弦相似度进行筛选处理， 获取最大余弦相似度对应的第二训练文 本。 7.一种训练数据生成装置， 其特 征在于， 包括： 待处理图文数据获取模块， 获取目标应用场景对应的待处理图文数据， 所述待处理图 文数据包括待处 理图像和待处 理文本； 待处理图像特征向量获取模块， 采用所述目标应用场景对应的目标图像处理模型， 对 所述待处 理图像进行 特征提取处 理， 获取所述待处 理图像对应的待处 理图像特 征向量； 待处理文本特征向量获取模块， 采用所述目标应用场景对应的目标语言处理模型， 对 所述待处 理文本进行编码处 理， 获取所述待处 理文本对应的待处 理文本特 征向量； 融合特征向量获取模块， 对所述待处理图像特征向量和所述待处理文本特征向量进行 特征融合处 理， 获取所述待处 理图文数据对应的融合特 征向量； 模型训练数据获取模块， 根据所述待处理图文数据和所述融合特征向量， 获取模型训 练数据。 8.如权利要求7所述的训练数据生成装置， 其特征在于， 所述融合特征向量获取模块， 包括： 乘积特征向量获取单元， 对待处理图像特征向量和待处理文本特征向量进行乘积运 算， 获取乘积特 征向量； 差值特征向量获取单元， 对待处理图像特征向量和待处理文本特征向量进行差值运 算， 获取差值特 征向量； 融合特征向量获取单元， 对待处理图像特征向量、 待处理文本特征向量、 乘积特征向量 和差值特征向量进行拼接处理， 获取待处理图像特征向量和待处理文本特征向量对应的融 合特征向量。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 6任一项所述训练数据生成方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至 6任一项所述训练数据生成方法。权　利　要　求　书 2/2 页 3 CN 114818960 A 3