(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211056759.2 (22)申请日 2022.08.31 (71)申请人 阿里巴巴 （中国） 有限公司 地址 310023 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 吴燕晶　刘奎龙　杨昌源　 (74)专利代理 机构 北京太合九思知识产权代理 有限公司 1 1610 专利代理师 孙明子　刘戈 (51)Int.Cl. G06T 11/00(2006.01) H04N 21/234(2011.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01)G06Q 30/06(2012.01) (54)发明名称 图像文案的生 成方法、 设备及计算机存储介 质 (57)摘要 本发明实施例提供了一种图像文案的生成 方法、 设备及计算机存储介质。 方法包括： 获取待 处理图像以及文案辅助信息， 待处理图像中包括 主体对象， 文案辅助信息包括以下至少之一： 与 主体对象相对应的名称信息、 与主体对象相对应 的对象类目、 与主体对象相对应的对象属性、 与 待处理图像相对应的图像标签； 确定与待处理图 像相对应的图像特征、 以及与文案辅助信息相对 应的辅助特征； 基于图像特征和辅助特征进行文 案生成操作， 获得与待处理图像相对应的目标文 案， 目标文案中包括主体对象的名称信息。 本实 施例提供的技术方案， 实现了图像文案的自动生 成操作， 并且， 由于目标文案是基于多个维度的 文案辅助信息所生成的， 保证了目标文案生成的 准确率和质量。 权利要求书2页 说明书20页 附图5页 CN 115496820 A 2022.12.20 CN 115496820 A 1.一种图像文案的生成方法， 其特 征在于， 包括： 获取待处理图像以及文案辅助信息， 其中， 所述待处理图像中包括主体对象， 所述文案 辅助信息包括以下至少之一： 与所述主体对 象相对应的名称信息、 与所述主体对 象相对应 的对象类目、 与所述主体对象相对应的对象属性、 与所述待处 理图像相对应的图像标签； 确定与所述待处理图像相对应的图像特征、 以及与所述文案辅助信 息相对应的辅助 特 征； 基于所述图像特征和所述辅助 特征进行文案生成操作， 获得与 所述待处理图像相对应 的目标文案， 所述目标文案中包括所述主体对象的名称信息 。 2.根据权利要求1所述的方法， 其特征在于， 确定与所述文案辅助信 息相对应的辅助 特 征， 包括： 对所述文案辅助信息进行分词处理， 获得与所述文案辅助信息相对应的多个分词信 息； 确定所述多个分词信息各自对应的分词位置； 基于所述多个分词信 息各自对应的分词位置， 对所有分词信 息各自对应的词向量进行 处理， 获得所述辅助特 征。 3.根据权利要求2所述的方法， 其特征在于， 对所述文案辅助信息进行分词处理， 获得 与所述文案 辅助信息相对应的多个分词信息， 包括： 获取与所述文案 辅助信息相对应的信息类型； 基于所述信息类型， 确定各个辅助信息所对应的设定信息长度， 不同信息类型的辅助 信息所对应的设定信息 长度不同； 基于所述设定信 息长度对所述文案辅助信 息中的各个辅助信 息进行分词处理， 获得与 所述文案 辅助信息相对应的多个分词信息 。 4.根据权利要求3所述的方法， 其特征在于， 在所述文案辅助信息包括： 与所述主体对 象相对应的对象属性以及与所述待处理图像相对应的图像标签时， 在获取文案辅助信息之 后， 所述方法还 包括： 识别所述图像标签与所述对象属性之间是否存在相同特 征； 在所述图像标签与 所述对象属性之间存在相同特征时， 将所述图像标签中的相同特征 删除， 获得处 理后图像标签。 5.根据权利要求1所述的方法， 其特征在于， 确定与所述待处理图像相对应的图像特 征， 包括： 对所述待处 理图像进行分割处 理， 获得多个图像块； 确定所述多个图像块各自对应的图像位置编码； 基于所述多个图像块各自对应的图像位置编码对所述多个图像块进行处理， 获得所述 图像特征。 6.根据权利要求1所述的方法， 其特征在于， 在所述文案辅助信 息不包括与 所述主体对 象相对应的对象类目时， 在获得与待处 理图像相对应的目标文案之后， 所述方法还 包括： 基于所述图像特 征和辅助特 征获得与所述待处 理图像中主体对象的对象类目； 基于所述对象类目和所述主体对象的名称信息进行图像分类操作。 7.一种视频文案的生成方法， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 115496820 A 2获取待处 理视频； 确定与所述待处理视频相对应的多个关键帧以及文案辅助信息， 其中， 所述关键帧中 包括主体对象， 所述文案辅助信息包括以下至少之一： 与所述主体对象相对应的名称信息、 与所述主体对 象相对应的对 象类目、 与所述主体对 象相对应的对 象属性、 与所述待处理视 频相对应的视频 标签、 与所述待处 理视频相对应的语音信息； 确定与所述多个关键帧各自对应的图像特征、 以及与 所述文案辅助信 息相对应的辅助 特征； 基于所述图像特征和辅助特征进行文案生成操作， 获得与所述待处理视频相对应的目 标文案， 所述目标文案中包括所述主体对象的名称信息 。 8.一种直 播图像的文案生成方法， 其特 征在于， 包括： 获取直播图像以及文案辅助信息， 其中， 所述直播图像 中包括直播对象， 所述文案辅助 信息包括以下至少之一： 与所述直播对 象相对应的名称信息、 与所述直播对 象相对应的对 象类目、 与所述 直播对象相对应的对象属性、 与所述 直播图像相对应的图像标签； 确定与所述直播图像相对应的图像特征、 以及与所述文案辅助信息相对应的辅助特 征； 基于所述图像特征和辅助特征进行文案生成操作， 获得与所述直播图像相对应的目标 文案， 所述目标文案中包括所述 直播对象的名称信息 。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器； 其中， 所述存储器用于存储一条 或多条计算机指令， 其中， 所述一条或多条计算机指令被所述处理器执行时实现如权利要 求1‑8中任意一项所述的方法。 10.一种计算机存储介质， 其特征在于， 用于储存计算机程序， 所述计算机程序使计算 机执行时实现如权利要求1 ‑8中任意一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115496820 A 3