(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210374208.4 (22)申请日 2022.04.11 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 陶德威　王健宗　于凤英　 (74)专利代理 机构 深圳国新 南方知识产权代理 有限公司 4 4374 专利代理师 康雅文 (51)Int.Cl. G06V 30/40(2022.01) G06V 30/10(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06F 16/332(2019.01) G06F 16/33(2019.01) G06F 40/30(2020.01) (54)发明名称 针对表格的自动问答方法、 系统、 设备及存 储介质 (57)摘要 本发明属于人工智能技术领域， 提出一种针 对表格的自动问答方法、 系统、 设备及存储介质， 该方法包括： 根据预处理后的待识别文档， 获取 目标表格区域中每个文本框对应的文本信息、 位 置信息和图片信息； 根据文本信息、 位置信息和 图片信息输入到结构预测模型中， 获取目标表格 区域中每一文本框与其它文本框之间的结构位 置关系； 并结合每一文本框对应的文本信息， 生 成目标问答语句； 基于目标问答语句， 输入到表 格问答模型中， 获取答案。 本发明实施例融合了 表格中的文本信息、 位置信息和图片信息， 通过 从多方面进行的数据采样和数据特征的提取， 有 效提高了表格识别的准确率， 并且在该识别率的 基础上， 实现自动问答语句。 权利要求书2页 说明书9页 附图3页 CN 114743204 A 2022.07.12 CN 114743204 A 1.一种针对表格的自动问答方法， 其特 征在于， 包括： 根据预处理后的待识别文档， 从所述待识别文档中获取目标表格区域中每个文本框对 应的文本信息、 位置信息和图片信息； 将每个文本框对应的文本信息、 位置信息和图片信息输入到结构预测模型中， 获取所 述目标表格区域中每个文本框相互之间的结构位置关系， 其中， 所述结构预测模型以样本 表格区域中每个文本框对应的文本信息、 位置信息和图片信息为样本、 以所述样本表格区 域中每个文本框之间的结构位置关系为标签进行训练得到； 根据所述文本 框之间的结构位置关系和文本信息， 生成目标问答语句； 将所述目标问答语句输入到表格问答模型中， 获取答案， 其中， 所述表格问答模型以预 设问答语句为样本、 以答案标签进行训练得到 。 2.根据权利要求1所述的针对表格的自动问答方法， 其特征在于， 所述结构预测模型包 括文本特征提取模块、 坐标特征提取模块、 图片特征提取模块、 多层感知机和图卷积网络， 所述将每个文本框对应的文本信息、 位置信息和图片信息输入到结构预测模型中， 获取所 述目标表格区域中每 个文本框相互之间的结构位置关系， 包括： 将每个文本框对应的文本信息 输入到所述文本特 征提取模块中， 获取文本内容特 征； 将每个文本框对应的位置信息 输入到所述 坐标特征提取模块中， 获取文本位置特 征； 将每个文本框对应的图片信息和每个文本框对应的位置信息输入到所述图片特征提 取模块中， 获取局部图像特征， 将所述局部图像特征输入到所述多层感知机中， 获取多层图 像特征； 将所述多层图像特征、 所述文本内容特征和所述文本位置特征输入所述图卷积网络 中， 获取每一文本 框与其它文本 框之间的结构位置关系。 3.根据权利要求2所述的针对表格的自动问答方法， 其特征在于， 所述文本特征提取模 块包括投射单元和LSTM单元， 所述将 每个文本框对应的文本信息输入到所述文本特征提取 模块中， 获取文本内容特 征， 包括： 将每个文本框对应的文本信 息输入到所述投射单元， 将文本信 息投射到预设 向量空间 中， 获取文本投射向量； 将所述文本投射向量输入到所述LSTM单元中， 将字符串转换为文本语义向量， 获取所 述文本内容特 征。 4.根据权利要求2所述的针对表格的自动问答方法， 其特征在于， 所述图片特征提取模 块为卷积神经网络 。 5.根据权利要求1所述的针对表格的自动问答方法， 其特征在于， 所述根据预处理后的 待识别文档， 从所述待识别文档中获取目标表格区域中每个文本框对应的文本信息、 位置 信息和图片信息， 包括： 基于OCR技术， 对预处理后的待识别文档进行检测， 获取每个文本框对应的文本信息、 每个文本框对应的位置信息； 根据每个文本框共有的行分割线和列分割线， 获取每 个文本框对应的图片信息 。 6.根据权利要求1至5任一所述的针对表格的自动问答方法， 其特征在于， 所述根据所 述文本框之间的结构位置关系和文本信息， 生成目标问答语句， 包括： 根据每一文本 框与其它文本 框之间的结构位置关系， 确定参 考文本框；权　利　要　求　书 1/2 页 2 CN 114743204 A 2根据所述 参考文本框和每一文本 框对应的文本信息， 获取参 考文本信息； 根据所述 参考文本信息， 生成所述目标问答语句。 7.根据权利要求1至5任一所述的针对表格的自动问答方法， 其特征在于， 所述预设问 答语句以基本问答语句为基础进行扩展得到 。 8.一种针对表格的自动问答系统， 其特 征在于， 包括： 信息提取模块， 用于根据预处理后的待识别文档， 从所述待识别文档 中获取目标表格 区域中每 个文本框对应的文本信息、 位置信息和图片信息； 结构预测模块， 用于将每个文本框对应的文本信息、 位置信息和图片信息输入到结构 预测模型中， 获取所述目标表格区域中每个文本框相互之 间的结构位置 关系， 其中， 所述结 构预测模型以样本表格区域中每个文本框对应的文本信息、 位置信息和图片信息为样本、 以所述样本表格区域中每 个文本框之间的结构位置关系为标签进行训练得到； 语句生成模块， 用于根据所述文本框之间的结构位置关系和文本信息， 生成目标问答 语句； 预测模块， 用于将所述目标问答语句输入到表格问答模型中， 获取答案， 其中， 所述表 格问答模型以预设问答语句为样本、 以答案标签进行训练得到 。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 7中任一项所述针对表格的自动问答方法的步骤。 10.一种计算机存储介质， 所述计算机存储介质存储有计算机程序， 其特征在于， 所述 计算机程序被处理器执行时实现如权利要求1至7中任一项所述针对表格的自动问答方法 的步骤。权　利　要　求　书 2/2 页 3 CN 114743204 A 3