(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210478807.0 (22)申请日 2022.05.05 (65)同一申请的已公布的文献号 申请公布号 CN 114579606 A (43)申请公布日 2022.06.03 (73)专利权人 阿里巴巴达摩院 （杭州） 科技有限 公司 地址 310023 浙江省杭州市余杭区五常街 道文一西路969号3幢5层516室 (72)发明人 惠彬原　黎槟华　李永彬　孙健　 (74)专利代理 机构 北京合智同创知识产权代理 有限公司 1 1545 专利代理师 李杰　兰淑铎 (51)Int.Cl. G06F 16/242(2019.01)G06F 40/30(2020.01) (56)对比文件 CN 114330704 A,202 2.04.12 CN 113986950 A,2022.01.28 WO 2022037256 A1,202 2.02.24 KR 20210 038449 A,2021.04.07 US 2022129448 A1,202 2.04.28 CN 113254619 A,2021.08.13 CN 111581354 A,2020.08.25 王仲林 等. 《Siamese- ELECTRA网络结合对 抗训练的FAQ问答模型研究》 . 《软件导刊》 .2021, 审查员 刘莹 (54)发明名称 预训练模 型数据处理方法、 电子设备及计算 机存储介质 (57)摘要 本申请实施例提供了一种预训练模型数据 处理方法、 电子设备及计算机存储介质， 其中， 预 训练模型数据处理方法包括： 获取训练样本数 据， 每个训练样本数据包括多轮表格问答训练样 本， 每轮表格问答训练样本包括自然语 言查询语 句和对应的数据库模式数据； 将训练样本数据输 入预训练模 型进行特征提取， 获得多轮表格问答 训练样本对应的多个样本特征； 基于多个样本特 征和对应的正负例标签， 以及预设的对比学习损 失函数， 对预训练模型进行训练， 其中， 所述正负 例标签根据所述多个样本特征对应的多个数据 库查询语句之间的相似度确定， 所述正负例标签 用于表征当前样本特征与所述多个样本特征中 的其它样本特 征是否语义相关。 权利要求书2页 说明书11页 附图4页 CN 114579606 B 2022.07.29 CN 114579606 B 1.一种预训练模型 数据处理方法， 包括： 获取训练样本数据， 其中， 每个训练样本数据包括多轮表格问答训练样本， 每轮表格问 答训练样本包括自然语言查询语句和对应的数据库模式数据； 将所述训练样本数据输入预训练模型进行特征提取， 获得多轮表格问答训练样本对应 的多个样本特 征； 基于所述多个样本特征分别对应的正负例标签， 以及预设的对比学习损 失函数， 对所 述预训练模型进行训练， 其中， 所述正负例标签根据所述多个样本特征对应的多个数据库 查询语句之 间的相似度确定， 所述正负例标签用于表征当前样本特征与所述多个样本特征 中的其它样本特 征是否语义相关； 其中， 所述多个样本特 征分别对应的正负例标签通过以下 方式确定： 获取为所述多轮表格问答训练样本预 先生成的多个数据库查询语句； 根据预设的杰卡德函数， 计算所述多个数据库查询语句之间的相似度； 根据所述相似度， 确定所述多轮表格问答训练样本分别对应的正负例标签； 将所述多轮表格问答训练样本分别对应的正负例标签， 作为对应的所述多个样本特征 的正负例标签。 2.根据权利要求1所述的方法， 其中， 所述基于所述多个样本特征分别对应的正负例标 签， 以及预设的对比学习损失函数， 对所述预训练模型进行训练， 包括： 通过最小化所述预设的对比学习损失函数， 拉近所述正负例标签中指示为正例的样本 特征之间的距离， 并且， 拉远所述 正负例标签中指示 为负例的样本特 征之间的距离； 根据所述对比学习损失函数 经最小化处 理后的损失值， 对所述预训练模型进行训练。 3.根据权利要求1所述的方法， 其中， 所述将所述训练样本数据输入预训练模型进行特 征提取， 包括： 将多轮表格问答训练样本中的自然语言查询语句进行第一拼接， 获得第一拼接数据； 将多轮表格问答训练样本中的数据库模式数据进行第二 拼接， 获得第二 拼接数据； 对第一拼接数据和第二拼接数据进行拼接， 并且， 在拼接后的自然语言查询语句之间、 拼接后的数据库模式数据之 间， 以及所述自然语言查询语句和所述数据库模式数据之 间均 插入分隔符； 根据插入分隔符后的拼接数据， 生成对应的拼接向量， 并将所述拼接向量输入所述预 训练模型， 通过 所述预训练模型进行 特征提取。 4.根据权利要求1 ‑3任一项所述的方法， 其中， 所述方法还 包括： 基于训练完成的所述预训练模型的模型参数， 进行从所述预训练模型至表格问答系统 的模型迁移。 5.根据权利要求4所述的方法， 其中， 所述基于训练完成的所述预训练模型的模型参 数， 进行从所述预训练模型至表格问答系统的模型迁移， 包括： 通过将训练完成的所述预训练模型中的模型参数迁移至所述表格问答系统的自然语 言理解部分， 进行从所述预训练模型至表格问答系统的模型迁移。 6.根据权利要求5所述的方法， 其中， 所述方法还 包括： 接收用户输入的当前自然语言查询请求， 并获取当前自然语言查询 请求之前的预设数 量的历史自然语言查询请求， 并基于当前自然语言查询请求和历史自然语言查询请求生成权　利　要　求　书 1/2 页 2 CN 114579606 B 2多轮自然语言查询请求； 通过所述表格问答系统 的自然语言理解部分对所述多轮自然语言查询请求进行分析， 确定所述多轮自然语言查询请求中与当前自然语言查询请求具有语义相关性的历史自然 语言查询请求； 并根据历史自然语言查询 请求和当前自然语言查询 请求之间的语义相关性， 为当前自 然语言查询请求 生成对应的数据库查询语句。 7.一种电子设备， 包括： 处理器、 存储器、 通信接口和通信总线， 所述处理器、 所述存储 器和所述 通信接口通过 所述通信总线完成相互间的通信； 所述存储器用于存放至少一可执行指令， 所述可执行指令使所述处理器执行如权利要 求1‑6中任一项所述的方法对应的操作。 8.一种计算机存储介质， 其上存储有计算机程序， 该程序被处理器执行时实现如权利 要求1‑6中任一所述的方法。 9.一种计算机程序产品， 包括计算机指令， 所述计算机指令指示计算设备执行如权利 要求1‑6中任一所述的方法对应的操作。权　利　要　求　书 2/2 页 3 CN 114579606 B 3