(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221021869 9.3 (22)申请日 2022.03.03 (71)申请人 贝壳找房网 （北京） 信息技 术有限公 司 地址 101520 北京市密云区经济开发区兴 盛南路8号开发区办公楼501室-1834 (经济开发区集中办公区) (72)发明人 魏林林　马宝昌　 (74)专利代理 机构 北京市尚公律师事务所 11746 专利代理师 贺小明　回旋 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/211(2020.01)G06F 40/289(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 一种语义匹配方法及其装置 (57)摘要 本发明提供一种语义匹配方法及其装置， 所 述方法包括以下步骤： 将输入语句分别输入到交 叉编码器和双编码器中； 计算交叉编码器各层的 多头注意力权重； 计算双编码器所含两个子编码 器中各层的表 示向量； 对两个子编码器中对应各 层的表示向量分别进行交互计算， 得到两个子编 码器各层的交互注意力权重； 以及最小化交叉编 码器各层多头注意力权重与双编码器对应各层 交互注意力权重的误差， 以得到与所述输入语句 匹配的语义。 本发明所提供的语义匹配方法及其 装置可以实现双编码器框架中查询语句和候选 文本之间深层次的语义交 互。 权利要求书2页 说明书11页 附图7页 CN 114579704 A 2022.06.03 CN 114579704 A 1.一种语义匹配方法， 其特 征在于， 包括以下步骤： 将输入语句分别输入到交叉编码器和双编码器中； 计算所述交叉编码器各层的多头注意力权 重； 计算所述双编码器所含两个子编码器中各层的表示向量； 对所述两个子编码器中对应各层的表示向量分别进行交互计算， 得到所述两个子编码 器各层的交 互注意力权 重； 以及 最小化所述交叉编码器各层多头注意力权重与所述双编码器对应各层交互注意力权 重的误差， 以得到与所述输入语句匹配的语义。 2.根据权利要求1所述的语义匹配方法， 其特征在于， 所述交叉编码器各层的多头注意 力权重为各层多头注意力中各个头注意力权 重的加和平均值。 3.根据权利要求1所述的语义匹配方法， 其特征在于， 所述双编码器所含两个子编码器 各层的交 互注意力权 重通过下式进行交 互计算： 其中， 表示所述双编码器所含两个子编码器第i层的交互注意力权重， 表示所述 双编码器中第一子编码器中第i层的表示向量， 表示所述双编码器中第二子编码器中第i 层的表示向量。 4.根据权利要求3所述的语义匹配方法， 其特征在于， 所述交叉编码器各层多头注意力 权重与所述双编码器对应各层交互注意力权重的误差为均方误差， 该均方误差通过下式进 行计算： 其中， Lattn表示所述交叉编码器第i层的多头注意力权重与所述双编码器第i层的交互 注意力权重的均方误差， n表示所述交叉编码器或所述双编码器的层数， 表示所述双编 码器所含两个子编码器第i层的交互注意力权重， 表示所述交叉编码器第i层的多头注 意力权重。 5.根据权利要求1所述的语义匹配方法， 其特征在于， 所述交叉编码器和双编码器均为 12层。 6.一种用于进行语义匹配的装置， 其特 征在于， 包括： 输入模块， 其被 配置为输入语句； 交叉编码器模块， 其包含交叉编码器， 所述交叉编码器模块被配置为， 计算输入的语句 在所述交叉编码器各层的多头注意力权 重； 双编码器模块， 其包含双编码器和交互单元， 所述双编码器含有两个子编码器， 所述双 编码器被配置为， 计算输入的语句在所述两个子编码器中各层的表示向量， 所述交互单元 对所述两个子编码器中对应各层的表示向量分别进行 交互计算， 得到所述两个子编 码器各 层的交互注意力权 重； 以及权　利　要　求　书 1/2 页 2 CN 114579704 A 2最小化模块， 其被配置为， 最小化所述交叉编码器各层多头注意力权重与所述双编码 器对应各层交 互注意力权 重的误差， 以得到与所述输入语句匹配的语义。 7.根据权利要求6所述的用于进行语义匹配的装置， 其特征在于， 所述交互单元通过下 式对所述双编码器所含两个子编码器各层的交 互注意力权 重进行交 互计算： 其中， 表示所述双编码器所含两个子编码器第i层的交互注意力权重， 表示所述 双编码器中第一子编码器中第i层的表示向量， 表示所述双编码器模块中第二子编码器 中第i层的表示向量。 8.根据权利要求7所述的用于进行语义匹配的装置， 其特征在于， 所述交叉编码器各层 多头注意力权重与所述双编 码器对应各层交互注意力权重的误差为均方误差， 该均方误差 通过下式进行计算： 其中， Lattn表示所述交叉编码器第i层的多头注意力权重与所述双编码器第i层的交互 注意力权重的均方误差， n表示所述交叉编码器或所述双编码器的层数， 表示所述双编 码器所含两个子编码器第i层的交互注意力权重， 表示所述交叉编码器第i层的多头注 意力权重。 9.一种计算机设备， 包括： 处理器； 存储装置； 以及 存储在所述存 储装置上并可在所述处 理器上运行的计算机程序， 其特 征在于， 当所述处 理器执行所述计算机程序时， 实现如权利要求1 ‑5中任一项所述方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该计算机程序被 处理器执行时， 实现如权利要求1 ‑5中任一项所述方法的步骤。 11.一种计算机程序产品， 包括计算机指令， 其特征在于， 该计算机指令被处理器执行 时实现权利要求1 ‑5中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114579704 A 3