(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210311749.2 (22)申请日 2022.03.28 (71)申请人 上海易康源医疗健康科技有限公司 地址 200120 上海市浦东 新区中国(上海) 自由贸易试验区临港新片区新杨公路 860号10幢 (72)发明人 曾祥云　朱姬渊　 (74)专利代理 机构 上海硕力知识产权代理事务 所(普通合伙) 31251 专利代理师 刘桂芝 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 16/33(2019.01) G06F 40/211(2020.01)G06F 40/30(2020.01) (54)发明名称 神经网络训练方法、 语义相似度计算方法及 语义检索系统 (57)摘要 本发明公开一种神经网络训练方法、 语义相 似度计算方法及语义检索系统。 神经网络训练方 法包括步骤： S1:对句子相似度进行标注； S2:将 标注好的二个句子输入神经网络； S3:对二个句 子的特征进行处理， 计算损失函数； S4:根据损失 函数的损失值， 对神经网络进行训练。 本发明采 取的技术方案使用的神经网络训练方法得到的 神经网络参数少， 检索速度快， 能够准确计算出 语义相似度， 从而能够获取文本的语义信息， 从 而提高了检索的准确率， 适用于高并发、 低延迟 的需求场景。 权利要求书2页 说明书5页 附图1页 CN 114662668 A 2022.06.24 CN 114662668 A 1.一种神经网络训练方法， 其特 征是， 包括步骤： S1:对二个句子相似度进行 标注； S2:将标注好的二个句子 输入神经网络， 得到句子中每 个字的特 征； S3:对每个字的特 征取均值， 得到二个句子的特 征S1、 S2， 计算损失函数； S4:根据损失函数的损失值， 对神经网络进行训练。 2.如权利要求1所述的神经网络训练方法， 其特征是， 步骤S1:对句子相似度进行标注 为： sentenceA  sentenceB  Score。 3.如权利要求1所述的神经网络训练方法， 其特 征是， 步骤S3中计算损失函数包括： 将S1和S2求 余弦相似度， 即 sim＝cos(S1,S2)； 把1‑5分的标签分别除以5， 归一 化到0至1之间， 得到归一 化的标签label； 根据sim和标签label计算损失函数。 4.如权利要求3所述的神经网络训练方法， 其特 征是， 所述损失函数公式为： Loss＝|sim‑label| 其中， sim＝cos(S1,S2)， cos为 余弦相似度。 5.如权利要求1所述的神经网络训练方法， 其特征是， 所述神经网络结构包括线性网络 单元、 嵌入单 元、 特征抽取单元以及压缩单 元， 其中： 线性网络单元用以将输入变量复制为三份作为输入， 分别获取到句子的query、 key以 及value； 嵌入单元用以对输入的字、 绝对位置以及所属段落编号进行编码， 再进行处理， 获得字 向量； 特征抽取单元用以对词向量进行升维处 理， 抽取特征， 输出字向量的特 征； 压缩单元用以对词向量的特 征进行压缩。 6.如权利要求5所述的神经网络训练方法， 其特征是， 所述transformer为依次串联的 多对transformer组构成， 其中， 每对transformer组由二层transformer构成， 每组的 transformer参数完全 共享。 7.一种语义相似度计算方法， 其特 征是， 包括步骤： 接收输入的句子； 神经网络根据输入的句子， 搜索关键句以及相关内容， 分别进行特征抽取， 计算语义相 似度； 将语义相似度得分最高的前N条句子返回。 8.一种语义检索系统， 其特 征是， 包括采集模块、 处 理模块以及输出模块， 其中： 采集模块用以接收输入的句子； 处理模块用以对输入的句子进行处 理； 输出模块用以将处 理模块的处 理结果返回。 9.一种计算机可读存储介质， 其特征是， 所述存储介质中存储有指令或者程序， 所述指 令或者程序由处 理器加载并执 行以实现如权利要求7 所述的语义相似度计算方法。 10.一种电子设备， 其特征是， 包括： 处理器、 存储介质和总线， 所述存储介质存储有所 述处理器可执行 的机器可读指令， 当电子设备运行时， 所述处理器与所述存储介质之间通 过总线通信， 所述处理器执行所述机器可读指 令， 以执行如权利要求7所述的语义相似度计权　利　要　求　书 1/2 页 2 CN 114662668 A 2算方法。权　利　要　求　书 2/2 页 3 CN 114662668 A 3