(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221085128 8.8 (22)申请日 2022.07.20 (71)申请人 北京健康之家科技有限公司 地址 100102 北京市朝阳区利泽中二路2号 C座2层201 (72)发明人 黄平　黄明星　李银锋　董婉　 刘海伦　王月宝　许垒　沈鹏　 (74)专利代理 机构 北京中强智尚知识产权代理 有限公司 1 1448 专利代理师 贾依娇 (51)Int.Cl. G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/77(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 30/19(2022.01) G06V 30/413(2022.01) (54)发明名称 基于医疗领域的图片分类方法、 装置、 存储 介质及设备 (57)摘要 本发明涉及医疗信息技术领域， 公开了一种 基于医疗领域的图片分类方法、 装置、 存储介质 及电子设备， 包括： 获取待分类的目标图片， 并提 取出目标图片的文字特征； 根据目标图片的文字 特征， 提取出用于提高图片识别率的目标图片的 关键词特征； 将目标图片的文字特征和关键词特 征进行融合， 生成医疗文本特征； 判断目标图片 是否具有图像信息， 若具有， 则根据目标图片的 图像信息提取出图像特征， 并将医疗文本特征与 图像特征进行融合， 生成医疗双模态特征； 将医 疗文本特征或医疗双模态特征输入到预先建立 的分类模型中， 生成目标图片的分类结果， 其中， 所述分类模 型是根据分类算法建立的模型。 通过 该方法， 能够对医疗图片实现自动化分类 。 权利要求书2页 说明书10页 附图4页 CN 115331046 A 2022.11.11 CN 115331046 A 1.一种基于医疗领域的图片分类方法， 其特 征在于， 包括： 获取待分类的目标图片， 并提取 出目标图片的文字特 征； 根据目标图片的文字特 征， 提取出用于提高图片识别率的目标图片的关键词特 征； 将目标图片的文字特 征和关键词特 征进行融合， 生成医疗文本特 征； 判断目标图片是否具有图像信息， 若具有， 则根据目标图片的图像信息提取出图像特 征， 并将医疗文本特 征与图像特 征进行融合， 生成医疗双模态特 征； 将医疗文本特征或医疗双模态特征输入到预先建立的分类模型中， 生成目标图片的分 类结果， 其中， 所述分类模型 是根据分类算法建立的模型。 2.根据权利要求1所述的方法， 其特 征在于， 所述分类模型的建立， 包括以下步骤： 获取多项类别的源图片信息， 其中， 所述源图片信息包括： 多名患者的源图片； 基于第一类别的源图片信息， 并根据ber t算法， 训练构建出第一类别图片的特 征信息； 基于第二类别的源图片信息， 并根据ber t算法， 训练构建出第二类别图片的特 征信息； 依次类推， 基于最后 类别的源图片信息， 并根据bert算法， 训练构建出最后 类别图片的 特征信息。 3.根据权利要求2所述的方法， 其特征在于， 所述将医疗文本特征或医疗双模态特征输 入到预先建立的分类模型中， 生成目标图片的分类结果， 包括： 基于预先建立的分类模型， 将医疗文本特征或医疗双模态特征与第 一类别图片的特征 信息进行计算， 生成第一类别图片的权 重值； 将医疗文本特征或医疗双模态特征与第 二类别图片的特征信 息进行计算， 生成第 二类 别图片的权 重值； 依次类推， 将医疗文本特征或医疗双模态特征与最后类别图片的特征信息进行计算， 生成最后类别图片的权 重值； 根据所述权 重值， 生成目标图片的分类结果。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述权重值， 生成目标图片的分 类结果， 包括： 将所述权 重值导入到归一 化指数函数中， 生成所述权 重值对应的权 重系数； 根据所述权 重系数， 生成目标图片的分类结果。 5.根据权利要求4所述的方法， 其特征在于， 所述分类模型预定义了多项类别图片的阈 值， 所述根据所述权 重系数， 生成目标图片的分类结果， 还 包括： 判断所述权 重系数是否均小于多 项类别图片的阈值； 如果所述权重系数均小于多项类别图片的阈值， 则目标图片的分类结果为其他； 否则， 将所述权重系数和所述多项类别的阈值进 行计算， 根据计算后得到的最大值确定目标图片 的类别。 6.根据权利要求1所述的方法， 其特征在于， 所述根据目标图片的文字特征， 提取出用 于提高图片识别率的目标图片的关键词特 征， 包括； 预先生成医学关键词 词库； 将目标图片的文字特征与医学关键词词库中的关键词进行比对， 若比对成功， 则提取 出目标图片的关键词特 征。 7.根据权利要求1至6任一所述的方法， 其特征在于， 所述判断目标图片是否具有图像权　利　要　求　书 1/2 页 2 CN 115331046 A 2信息， 包括： 基于卷积神经网络算法， 训练构建出多种类型图像特 征信息； 根据多种类型图像特 征信息， 判断目标图片是否具有图像信息 。 8.一种基于医疗领域的图片分类装置， 其特 征在于， 包括： 提取模块： 用于获取待分类的目标图片， 并提取出目标图片的文字特征； 根据目标图片 的文字特 征， 提取出用于提高图片识别率的目标图片的关键词特 征； 融合模块： 用于将目标图片的文字特征和关键词特征进行融合， 生成医疗文本特征； 判 断目标图片是否具有图像信息， 若 具有， 则根据目标图片的图像信息提取出图像特征， 并将 医疗文本特 征与图像特 征进行融合， 生成医疗双模态特 征； 分类模块： 用于将医疗文本特征或医疗双模态特征输入到预先建立的分类模型中， 生 成目标图片的分类结果， 其中， 所述分类模型 是根据分类算法建立的模型。 9.一种存储介质， 其特征在于， 所述存储介质中存储有计算机程序， 其中， 所述计算机 程序被配置为运行时执 行权利要求1至7中任一项所述的方法。 10.一种电子设备， 其特征在于， 包括处理器和存储器， 其中所述存储器中存储有计算 机程序， 所述处理器被配置为运行所述计算机程序以执行权利要求 1至7中任一项 所述的方 法。权　利　要　求　书 2/2 页 3 CN 115331046 A 3