(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210698791.4 (22)申请日 2022.06.20 (71)申请人 宁波大学医学院附属医院 地址 315000 浙江省宁波市江北区人民路 247号 (72)发明人 许素玲　忻超　周琼艳　王松挺　 朱小霞　许峰　赵可喻　刘志方　 马艺钊　苗琳琳　 (74)专利代理 机构 浙江中桓凯通专利代理有限 公司 33376 专利代理师 谢英 (51)Int.Cl. G16H 50/50(2018.01) G16H 30/00(2018.01) G06V 10/764(2022.01)G06V 10/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 皮肤癌识别模 型的构建方法、 皮肤癌识别装 置、 电子设备 (57)摘要 本发明提供了皮肤癌识别模 型的构建方法、 皮肤癌识别装置、 电子设备。 构建方法包括： 通过 人工智能深度卷积神经网络， 针对多个第二图像 数据进行训练学习和特征提取， 构建针对多个试 验皮肤样本的第一数据库， 生成512维图像特征 向量； 通过多层感知网络， 针对多个多组学数据 进行训练学习和特征提取， 构建针对多个试验血 液及组织样本的第二数据库， 生成512维多组学 特征向量； 将512维图像 特征向量和512维多组学 特征向量进行特征映射和特征融合， 获得第三数 据库； 采用分类器， 获得分类结果； 对分类结果进 行排序误差计算， 以对第三数据库进行修正， 并 由此构建皮肤癌识别模型。 本发明解决的问题 是： 相关技术中的技术方案无法快速准确地获得 识别结果。 权利要求书2页 说明书7页 附图1页 CN 114999661 A 2022.09.02 CN 114999661 A 1.一种基于多模态特征融合的皮肤癌识别模型的构建方法， 其特征在于， 所述构建方 法包括： 采用皮肤镜对多个试验皮肤样本进行图像采集， 获取针对所述多个试验皮肤样本的多 个第一图像数据； 针对所述多个第一图像数据进行 预处理， 获得多个第二图像数据； 通过人工智能深度卷积神经网络， 针对所述多个第 二图像数据进行训练学习和特征提 取， 构建针对所述多个试验皮肤样本的第一数据库， 生成512维图像特 征向量； 从多个试验血液及组织样本中获取针对所述多个试验血液及组织样本的多个转录本 数据； 针对所述多个转录 本数据进行 预处理， 获得多个多组学 数据； 通过多层感知网络， 针对所述多个多组学数据进行训练学习和特征提取， 构建针对所 述多个试验血 液及组织样本的第二数据库， 生成512维多组学 特征向量； 将所述512维图像特征向量和所述512维多组学特征向量进行特征映射和特征融合， 获 得第三数据库； 采用分类 器， 将所述第三数据库中的数据进行类别划分， 获得分类结果； 对所述分类结果进行排序误差计算， 以对所述第三数据库进行修正， 并由此构建所述 皮肤癌识别模型。 2.根据权利要求1所述的构建方法， 其特征在于， 所述针对所述多个第 一图像数据进行 预处理， 获得多个第二图像数据， 包括： 针对所述多个第一图像数据依次进行清洗预处理、 归一化预处理、 背景毛发去 除预处 理。 3.根据权利要求1所述的构建方法， 其特征在于， 所述通过人工智能深度卷积神经网 络， 针对所述多个第二图像数据进行训练学习和特征提取， 构建针对所述多个试验皮肤样 本的第一数据库， 生成512维图像特 征向量， 包括： 通过人工智能深度卷积神经网络， 结合颜色特征、 纹理特征、 几何特征、 局部二值模式 特征， 针对所述多个第二图像数据进行训练学习和特征提取， 构建针对所述多个试验皮肤 样本的所述第一特 征库， 生成所述512维图像特 征向量。 4.根据权利要求1所述的构建方法， 其特征在于， 所述从多个试验血液及组织样本 中获 取针对所述多个试验血 液及组织样本的多个转录 本数据， 包括： 使用所述多个试验血液及组织样本制备相应蛋白及RNA样品， 对所述相应蛋白及RNA样 品进行蛋白组与转录组测序， 获得测序结果， 使用高保真聚合酶扩增所述测序结果， 获得测 序文库， 对所述测序文库进行高通 量测序， 获得 所述多个转录 本数据。 5.根据权利要求1所述的构建方法， 其特征在于， 所述针对所述多个转录本数据进行预 处理， 获得多个多组学 数据， 包括： 通过生物学信息学方法解析所述多个转录本数据， 明确MM、 BCC、 SCC相关生物标志物在 所述多个转录 本数据中的表达范围， 获得 所述多个多组学 数据。 6.根据权利要求1所述的构建方法， 其特征在于， 所述将所述512维图像特征向量和所 述512维多组学 特征向量进行 特征映射和特 征融合， 获得第三数据库， 包括： 将所述512 维图像特征向量和所述512 维多组学特征向量映射到0 ‑1之间， 使所述512维权　利　要　求　书 1/2 页 2 CN 114999661 A 2图像特征向量和所述512维多组学 特征向量均满足正态分布； 将映射后的所述512维图像特征向量和所述512维多组学特征向量逐像素相乘， 获得相 乘结果， 对所述相乘结果进行SUM  POOLLING操作， 实现所述特 征融合。 7.根据权利要求1所述的构建方法， 其特征在于， 所述采用分类器， 将所述第三数据库 中的数据进行类别划分， 获得分类结果， 包括： 采用SVM分类器、 XBOOST分类器、 全连接Softmax分类器中的至少一者， 将所述第三数据 库中的数据进行类别划分， 获得分类结果。 8.一种基于多模态特 征融合的皮肤癌识别装置， 其特 征在于， 所述装置包括： 第一采集模块， 所述第一采集模块用于采用皮肤镜对多个试验皮肤样本进行图像采 集， 获取针对所述多个试验皮肤样本的多个第一图像数据； 第一处理模块， 所述第一处理模块用于针对所述多个第一图像数据进行预处理， 获得 多个第二图像数据； 第一构建模块， 所述第一构建模块用于通过人工智能深度卷积神经网络， 针对所述多 个第二图像数据进行训练学习和特征提取， 构建针对所述多个试验皮肤样本的第一数据 库， 生成512维图像特 征向量； 第二采集模块， 所述第 二采集模块用于从多个试验血液及组织样本 中获取针对所述多 个试验血 液及组织样本的多个转录 本数据； 第二处理模块， 所述第二处理模块用于针对所述多个转录本数据进行预处理， 获得多 个多组学 数据； 第二构建模块， 所述第二构建模块用于通过多层感知网络， 针对所述多个多组学数据 进行训练学习和特征提取， 构建针对 所述多个试验 血液及组织样 本的第二数据库， 生 成512 维多组学 特征向量； 融合模块， 所述融合模块用于将所述512维图像特征向量和所述512维多组学特征向量 进行特征映射和特 征融合， 获得第三数据库； 分类模块， 所述分类模块用于采用分类器， 将所述第 三数据库中的数据进行类别划分， 获得分类结果； 修正模块， 所述修正模块用于对所述分类结果进行排序误差计算， 以对所述第三数据 库进行修 正， 并由此构建所述皮肤癌识别模型。 9.一种电子设备， 其特征在于， 所述电子设备包括： 处理器， 存储器及存储在所述存储 器上并可在所述处理器上运行的程序或指 令， 所述程序或指令被所述处理器执行时实现如 权利要求1至7中任一项所述的构建方法的步骤。权　利　要　求　书 2/2 页 3 CN 114999661 A 3