(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210809090.3 (22)申请日 2022.07.11 (71)申请人 之江实验室 地址 311121 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 (72)发明人 申慧　朱闻韬　杨德富　赵嘉琪　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06V 10/80(2022.01) (54)发明名称 基于流形学习的图像特征融合方法、 装置及 图像分类系统 (57)摘要 本发明公开了一种基于流形学习的图像特 征融合方法、 装置及图像分类系统。 本发明首先 获取若干图像的多类特征构建特征集合； 将特征 集合中， 每类特征作为一个视角， 并构建每个单 一视角下的图拉普拉斯矩阵； 然后构建并求解基 于流形学习的多视角特征选择与融合模型， 获得 融合后的图像特征。 本发明可以更充分利用数据 的结构信息， 更关注数据整体分布和特性的变化 趋势， 而不是特定特征的绝对值， 使其更具有减 弱多中心效应的潜力， 更关注医学图像本质疾病 表征， 而非多中心带来的扰动； 同时， 基于流行学 习的图像融合装置， 也能对不同视角下的特征进 行更有效的融合， 提高 医学图像分类性能。 权利要求书2页 说明书6页 附图5页 CN 114898193 A 2022.08.12 CN 114898193 A 1.一种基于流形 学习的图像特 征融合方法， 其特 征在于， 包括： 获取若干图像的多类特征构建特征集合； 将特征集合中， 每类特征作为一个视角， 并构 建每个单一视角下的图拉普拉斯矩阵 Li，i=1,2,…,K， K表示特 征类别的数量； 构建并求解基于流形学习的多视角特征选择与融合模型， 获得融合后的图像特征； 所 述基于流形 学习的多视角特 征选择与融合模型表示如下： , s.t.  其中，Y为融合后的 图像特征， 其中一行向量对应一个图像融合后的 图像特征；Zi表示第 i个视角特征的低维表示， αi是第i个视角特征对应的权重， tr(*)表示矩阵的迹， γ是权重 参数。 2.根据权利要求1所述的方法， 其特征在于， 所述图拉普拉斯矩阵 Li通过如下方法计算 获得： Li = Di  −Wi 其中，Di为第i个视角的 N ×N对角矩阵， 对角矩阵的对角元素 dmm = ∑n(Wi)mn， 1≤m,n≤ N且m≠n，N表示样本数量； Wi是第i个视角的 N ×N相关性矩阵， ( Wi)mn是Wi的第m行第n列元 素,代表第m个样本和第n个样本基于第i视角特 征的相关性。 3.根据权利要求1所述的方法， 其特征在于， 所述图像为医学图像， 具体为CT图像、 PET 图像、 超声图像或OCT图像。 4.根据权利要求3所述的方法， 其特 征在于， 所述医学图像由不同中心采集获得。 5.根据权利要求1所述的方法， 其特征在于， 所述特征类别 包括形状、 纹理、 灰度、 梯度、 频域特征中的至少两种。 6.一种基于流形 学习的图像特 征融合装置， 其特 征在于， 包括： 数据处理模块， 用于获取若干图像的多类特征构建特征集合； 将特征集合中， 每类特征 作为一个视角， 并构建每个单一视角下的图拉普拉斯矩阵 Li，i=1,2,…,K， K表示特征类别 的数量； 特征融合模块， 用于构建并求解基于流形学习的多视角特征选择与融合模型， 获得融 合后的图像特 征； 所述基于流形 学习的多视角特 征选择与融合模型表示如下： , s.t.  其中，Y为融合后的 图像特征， 其中每一行向量为融合之后的每一个图像的特征； Zi表示 第i个视角特征的低维表示， αi对应第i个视角特征对应的权重， tr(*)表示矩阵的迹， γ是 权重参数。 7.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1‑5任一项所述的 基于流形 学习的图像特 征融合方法。 8.一种包含计算机可执行指令的存储介质， 所述计算机可执行指令在由计算机处理器 执行时实现如权利要求1 ‑5任一项所述的基于流形 学习的图像特 征融合方法。 9.一种图像分类系统， 其特 征在于， 包括： 权利要求6所述基于流形 学习的图像特 征融合装置；权　利　要　求　书 1/2 页 2 CN 114898193 A 2分类模块， 用于根据图像特 征融合装置获取的图像特 征进行分类。权　利　要　求　书 2/2 页 3 CN 114898193 A 3