(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210861997.4 (22)申请日 2022.07.22 (71)申请人 浙江省肿瘤医院 地址 310022 浙江省杭州市拱 墅区半山 东 路1号 (72)发明人 程向东　袁莉　杨林　张士川　 徐志远　 (74)专利代理 机构 北京国翰知识产权代理事务 所(普通合伙) 11696 专利代理师 张振 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G16H 50/20(2018.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于舌象图像的肿瘤预测系统、 方法及其应 用 (57)摘要 本发明涉及肿瘤学诊断、 预测、 评估技术领 域， 具体涉及基于舌象图像的肿瘤预测系统、 方 法及其应用， 所述系统包括： 舌象采集模块， 其被 配置为获取测试试样的舌象图像； 数据处理模 块， 其被配置为通过下述操作来获得测试试样属 于阳性的概率： 依据自动学习获得的舌象图像上 的可判别性的特征预测测试试样属于阳性的概 率。 所述系统还包括输出模块。 旨在应用AI深度 学习， 基于舌象图像对肿瘤进行诊断预测， 肿瘤 预测系统操作简单， 成本低廉， 无痛无创， 通过大 量测试病例证实预测系统是一种针对于肿瘤的 前瞻性的、 经济性的、 无创性的、 有效性的筛查系 统。 权利要求书4页 说明书23页 附图8页 CN 114943735 A 2022.08.26 CN 114943735 A 1.一种基于舌象图像的肿瘤预测系统， 其特 征在于包括： 舌象采集模块， 其被 配置为获取测试 试样的舌象图像； 数据处理模块， 其被 配置为通过下述操作来获得测试 试样属于阳性的概 率： 依据自动学习获得的舌象图像上的可判别性的特 征预测测试试样属于阳性的概 率。 2.根据权利要求1所述的系统， 其特征在于： 所述肿瘤是胃癌、 乳腺癌、 结直肠癌、 食道 癌、 肝胆胰腺癌、 肺癌、 前列腺癌、 甲状腺癌、 卵巢癌、 神经母细胞瘤、 滋养细胞肿瘤或头颈部 鳞癌中的至少一种。 3.根据权利要求1或2所述的系统， 其特征在于： 所述肿瘤是胃癌、 乳腺癌、 结直肠癌、 食 道癌、 肝胆胰腺癌或肺癌中的至少一种。 4.根据权利要求1所述的系统， 其特征在于： 所述系统还包括输出模块， 其被配置为输 出预测结果。 5.根据权利要求4所述的系统， 其特征在于： 所述输出模块被配置为输出舌象图像与 预 测结果。 6.根据权利要求4或5所述的系统， 其特征在于： 所述输出模块以电子显示、 声音播报、 打印、 网络传输的至少一种模式输出。 7.根据权利要求1所述的系统， 其特征在于： 所述可判别性的特征来自于舌象图像上的 阳性类别与阴性类别之间。 8.根据权利要求1或7所述的系统， 其特征在于： 所述可判别性的特征来自于成对输入 交互式深度学习模型的阳性 舌象图像和阴性 舌象图像。 9.根据权利要求8所述的系统， 其特征在于： 所述数据处理模块具体配置为通过下述操 作来预测 测试试样属于阳性的概 率： 充分对比同时输入交互式深度 学习模型的阳性舌象图像和阴性舌象图像， 自动学习在 舌象图像上阳性类别和阴性类别之 间的共性和差异， 依据阳性类别和阴性类别之 间可判别 性的特征预测测试试样属于阳性的概 率。 10.根据权利要求9所述的系统， 其特 征在于： 所述阳性 舌象图像采集自肿瘤阳性患者； 所述阴性 舌象图像采集自肿瘤阴性患者。 11.根据权利要求9所述的系统， 其特 征在于： 所述交 互式深度学习模型 是APINet模型。 12.根据权利要求9或11所述的系统， 其特征在于： 所述数据处理模块具体配置为通过 下述操作来获得测试 试样属于阳性的概 率： 1)从预先获取的阳性 舌象图像及阴性 舌象图像中提取 得到阳性特 征和阴性特 征； 2)以阳性特 征和阴性特 征训练模型， 输出 特征分属各个 类别的概 率； 3)将测试 试样舌象图像输入训练完成的模型， 输出测试 试样属于阳性的概 率。 13.根据权利要求12所述的系统， 其特征在于： 步骤1)所述提取得到阳性特征和阴性特 征的步骤 包括： 编码器提取图像的特 征向量， 输出 阳性特征f1和阴性特 征f2； 将f1和f2及其拼接后的特征fm同时输入特征选择区的MLP， 对应输出两个控制向量g1和 g2； g1分别激活f1和f2形成选择后的特征f1+和f2‑， g2分别激活f1和f2形成选择后的特征f1‑权　利　要　求　书 1/4 页 2 CN 114943735 A 2和f2+， 获得两个阳性特 征f1+和f1‑与两个阴性特 征f2+和f2‑。 14.根据权利要求13所述的系统， 其特 征在于： 特征选择区的MLP充分学习f1和fm的共性及差异并输出控制向量g1， 特征选择区的MLP充分学习f2和fm的共性及差异并输出控制向量g2。 15.根据权利要求12所述的系统， 其特征在于： 步骤2)所述以阳性特征和阴性特征训练 模型具体是将阳性特征和阴性特征输入到全连接层分类器中， 输出这些特征分别属于各个 类别的概 率。 16.根据权利要求12或15所述的系统， 其特征在于： 步骤2)所述输出特征分属各个类别 的概率时， 依据四个特 征所述类别， 最小化交叉熵损失函数： 其中， y是该特征所对应的真实标签， 函数φc代表了最后的全连接层分类器， fik对应了 输入的4个特 征。 17.根据权利要求12或15所述的系统， 其特征在于： 步骤2)所述输出特征分属各个类别 的概率时， 考虑模型对特 征fi+所输出的置信度应该高于特 征fi‑， 最小化排序损失函数： 其中， pi‑和pi+是特征fi‑和fi+经过分类器所输出的在各个类别上的概率分布， ϵ∈[0,1] 是指定的超参数， p(c)是指在指定类别c上的概 率。 18.根据权利要求12所述的系统， 其特征在于： 步骤3)所述将测试试样舌象图像输入训 练完成的模型 是指将单个测试 试样舌象图像输入。 19.根据权利要求12或18所述的系统， 其特征在于： 步骤3)所述输出测试试样分属类别 的概率是指最终输出对应测试试样在各个类别上的概率分布， 取概率最大所对应的类别为 预测的类别。 20.根据权利要求1或7所述的系统， 其特征在于： 所述可判别性的特征来自于单一的阳 性舌象图像或阴性 舌象图像。 21.根据权利要求20所述的系统， 其特征在于： 所述可判别性的特征来自于舌象图像切 割成n小块后形成输入序列进行 特征提取以获得利于分类的深层特 征。 22.根据权利要求20所述的系统， 其特征在于： 所述数据处理模块具体配置为通过下述 操作来获得测试 试样属于阳性的概 率： 将测试试样舌象图像切割成小块， 通过线性映射形成输入向量并添加位置索引， 导入 训练完成的深度学习模型进行特征提取及特征融合， 输出选择后的有利于分类的深层特 征， 获得分属各个 类别的概 率。 23.根据权利要求22任一项所述的系统， 其特征在于： 所述深度 学习模型通过下述步骤 完成训练： a)将舌面图像切割成n小块， 然后将切割成的n小块按照顺序组成输入序列， 形成长度 为n的输入序列， 通过线性映射形成输入向量， 并添加位置索引0,1,2, …,n‑1； b)以基于TransFG模型的编码器进行特征提取及特征融合， 输出选择后的有利于分类 的深层特征， 最 终通过softmax分类器输出深层特征分属各个类别的概率分布； 完成对模 型 的训练。权　利　要　求　书 2/4 页 3 CN 114943735 A 3