(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210842992.7 (22)申请日 2022.07.18 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 陶蓉　郑国焱　 (74)专利代理 机构 上海光华专利事务所(普通 合伙) 31219 专利代理师 王国祥 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/62(2022.01) G06V 10/40(2022.01) (54)发明名称 手术流程和手术器械联合检测方法、 介质及 电子设备 (57)摘要 本发明提供一种基于视频的手术流程和手 术器械联合检测方法、 介质及电子设备。 所述联 合检测方法包括： 获取手术视频； 利用图像特征 提取网络对所述手术视频进行处理以获取手术 视频的图像域特征； 利用时间域信息融合网络将 所述手术视频的图像域特征与时间域特征相融 合并检测手术流程和手术器械。 所述联合检测方 法具有较高的检测准确度。 权利要求书2页 说明书7页 附图4页 CN 115187908 A 2022.10.14 CN 115187908 A 1.一种基于视频的手术流程和手术器械联合检测方法， 其特征在于， 所述联合检测方 法包括： 获取手术视频； 利用图像特 征提取网络对所述手术视频进行处 理以获取手术视频的图像域特 征； 利用时间域信息融合网络将所述手术视频的图像域特征与时间域特征相融合并检测 手术流程和手术器械 。 2.根据权利要求1所述的联合检测方法， 其特征在于， 对于所述手术视频中的一帧手术 图像： 获取该帧手术图像的图像域特征包括： 利用所述图像特征提取网络对该帧手术图像进 行处理以获取 该帧手术图像的图像域特 征； 检测该帧手术图像的手术流程和手术器械包括： 利用时间域信 息融合网络对该帧手术 图像的图像域特征及其之前若干帧手术图像的图像域特征进 行处理， 以实现该帧手术图像 的图像域特 征与时间域特 征的融合并检测该帧手术图像的手术 流程和手术器械 。 3.根据权利要求2所述的联合检测方法， 其特征在于， 所述 时间域信 息融合网络采用条 形注意力因果掩膜。 4.根据权利要求1至3任一项所述的联合检测方法， 其特征在于， 所述图像特征提取网 络的训练方法包括： 构建所述图像特 征提取网络； 获取训练视频， 所述训练视频包括多帧训练图像； 对所述训练图像进行 预处理； 利用预处 理后的所述训练图像对所述图像特 征提取网络进行训练。 5.根据权利要求4所述的联合检测方法， 其特征在于， 所述图像特征提取网络的训练方 法还括： 获取测试图像； 采用中心裁 剪法对所述测试图像进行处 理； 利用所述测试图像对所述特 征提取网络的性能进行测试。 6.根据权利要求1至3任一项所述的联合检测方法， 其特征在于， 所述时间域信息融合 网络的训练方法包括： 构建所述时间域信息融合网络， 并为所述时间域信息融合网络配置约束网络； 获取训练数据； 利用所述训练数据对所述 时间域信 息融合网络进行训练， 在训练过程中利用所述约束 网络约束所述时间域信息融合网络的预测结果和金 标准之间的距离 。 7.根据权利要求6所述的联合检测方法， 其特征在于， 利用所述约束 网络约束所述 时间 域信息融合网络的预测结果和金 标准之间的距离包括： 利用所述约束网络将所述时间域信息融合网络的预测结果和金标准编码为多个高斯 分布， 并约束所述时间域信息融合网络的预测结果和金 标准之间的距离最小。 8.根据权利要求1至7中任一项所述的联合检测方法， 其特征在于， 在获取所述手术视 频的图像域特 征之前， 所述联合检测方法还 包括： 对所述手术视频进行 预处理。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于： 该计算机程序被处权　利　要　求　书 1/2 页 2 CN 115187908 A 2理器执行时实现权利要求1至8任一项所述的联合检测方法。 10.一种电子设备， 其特 征在于， 所述电子设备包括： 存储器， 存储有一计算机程序； 处理器， 与所述存储器通信相连， 调用所述计算机程序时执行权利要求1至8任一项所 述的联合检测方法。权　利　要　求　书 2/2 页 3 CN 115187908 A 3