(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202110802383.4 (22)申请日 2021.07.15 (65)同一申请的已公布的文献号 申请公布号 CN 113326666 A (43)申请公布日 2021.08.31 (73)专利权人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 专利权人 中国铁建重 工集团股份有限公司 (72)发明人 胡伟飞　焦清　邵金毅　王楚璇　 刘振宇　谭建荣　刘飞香　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 代理人 贾玉霞 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/04(2006.01)G06N 3/063(2006.01) G06N 3/08(2006.01) G06F 113/28(2020.01) (56)对比文件 CN 112297013 A,2021.02.02 CN 111360862 A,2020.07.0 3 CN 108510 062 A,2018.09.07 US 20201645 05 A1,2020.0 5.28 US 2021023720 A1,2021.01.28 EP 3812107 A1,2021.04.28 WO 2020075423 A1,2020.04.16 王斌等.基 于深度图像和深度学习的机 器人 抓取检测算法研究. 《中国博士学位 论文全文数 据库 信息科技 辑》 .2010, 刘飞香.管片拼装机抓取和拼装智能化研 究. 《铁道建筑》 .2020, 审查员 许莎莎 (54)发明名称 基于卷积神经网络可微分结构搜寻的机器 人智能抓取方法 (57)摘要 本发明公开一种基于卷积神经网络可微分 结构搜寻的机器人智能抓取方法， 该方法首先构 造训练集和验证集， 然后构建离散的链式搜索空 间， 并将其松弛化至连续， 再通过将神经网络计 算速度和精度同时作为优化目标， 建立基于梯度 的神经网络双层优化模型对抓取姿态神经网络 进行优化， 最终得到具有最优参数的抓取姿态生 成网络。 将新的RGB ‑D图像输入训练后的网络， 即 可生成最佳抓取姿态。 本发明的机器人智能抓取 方法， 通过全 卷积神经网络完成抓取质量判断和 抓取姿态生成， 快速地提高了神经网络计算效 率， 解决了优化过程中计算 量过大的问题。 权利要求书3页 说明书6页 附图3页 CN 113326666 B 2022.05.03 CN 113326666 B 1.一种基于卷积神经网络可微分结构搜寻的机器人智能抓取方法， 其特征在于， 该方 法包括如下步骤： (1)构建抓取姿态生成网络的训练集和验证集， 所述训练集和验证集均包括网络输入 和输出， 所述网络输入为RGB ‑D图像， 输出为每个像素点对应的抓取质量Q、 抓取角度 抓 取开度W； (2)构造由多个节点组成的链式搜索空间， 确定节点之间的候选卷积计算操作； (3)松弛化离 散的链式搜索空间至连续； 将原先节点之间的操作都赋予归一化的连续变量α， 使离散操作用连续变量α来表示； 具体计算方法是将节点之间每个有向箭头线都乘以对应的变量α， 然后将得到的结果求和 作为最终的计算结果， 计算公式为： 其中， e为自然对数， xj为第j个节点的输出， 为第j个节点中第i个操作变量， 为第j 个节点中第i个操作方程； 第j个节点中包 含的操作数目； (4)将神经网络计算速度和精度同时作为优化目标， 建立基于梯度的神经网络双层优 化模型， 所述双层优化模型包括内层优化和外层优化， 其中， 所述内层 优化为采用训练集训 练神经网络所有权重系数w； 所述外层优化为根据训练后的神经网络所有权重系数w*， 采用 验证集训练神经网络操作变量α； 然后挑选操作变量α 组成卷积神经网络， 并用训练集重新训练权重系数， 得到具有最优 参数的抓取姿态生成网络； (5)将由位于机器人末端 的深度相机拍摄的RGB ‑D图像输入具有最优参数的抓取姿态 生成网络， 输出与输入图像长宽一致的每一个像素点所对应的包含抓取质量Q、 抓取角度 抓取开度W的三张单通道特 征图像； (6)从步骤(5)得到的图像中选取抓取质量Q最大的像素点， 把该像素点的位置作为抓 取框的中心位置， 再由上位机控制机器人和机 械爪完成对物体的抓取。 2.根据权利要求1所述的基于卷积神经网络可微分结构搜寻的机器人智能抓取方法， 其特征在于， 所述步骤(1)中的训练集和验证集的获得是基于现有的机器人智能抓取数据 集给出的RGB ‑D图像和成功进行物体抓取的抓取框， 生成每个像素点的抓取质量Q、 抓取角 度 抓取开度W， 并对这 三个特征进行如下的预处 理： 将每个抓取框沿着抓取宽度方向平均分为三部分， 将位于 中心的一部分填充抓取质量 q为1， 填充每个抓取框相对于图片的转动角 度φ， 填充抓取开度w； 其中， φ取值在 内， w取值在[0， 15 0]； 将位于 两侧的两个部分填充抓取质量q为0 。 3.根据权利要求1所述的基于卷积神经网络可微分结构搜寻的机器人智能抓取方法， 其特征在于， 所述链式搜索空间由多个节点组成， 每个节点表示经过计算操作后的中间结 果， 节点之间通过有向箭头线进行连接， 有向箭头线表示所有可能的候选神经网络计算操 作； 所述神经网络计算操作指 两个节点之 间采用不同尺寸的卷积核和不同数目的卷积层进权　利　要　求　书 1/3 页 2 CN 113326666 B 2行计算的操作； 节点之间都采用链式连接方式， 从而最大化地利用计算资源加快优化算法 收敛速度。 4.根据权利要求1所述的基于卷积神经网络可微分结构搜寻的机器人智能抓取方法， 其特征在于， 所述内层优化为在所有神经网络节点之间操作变量α确定的情况下， 采用训练集计算 损失函数来训练神经网络所有权 重系数w； 所述外层优化为基于训练后的神经网络所有权重系数w*， 采用验证集计算损失函数来 训练神经网络操作变量α； 具体计算如公式(2)和(3)， 其中， 公式(3)是内层优化函数， 公式(2)是外层优化函数： 为了将计算精度与时间同时作为优化 目标， 在外层优化函数中引入了延迟因子， 延迟因子 通过计算当前神经网络浮 点计算数与目标神经网络浮 点计算数的商来调整损失函数 其中， 为采用验证集计算的损失函数； 为采用训练集计算的损失函数； F为神经 网络浮点计算数的方程； m为离散化得到神经网络的结构； T为设定的目标浮点计算数； ω为 控制延迟因子影响大小的常量。 5.根据权利要求4所述的基于卷积神经网络可微分结构搜寻的机器人智能抓取方法， 其特征在于， 所述的步骤(4)中， 为了使外层函数更快确定正确的收敛梯度， 将内层函数计 算迭代至接近 收敛再更新外层函数； 同时， 通过观测多次内层函数迭代所得损失集来判断 是否收敛， 从而 避免优化过程停止在局部最优解； 内层函数的收敛 标准定义如下： 其中， 其中， n为每组中的内层函数计算次数， Gk为第k个内层函数损失值集合， 为第k个内 层函数损失值集的均值， 为第k个内层函数损失值集的最大值， 为第k个内 层函数损失值集的最小值， wi为第i个优化迭代所得网络的权重系数， ε1为损失函数集波动 收敛阈值， ε2为损失函数集均值收敛阈值。 6.根据权利要求5所述的基于卷积神经网络可微分结构搜寻的机器人智能抓取方法， 其特征在于， 所述的步骤(4)中， 在优化完成后， 对神经网络的操作变量α进行排序， 挑选拥权　利　要　求　书 2/3 页 3 CN 113326666 B 3