简介机器人抓取的核心挑战在于如何从传感器数据中快速、准确地估计抓取位置与姿态。深度图作为环境几何信息的直接表示能够有效规避光照和纹理干扰成为视觉抓取任务的主流输入。GG-CNN生成式抓取卷积神经网络采用全卷积单阶段设计输入深度图后直接输出像素级的抓取质量图、角度图和宽度图无需候选框与后处理显著提升了推理速度适合部署于边缘设备。结合Gazebo与Pybullet两类仿真平台开发者可以分别利用高保真传感器模拟和高效率批量验证实现从训练到部署的完整闭环。基于康奈尔与提花数据集训练的模型配合Kinova机械臂可在仿真环境中实时可视化抓取过程为真实工业场景中的无序抓取提供了可复用的工程范式。 前阵子拿到一个以“基于GG-CNN的机器人抓取系统_通过深度图预测像素级抓取质量与姿态_结合Gazebo与Pybullet仿真平台实现实时抓取可视化_使用康奈尔与提花数据集训练网络_基于Kinova.zip”命名的工程包光看文件名信息量就很大GG-CNN网络、深度图、像素级抓取质量与姿态、两套仿真平台、两个公开数据集、Kinova机械臂基本把一个视觉抓取研究课题的所有核心要素都串起来了。这篇文章就顺着这个标题把整个系统从数据准备到网络训练再到仿真部署的完整链路拆开来讲既聊原理也聊实操帮准备做机器人抓取方向的朋友避开我踩过的那些坑。1. 内容整体设计与技术选型思路1.1 为什么抓取检测这么难搞机器人抓取这件事看上去是“伸手把东西拿起来”真做起来牵涉的环节非常多物体位姿估计、抓取点规划、避障路径、力控策略任何一个环节出错都可能导致抓取失败。传统做法通常依赖完整的3D模型匹配或者手动设计的几何特征算子这种方案在工业固定场景里能用但一到仓库拣选、家庭服务这种物体种类不固定的环境就很容易失灵因为事先不可能把所有物体的三维模型都建模存好。所以这几年大家逐渐往数据驱动方向走。与其费劲去“认物体”不如让网络直接学习“这个物体的哪个位置适合抓”。这个思路背后有个很实在的动机很多物体的材质、形状、颜色完全不同但适合抓握的局部几何结构可能是相似的比如圆润的瓶身、细长的把手、扁平的盒沿这些东西在深度图上会呈现相对固定的局部形状特征。数据驱动模型只要在大量样本上见过这些特征就能在没见过的新物体上泛化出合理的抓取点。1.2 为什么选GG-CNN而不是其他网络结构标题里点名了GG-CNN全称是Generative Grasp Convolutional Neural Network生成式抓取卷积神经网络。它在2017年左右提出到现在仍是视觉抓取领域绕不开的baseline之一。和当时主流的两阶段方法比GG-CNN的思路非常“暴力”且直接输入一张深度图输出一张和输入同尺寸的像素级抓取质量热图以及每个像素对应的抓取角度和抓取宽度一步到位没有区域提议、没有候选框分类、没有后处理优化。这样的全卷积、单阶段设计带来一个关键优势实时性。很多两阶段网络在GPU上推理一张图可能要几十到几百毫秒而GG-CNN在CPU上都能跑出几十赫兹的频率。机器人抓取不是离线分析控制器需要实时拿到抓取姿态去规划运动轨迹网络推理速度直接决定了系统能不能形成闭环。我在实际工程里把GG-CNN部署在Jetson Nano这类边缘设备上输入224x224的深度图单次推理大概十几毫秒配合机械臂运动完全能实时响应。1.3 为什么同时上Gazebo和Pybullet两个仿真平台很多初学者会问Gazebo和Pybullet不都是机器人仿真器吗二选一不就行了当时我同时用两套倒不是闲得慌而是两者各有不可替代的侧重。Gazebo和ROS生态深度绑定尤其是完整ROS2的机器人应用场景里Gazebo几乎是标配选择。做机械臂规划、SLAM、导航联调时Gazebo能把整个机器人工作流串起来。而且Gazebo的传感器仿真更成熟RGB-D相机输出的深度图噪声特性更接近真实硬件这对训练数据增强和算法验证非常重要。Pybullet则胜在轻量和可控纯Python接口物理引擎速度快单机测试时想重复跑几百次随机抓取实验非常方便。两套平台共用一套上位决策逻辑相当于同样的代码在两个物理后端上交叉验证既能验证硬件相关细节又能快速迭代算法这套组合拳在实际开发里效率很高。2. 核心原理拆解GG-CNN到底做了什么2.1 从深度图到抓取“质量地图”的映射逻辑先抛开神经网络想象一下人和机器人面对同一个场景时的差别。你看到桌上有杯子会直接判断“捏杯身中间合适杯口边缘太薄”这个判断在你的视觉皮层里很可能几毫秒就完成了。机器人没有这种“常识”它只能通过传感器数据来建模。GG-CNN选择深度图作为输入是因为在抓取任务里深度信息比RGB颜色信息更本质。颜色会因为光照变化产生巨大差异而一个物体表面凸起或凹陷的几何结构在深度图上相对稳定。网络输出的“抓取质量图”本质是一个概率热图每个像素值表示“如果机械臂末端以该像素对应的位置和角度接近物体抓取成功的概率”。这种表达方式是像素级的所以叫密集抓取检测。有意思的是模型不是靠某个全局特征去做判断而是对深度图上的每个局部patch都生成一个独立预测这有点像卷积核在全图上滑动时形成的语义分割效果。2.2 网络结构细节与推理流程GG-CNN的骨干网络采用编码器-解码器结构。编码器部分用几个卷积层不断下采样逐步扩大感受野让网络能看到更大的局部上下文。解码器部分用转置卷积或上采样操作把分辨率恢复到和输入一致。这种U型结构的好处是既有全局语义信息又有局部精细位置信息正好契合抓取这种既需要“看准位置”又需要“判断局部形状”的任务。在解码器末端网络分裂出三个输出头。第一个输出头是抓取质量图经过Sigmoid激活把输出限制在0到1之间。第二个输出头是抓取角度图直接回归每个像素对应的最佳抓取角度。第三个输出头是抓取宽度图回归末端执行器需要张开的宽度。推理阶段取质量图上的最大响应点读出该点的角度和宽度就组成了一个完整的抓取姿态[ g (x, y, \theta, w) ]其中(x)和(y)是像素坐标映射到机械臂基座坐标系的抓取位置(\theta)是末端绕z轴旋转的角度需要把网络输出的角度值换算成机械臂能执行的四元数或欧拉角(w)是二指夹爪的开口宽度。2.3 训练过程中的损失函数设计GG-CNN训练阶段的损失函数不是单一指标而是三个输出头的加权组合。质量图用的是二进制交叉熵损失因为标签是一个二值掩码像素值为1表示该处标注了正样本抓取点0表示背景。角度图用的是余弦距离损失或者简单的L1损失这里有个技巧角度是周期量0度和180度在数值上相差很大但物理上代表同一根轴方向所以计算角度损失时最好先转成单位向量再算距离或者对角度差做周期折叠否则网络会在这类边界样本上反复震荡且难以收敛。我给个参考配置角度损失权重通常取1质量损失权重取1宽度损失权重取1但如果你想加大抓取成功的惩罚可以把宽度损失的权重调到1.5。训练优化器用Adam初始学习率1e-3训练大约50到100个epoch就能在康奈尔数据集上达到比较好的效果。batch size根据显存定一般16到32都可以。2.4 像素级抓取表达对机械臂执行的意义可能有人会问既然最后只取最大点像素级输出是不是有点浪费其实不是。像素级预测能让网络学到更丰富的语义信息相当于间接做了一种隐式的数据增强。而且实际抓取时最大响应点可能位于物体边缘如果直接去抓夹爪极易碰撞桌面或其他物体。这时候质量图的价值就体现出来了可以在局部区域做极大值抑制或者对质量图做低通滤波后选择一个更安全的次优点。在仿真里我还验证过一个很有意思的细节分别用质量图的最大值和“质量值前5%像素的平均位置”作为抓取点后者在实际抓取成功率上反而更高。原因不难理解最大响应点可能落在几何尖峰上稍有噪声就会偏移而均值策略相当于引入了空间平滑性。这就是像素级输出的红利只有拿到整张质量图你才可能做这种后处理策略。3. 数据集训练与预处理康奈尔和提花怎么用3.1 康奈尔抓取数据集与抓取矩形标注康奈尔抓取数据集是最经典的抓取检测benchmark之一包含约240个物体、8000多个抓取矩形标注。每个标注用((x, y, w, h, \theta))描述一个矩形框表示夹爪夹具的开口宽度、闭合高度和旋转角度。训练时需要把这些矩形标注转换成像素级标签矩形中心点附近的一小块区域标记为质量图的正样本矩形宽度换算成对应的像素宽度矩形角度则平滑地填充到角度图中的这块区域。数据量不算大但足以训练出一个有效的抓取检测模型因为康奈尔数据的物体大多来自家庭生活场景几何结构多样加上合理的数据增强模型能学到比较鲁棒的抓取特征。3.2 提花数据集带来的多物体挑战提花数据集是另一个常用数据集物体数量更多、场景也更杂乱很多训练样本里存在多个物体堆叠或遮挡的情况。对GG-CNN这种单阶段网络来说这种多物体且遮挡的数据是最难的深度图上一个物体可能只有局部可见网络必须根据残缺的深度轮廓推断可抓取的局部几何。我用康奈尔数据集训练好的模型直接去提花数据集上测试效果会明显下降原因就在域差异和遮挡程度不同。你的工程标题里是把两个数据集都列出来了我建议的策略是先用康奈尔数据集做预训练让网络学会通用的抓取几何特征再用提花数据集的子集做微调。微调时适当降低学习率大概用到预训练学习率的十分之一同时增加一个随机裁剪和遮挡模拟的数据增强策略模拟真实环境中物体彼此遮挡的情况。这样训练出来的模型在仿真环境里抓取单个目标时的成功率会高出不少。3.3 深度图预处理的几个关键细节深度图的预处理直接决定训练能否收敛。第一个要注意的是深度图的度量单位。不同数据集的深度值单位不统一有的是毫米有的是米还有的是归一化到[0,1]的视差值。建议统一转换成米或者归一化到零均值和单位方差否则网络的初始梯度会非常不稳定。第二个是缺失值处理。深度相机在反光表面、黑色物体和过于接近传感器的区域会出现像素空洞需要做近邻插值或中值滤波填充否则这些空洞区域会在网络里产生诡异的响应。我做预处理时喜欢加一道直方图均衡化可以在保留深度梯度细节的同时增强对比度尤其在光线变化较大的仿真环境里效果非常明显。最后别忘了归一化到0到1区间这是输入网络的默认前提。3.4 训练效果评估不只是看准确率训练过程中需要同时监控几个指标准确率、质量图的IoU、角度预测误差和宽度预测误差。准确率高不一定代表抓取成功率高因为抓取成功与否是一个更物理的指标和机械臂的容错性有很大关系。仿真里我通常直接用成功率测试脚本在Pybullet里随机摆放物体跑100次抓取统计成功次数。这个指标比网络loss更直观也更接近真实需求。如果你发现准确率一直很高但成功率上不去大概率是角度预测和实际执行之间存在偏差。可以检查一下预处理时深度图尺寸缩放是否导致角度扭曲或者机械臂末端工具坐标系变换是否计算正确。这类问题排查起来很耗时间但定位到原因后往往就是几行代码的事。4. 仿真平台搭建与选型Gazebo与Pybullet实战对比4.1 Gazebo环境搭建要点与ROS2联动Gazebo现在主流版本和ROS2的配合度已经很成熟了。如果你在Ubuntu 24.04上用虚拟机搭测试环境建议直接用官方源安装不要自己从源码编省下大量折腾时间。安装完成后第一步检查渲染引擎是否正常Gazebo需要OpenGL支持虚拟机的3D加速没开启的话画面会特别卡甚至直接黑屏这个问题在VMware和VirtualBox里都很常见。建立机械臂仿真场景时URDF模型是核心。Kinova机械臂有自己的URDF模型下载时要注意把mesh文件路径配好否则Gazebo会报找不到模型文件。启动后建议用命令行工具检查话题列表确认关节状态、深度相机图像和IMU数据是否正常发布。我在Gazebo里常用ROS2的rqt_graph查看节点关系检查传感器数据链路是否通畅。物理引擎建议选ODE如果遇到模型穿透或抖动再切到Bullet或DART对比不同引擎对关节阻尼参数的敏感性差异很大。4.2 在Gazebo里搭建差速轮机器人加RGB-D传感器的流程参考标题虽然聚焦在机械臂抓取但不少朋友是在做移动抓取会先在Gazebo里搭一台差速轮底盘配上RGB-D相机再让机械臂安在底盘上。这里简单说一下差速轮和RGB-D传感器的接入思路URDF里定义两个驱动轮和一个万向轮差速驱动插件用gazebo_ros2_control或者hector_gazebo_plugins里的差速控制器RGB-D传感器直接在URDF里加一个带深度相机sensor插件和RGB相机sensor插件的link注意给相机设置合适的近裁剪面和远裁剪面否则深度图全黑全白都有可能。这一步做完就可以用ROS2写一个话题收发的节点订阅/scan和/depth_camera/depth/image_raw再发布/cmd_vel控制底盘。很多朋友在Gazebo里遇到“话题没数据”的问题多半是URDF传感器的命名空间没写对或者加载的world文件里忘了放置物体。Gazebo自带的默认world是没有相机测试物体的想验证深度相机工作正常最好先放几个障碍物进去。4.3 Pybullet平台的优势与快速搭建方法Pybullet对我来说更像一个“训练场”。它用Python脚本直接构建环境不需要ROS节点和launch文件启动逻辑清晰可复现性好。搭建一个机械臂抓取仿真环境只需要加载URDF文件、设置重力、创建桌面和随机物体然后写一个简单的抓取执行循环。Pybullet自带的panda机械臂模型也经常被用来做测试加载后配合内置的逆解算器能快速验证算法逻辑。Pybullet的另一个优势是物理计算速度快可以同时开多个环境做并行强化学习或者批量成功率测试。实测在我的台式机上只跑物理仿真不渲染画面帧率能上2000Hz做批量抓取实验效率极高。缺点是传感器仿真不如Gazebo精细尤其是深度相机的图像噪声和畸变效果比较理想化所以算法最终上实机前还需要到Gazebo里做一次高保真验证。4.4 两套仿真平台的详细对比与选型建议我整理了一张对比表方便大家根据自身场景做选择对比维度GazeboPybullet与ROS2集成度高官方支持完善低需要自写桥接节点物理引擎ODE、Bullet、DART可选Bullet为主轻量高效传感器仿真保真度较高支持RGB-D噪声模型较基础适合快速验证运行速度较慢场景复杂时明显快支持多环境并发学习曲线较陡配置繁琐平缓Python脚本即写即用典型场景移动抓取、SLAM、多机联调抓取算法验证、批量实验如果你做的是“机械臂固定底座视觉抓取”这种经典配置建议Pybullet打头阵先把抓取算法调通再用Gazebo做整机联动和可视化演示。如果项目目标是移动抓取或者要融合SLAM和导航那Gazebo基本是绕不开的因为ROS2的导航栈和SLAM工具包在Pybullet里根本没有现成组件。4.5 Kinova机械臂模型配置与工具坐标系校准标题里提到基于Kinova大概率用的是Kinova Gen3或者Kinova Jaco这类轻量协作机械臂。Kinova官方提供URDF模型可以直接加载进Gazebo和Pybullet。需要注意的有两点一是模型的基座坐标系定义和《你实验台上的安装方向》未必一致如果机械臂是倒装或侧装的需要在URDF里改基座的旋转偏置二是末端执行器坐标系与相机坐标系的标定如果你的RGB-D相机安装在机械臂手腕上相机外参矩阵直接决定深度图坐标映射到机械臂基座坐标的精度标定错了网络预测得再准也是白搭。在仿真里做标定可以用手眼标定的思路让机械臂末端移动几个已知位置记录相机看到的标记点在相机坐标系下的坐标用最小二乘法解出变换矩阵。我遇到过很多次因为忘了更新工具坐标系偏移量导致抓取位置整体偏差几厘米的案例方向永远对就是差一截非常折磨人。5. 实时抓取可视化与核心闭环实现5.1 系统整体架构的逻辑串联整个系统跑起来后核心闭环是这样的仿真环境里的RGB-D相机发布深度图像话题抓取规划节点订阅这个话题把深度图转到OpenCV格式预处理后送进GG-CNN网络网络输出质量图、角度图和宽度图规划节点从质量图中选取抓取点调用机械臂的工具函数把抓取姿态下发到Gazebo或Pybullet执行抓取动作然后根据力传感器或者关节力矩反馈判断是否抓取成功再进入下一轮循环。这个过程里最影响实时性的不是网络推理而是话题通信和图像格式转换。ROS2里图像话题的传输带宽很大如果没有做压缩CPU占用会飙升。我在Gazebo联调时习惯用SensorDataQoS并在传输前把深度图缩放到224x224虽然损失了一些分辨率但换来的是整体帧率翻倍在抓取这种实时性敏感的任务里是值得的。5.2 实时抓取可视化的三个关键步骤第一选择可视化工具。默认方案是RViz2订阅深度图像、抓取热点云、机械臂TF树和规划轨迹。RViz2里可以同时显示相机图像和三维点云很适合观察抓取点是否落在物体表面。第二把网络输出的质量图叠加到深度图上做成伪彩色图再发布成图像话题这样能直观看到网络关注的位置。第三在RViz2里添加一个MarkerArray话题以红色立方体或轴线形式显示预测的抓取位姿这样机械臂一动就能看到目标点位置是否合理。如果你在Pybullet里做可视化简单得多直接用Pybullet自带的可视化接口addUserDebugLine和addUserDebugText画箭头和文字。Pybullet不依赖独立查看器但可以连接pybullet的GUI模式打开实时渲染用鼠标拖拽视角调试体验也很顺。5.3 一个简化的规划-执行参考流程下面这段是抓取宏指令的简化示例方便理解流程层次。这里不绑定具体机械臂驱动库只做个逻辑骨架import numpy as np import cv2 from ggcnn_model import GGCNN from sim_interface import SimulationInterface def plan_grasp(depth_image): depth_input preprocess_depth(depth_image) # 归一化、缩放、去空洞 q_img, ang_img, width_img model.predict(depth_input) # 取质量图最大点 max_idx np.unravel_index(np.argmax(q_img), q_img.shape) grasp_theta ang_img[max_idx] * np.pi / 180.0 grasp_width width_img[max_idx] return max_idx, grasp_theta, grasp_width def execute_grasp(robot, grasp_pixel, theta, width): # 像素坐标转相机坐标系 cam_pose robot.get_camera_pose() # 再转换到机械臂基座坐标系 grasp_pose camera_to_base(cam_pose, grasp_pixel, depth_value) # 设置夹爪开度、末端朝向 robot.move_to_pregrasp(grasp_pose, theta) robot.open_gripper(width) robot.move_to_grasp(grasp_pose, theta) robot.close_gripper() success robot.check_grasp_success() return success if __name__ __main__: robot SimulationInterface(gazebo) # 或者 pybullet model GGCNN.load_weights(ggcnn_weights.h5) while robot.is_running(): depth_img robot.get_depth_image() pixel, theta, width plan_grasp(depth_img) ok execute_grasp(robot, pixel, theta, width) if ok: robot.move_to_goal_pose() else: robot.reset_gripper()这段伪代码表达了基本的数据流真实部署时还要加上异常处理、超时机制和重试策略。一个很重要的工程细节是在执行抓取前要加一个预抓取位姿也就是让末端移动到抓取点上方一定的安全距离再直线向下接近。这样能避免机械臂在运动过程中碰到其他物体也让最终的接近运动轨迹简单可控。5.4 从仿真迁移到实机的几个重要提醒仿真里跑通的抓取算法直接搬到真机上大概率会失败。主要差异来自传感器噪声、相机标定误差和机械臂运动控制精度。我的建议是在仿真阶段就刻意加入噪声扰动比如在深度图上叠加高斯噪声和随机偏移在Gazebo里可以通过相机插件参数设置噪声Pybullet里可以在读取深度图后手动加噪声。这样训练出来的模型对实机深度图的鲁棒性会强很多。还有一个经常被忽略的点仿真中机械臂运动是理想的但真机存在关节伺服延迟和末端抖动抓取速度太快会导致夹爪还没完全闭合就撞到物体。所以从仿真到实机建议把接近速度和夹爪闭合速度降到仿真的50%~70%先保证成功率再逐步提速。6. 常见问题与排查技巧实录6.1 深度图全黑或全白网络输出完全失真的排查思路深度图异常是Gazebo和Pybullet里最高频的问题。全黑通常是深度值不在相机近远裁剪面范围内检查相机参数里的near和far设置一般设0.1到10米。全白则可能是深度数据单位不对比如以float32存储的深度值是毫米而不是米显示时被归一化到0到1后就会爆掉。可以先用cv2.imwrite或np.unique打印几个像素值判断数值量级是否合理。网络输出完全失真很多时候不是网络问题而是预处理时深度值范围没对齐比如训练时用的是0到1推理时输入的是0到65535模型当然失效。6.2 仿真中物体抖动、穿模、夹爪滑脱的物理参数调整Pybullet和Gazebo里物体抖动的直接原因是接触参数设置不合适。接触刚度太小会导致物体在表面来回弹跳接触阻尼太大会让碰撞响应迟钝。建议把contactStiffness和contactDamping分别设为5000和10附近再根据实际微调。夹爪滑脱则往往是因为手指与物体之间的摩擦力不足可以在URDF里给手指增加摩擦系数通常设为1.0同时在仿真里关闭“低摩擦接触”的默认选项。还有一个容易被忽略的点物体质量不要设得太大仿真里质量过大会导致夹爪的电机力矩无法支撑表现就是“怎么抓都抓不起来”。6.3 训练loss降不下去或反复震荡的六个排查方向我遇到过很多次训练异常整理了一个自检清单第一标签生成是否正确。抓取矩形在转换成像素级标签时角度图的赋值是否把弧度当成了角度或者标签坐标是否和深度图坐标对齐。第二损失函数里角度周期性问题有没有处理这个可以直接从loss曲线是否呈周期性波动来判断。第三数据增强有没有引入不合理的几何变形比如随机旋转90度后抓取角度标签也要跟着转否则角度标签就乱了。第四学习率是否过大导致震荡降到1e-4或1e-5试试。第五batch size是不是太小梯度噪声大归一化层效果差。第六检查解码器输出层是否有激活函数限制比如质量图输出用了线性激活而不是Sigmoid网络会出现负值输出。6.4 仿真实时性差、机械臂运动卡顿的优化方法Gazebo最吃配置的是渲染和物理步进。实时性差的时候第一步关掉Gazebo的GUI只保留无头模式深度图和三维可视化通过RViz2访问这一招能省掉大量渲染开销。第二步适当降低物理更新频率比如把max_step_size从0.001调到0.002在精度可接受的范围内换取速度。第三步检查URDF里mesh文件是否太精细一个复杂mesh几百万三角面片会大幅拖慢物理和渲染可以用简化版mesh替换。Pybullet方面如果不需要可视化可以用DIRECT模式速度提升非常明显如果需要调试再切换成GUI模式。6.5 问题整理成速查表现象可能原因处理方式深度图全黑相机近远剪裁面设置不当检查near0.1, far10深度图全白深度值单位或范围不对打印像素值确认数值量级质量图最大点不在物体上相机外参标定错误检查相机到基座的TF变换夹爪滑脱抓不起物体摩擦力不足或物体质量过大增大摩擦系数、降低物体质量网络loss震荡角度标签周期性问题把角度转单位向量回归或周期折叠加Gazebo启动黑屏虚拟机3D加速未开启打开虚拟机显卡3D加速选项机械臂运动卡顿物理步长太小或mesh过精细增大步长、简化模型meshPybullet没有图像数据渲染模式用DIRECT需要摄像头时改用GUI模式6.6 我做这套系统时最深刻的几个教训第一个教训来自相机标定。当时在Pybullet里一切正常换到Gazebo后抓取点总偏两三厘米排查了一整天才发现是深度图坐标系方向不一致Pybullet是OpenGL惯例的右手系而ROS2的深度图像遵循REP-103两者在Y轴方向差一个负号。这个问题很隐蔽因为图像看起来完全正常只有做坐标映射时才会炸。建议在代码里显式约定深度图的相机坐标系是哪个并写一个单元测试验证坐标变换后再接入网络输出。第二个教训是数据增强不能乱加。我在训练时加了随机旋转增强但忘了同步旋转角度标签结果角度预测在特定朝向范围内系统性偏差很大训练loss虽然不高抓取成功率却怎么都上不去。这种标签和增强不同步的问题属于典型的“看起来正常、实际已坏”。第三个教训是别完全迷信网络输出的最大质量点。质量图最大点往往落在物体轮廓边缘或尖锐几何上直接执行抓取容易碰撞。我在仿真里试过多次对质量图做一个高斯模糊再选最大值抓取成功率会显著提升因为模糊操作相当于让网络输出考虑了邻域空间的影响执行起来更稳。最后想说的是GG-CNN这套架构放在今天看虽然不算最前沿但它依旧是一个非常适合入门和理解抓取检测整体流程的起点。它能让你用最少的代码和数据跑通从深度图到抓取动作的完整链路。我的实际体会是真正花时间的不是调网络结构而是工程链路里的每一个小细节坐标变换、数据格式、物理参数、话题通信。这些坑踩过一次之后后面换新的网络结构或者新数据集就不会再慌了。本文还有配套的精品资源点击获取