请问，机器人视觉抓取关键技术有哪些，各有哪些实现方法，有何优缺点,工业管道检测机器人的作用有哪些？

1、请问，机器人视觉抓取关键技术有哪些，各有哪些实现方法，有何优缺点

首先，我们要了解，机器人领域的视觉（Machine Vision）跟计算机领域（Computer Vision）的视觉有1些不同：机器视觉的目的是给机器人提供操作物体的信息。所以，机器视觉的研究大概有这几块： 物体识别（Object Recognition）：在图像中检测到物体类型等，这跟 CV 的研究有很大1部分交叉； 位姿估计（Pose Estimation）：计算出物体在摄像机坐标系下的位置和姿态，对于机器人而言，需要抓取东西，不仅要知道这是什么，也需要知道它具体在哪里； 相机标定（Camera Calibration）：因为上面做的只是计算了物体在相机坐标系下的坐标，我们还需要确定相机跟机器人的相对位置和姿态，这样才可以将物体位姿转换到机器人位姿。当然，我这里主要是在物体抓取领域的机器视觉；SLAM 等其他领域的就先不讲了。 由于视觉是机器人感知的1块很重要内容，所以研究也非常多了，我就我了解的1些，按照由简入繁的顺序介绍吧： 0. 相机标定 这其实属于比较成熟的领域。由于我们所有物体识别都只是计算物体在相机坐标系下的位姿，但是，机器人操作物体需要知道物体在机器人坐标系下的位姿。所以，我们先需要对相机的位姿进行标定。 内参标定就不说了，参照张正友的论文，或者各种标定工具箱； 外参标定的话，根据相机安装位置，有两种方式：Eye to Hand：相机与机器人极坐标系固连，不随机械臂运动而运动Eye in Hand：相机固连在机械臂上，随机械臂运动而运动 两种方式的求解思路都类似，首先是眼在手外（Eye to Hand） 只需在机械臂末端固定1个棋盘格，在相机视野内运动几个姿态。由于相机可以计算出棋盘格相对于相机坐标系的位姿 、机器人运动学正解可以计算出机器人底座到末端抓手之间的位姿变化 、而末端爪手与棋盘格的位姿相对固定不变。 这样，我们就可以得到1个坐标系环而对于眼在手上（Eye in Hand）的情况，也类似，在地上随便放1个棋盘格（与机器人基座固连），然后让机械臂带着相机走几个位姿，然后也可以形成1个 的坐标环平面物体检测 这是目前工业流水线上最常见的场景。目前来看，这1领域对视觉的要求是：快速、精确、稳定。所以，1般是采用最简单的边缘提取+边缘匹配/形状匹配的方法；而且，为了提高稳定性、1般会通过主要打光源、采用反差大的背景等手段，减少系统变量。目前，很多智能相机（如 cognex）都直接内嵌了这些功能；而且，物体1般都是放置在1个平面上，相机只需计算物体的 3自由度位姿即可。 另外，这种应用场景1般都是用于处理1种特定工件，相当于只有位姿估计，而没有物体识别。 当然，工业上追求稳定性无可厚非，但是随着生产自动化的要求越来越高，以及服务类机器人的兴起。对更复杂物体的完整位姿 估计也就成了机器视觉的研究热点。 2. 有纹理的物体 机器人视觉领域是最早开始研究有纹理的物体的，如饮料瓶、0食盒等表面带有丰富纹理的都属于这1类。 当然，这些物体也还是可以用类似边缘提取+模板匹配的方法。但是，实际机器人操作过程中，环境会更加复杂：光照条件不确定（光照）、物体距离相机距离不确定（尺度）、相机看物体的角度不确定（旋转、仿射）、甚至是被其他物体遮挡（遮挡）。幸好有1位叫做 Lowe 的大神，提出了1个叫做 SIFT （Scale-invariant feature transform）的超强局部特征点： Lowe, David G. "Distinctive image features from scale-invariant keypoints."International journal of computer vision 60.2 (2004): 91-110. 具体原理可以看上面这篇被引用 4万+ 的论文或各种博客，简单地说，这个方法提取的特征点只跟物体表面的某部分纹理有关，与光照变化、尺度变化、仿射变换、整个物体无关。 因此，利用 SIFT 特征点，可以直接在相机图像中寻找到与数据库中相同的特征点，这样，就可以确定相机中的物体是什么东西（物体识别）。对于不会变形的物体，特征点在物体坐标系下的位置是固定的。所以，我们在获取若干点对之后，就可以直接求解出相机中物体与数据库中物体之间的单应性矩阵。 如果我们用深度相机（如Kinect）或者双目视觉方法，确定出每个特征点的 3D 位置。那么，直接求解这个 PnP 问题，就可以计算出物体在当前相机坐标系下的位姿。↑ 这里就放1个实验室之前毕业师兄的成果 当然，实际操作过程中还是有很多细节工作才可以让它真正可用的，如：先利用点云分割和欧氏距离去除背景的影响、选用特征比较稳定的物体（有时候 SIFT 也会变化）、利用贝叶斯方法加速匹配等。 而且，除了 SIFT 之外，后来又出了1大堆类似的特征点，如 SURF、ORB 等。 3. 无纹理的物体 好了，有问题的物体容易解决，那么生活中或者工业里还有很多物体是没有纹理的：我们最容易想到的就是：是否有1种特征点，可以描述物体形状，同时具有跟 SIFT 相似的不变性？ 不幸的是，据我了解，目前没有这种特征点。 所以，之前1大类方法还是采用基于模板匹配的办法，但是，对匹配的特征进行了专门选择（不只是边缘等简单特征）。 这里，我介绍1个我们实验室之前使用和重现过的算法 LineMod： Hinterstoisser, Stefan, et al. "Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011. 简单而言，这篇论文同时利用了彩色图像的图像梯度和深度图像的表面法向作为特征，与数据库中的模板进行匹配。 由于数据库中的模板是从1个物体的多个视角拍摄后生成的，所以这样匹配得到的物体位姿只能算是初步估计，并不精确。 但是，只要有了这个初步估计的物体位姿，我们就可以直接采用 ICP 算法（Iterative closest point）匹配物体模型与 3D 点云，从而得到物体在相机坐标系下的精确位姿。当然，这个算法在具体实施过程中还是有很多细节的：如何建立模板、颜色梯度的表示等。另外，这种方法无法应对物体被遮挡的情况。（当然，通过降低匹配阈值，可以应对部分遮挡，但是会造成误识别）。 针对部分遮挡的情况，我们实验室的张博士去年对 LineMod 进行了改进，但由于论文尚未发表，所以就先不过多涉及了。 4. 深度学习 由于深度学习在计算机视觉领域得到了非常好的效果，我们做机器人的自然也会尝试把 DL 用到机器人的物体识别中。 首先，对于物体识别，这个就可以照搬 DL 的研究成果了，各种 CNN 拿过来用就好了。有没有将深度学习融入机器人领域的尝试？有哪些难点？ - 知乎 这个回答中，我提到 2016 年的『亚马逊抓取大赛』中，很多队伍都采用了 DL 作为物体识别算法。 然而， 在这个比赛中，虽然很多人采用 DL 进行物体识别，但在物体位姿估计方面都还是使用比较简单、或者传统的算法。似乎并未广泛采用 DL。 如 @周博磊 所说，1般是采用 semantic segmentation network 在彩色图像上进行物体分割，之后，将分割出的部分点云与物体 3D 模型进行 ICP 匹配。 当然，直接用神经网络做位姿估计的工作也是有的，如这篇： Doumanoglou, Andreas, et al. "Recovering 6d object pose and predicting next-best-view in the crowd." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016. 它的方法大概是这样：对于1个物体，取很多小块 RGB-D 数据（只关心1个patch，用局部特征可以应对遮挡）；每小块有1个坐标（相对于物体坐标系）；然后，首先用1个自编码器对数据进行降维；之后，用将降维后的特征用于训练Hough Forest。 5. 与任务/运动规划结合 这部分也是比较有意思的研究内容，由于机器视觉的目的是给机器人操作物体提供信息，所以，并不限于相机中的物体识别与定位，往往需要跟机器人的其他模块相结合。我们让机器人从冰箱中拿1瓶『雪碧』，但是这个 『雪碧』 被『美年达』挡住了。 我们人类的做法是这样的：先把 『美年达』 移开，再去取 『雪碧』 。 所以，对于机器人来说，它需要先通过视觉确定雪碧在『美年达』后面，同时，还需要确定『美年达』这个东西是可以移开的，而不是冰箱门之类固定不可拿开的物体。 当然，将视觉跟机器人结合后，会引出其他很多好玩的新东西。由于不是我自己的研究方向，所以也就不再班门弄斧了。机器人家上有关于这个很详细的图文讲解，你可以看下，希望对你有用。

2、工业管道检测机器人的作用有哪些？

工业管道检测机器人广泛应用于管道检测、矿井检测勘探、隧道验收、地震搜救、消防救援、灾害援助、电力巡检、反恐排爆、军事侦查、高温、高辐射、有毒环境等，嘉兴大工管道机器人能到达无人领域实现管道作业，可以有效地降低管道作业的危险系数，产品主要技术指标达到国际同期同类产品水平 ，而且使用方便，性价比高，目前居于同行业领先地位。

3、请问，机器人视觉抓取关键技术有哪些，各有哪些实现方法，有何优缺点

首先，我们要了解，机器人领域的视觉（Machine Vision）跟计算机领域（Computer Vision）的视觉有1些不同：机器视觉的目的是给机器人提供操作物体的信息。所以，机器视觉的研究大概有这几块： 物体识别（Object Recognition）：在图像中检测到物体类型等，这跟 CV 的研究有很大1部分交叉； 位姿估计（Pose Estimation）：计算出物体在摄像机坐标系下的位置和姿态，对于机器人而言，需要抓取东西，不仅要知道这是什么，也需要知道它具体在哪里； 相机标定（Camera Calibration）：因为上面做的只是计算了物体在相机坐标系下的坐标，我们还需要确定相机跟机器人的相对位置和姿态，这样才可以将物体位姿转换到机器人位姿。当然，我这里主要是在物体抓取领域的机器视觉；SLAM 等其他领域的就先不讲了。 由于视觉是机器人感知的1块很重要内容，所以研究也非常多了，我就我了解的1些，按照由简入繁的顺序介绍吧： 0. 相机标定 这其实属于比较成熟的领域。由于我们所有物体识别都只是计算物体在相机坐标系下的位姿，但是，机器人操作物体需要知道物体在机器人坐标系下的位姿。所以，我们先需要对相机的位姿进行标定。 内参标定就不说了，参照张正友的论文，或者各种标定工具箱； 外参标定的话，根据相机安装位置，有两种方式：Eye to Hand：相机与机器人极坐标系固连，不随机械臂运动而运动Eye in Hand：相机固连在机械臂上，随机械臂运动而运动 两种方式的求解思路都类似，首先是眼在手外（Eye to Hand） 只需在机械臂末端固定1个棋盘格，在相机视野内运动几个姿态。由于相机可以计算出棋盘格相对于相机坐标系的位姿 、机器人运动学正解可以计算出机器人底座到末端抓手之间的位姿变化 、而末端爪手与棋盘格的位姿相对固定不变。 这样，我们就可以得到1个坐标系环而对于眼在手上（Eye in Hand）的情况，也类似，在地上随便放1个棋盘格（与机器人基座固连），然后让机械臂带着相机走几个位姿，然后也可以形成1个 的坐标环平面物体检测 这是目前工业流水线上最常见的场景。目前来看，这1领域对视觉的要求是：快速、精确、稳定。所以，1般是采用最简单的边缘提取+边缘匹配/形状匹配的方法；而且，为了提高稳定性、1般会通过主要打光源、采用反差大的背景等手段，减少系统变量。目前，很多智能相机（如 cognex）都直接内嵌了这些功能；而且，物体1般都是放置在1个平面上，相机只需计算物体的 3自由度位姿即可。 另外，这种应用场景1般都是用于处理1种特定工件，相当于只有位姿估计，而没有物体识别。 当然，工业上追求稳定性无可厚非，但是随着生产自动化的要求越来越高，以及服务类机器人的兴起。对更复杂物体的完整位姿 估计也就成了机器视觉的研究热点。 2. 有纹理的物体 机器人视觉领域是最早开始研究有纹理的物体的，如饮料瓶、0食盒等表面带有丰富纹理的都属于这1类。 当然，这些物体也还是可以用类似边缘提取+模板匹配的方法。但是，实际机器人操作过程中，环境会更加复杂：光照条件不确定（光照）、物体距离相机距离不确定（尺度）、相机看物体的角度不确定（旋转、仿射）、甚至是被其他物体遮挡（遮挡）。幸好有1位叫做 Lowe 的大神，提出了1个叫做 SIFT （Scale-invariant feature transform）的超强局部特征点： Lowe, David G. "Distinctive image features from scale-invariant keypoints."International journal of computer vision 60.2 (2004): 91-110. 具体原理可以看上面这篇被引用 4万+ 的论文或各种博客，简单地说，这个方法提取的特征点只跟物体表面的某部分纹理有关，与光照变化、尺度变化、仿射变换、整个物体无关。 因此，利用 SIFT 特征点，可以直接在相机图像中寻找到与数据库中相同的特征点，这样，就可以确定相机中的物体是什么东西（物体识别）。对于不会变形的物体，特征点在物体坐标系下的位置是固定的。所以，我们在获取若干点对之后，就可以直接求解出相机中物体与数据库中物体之间的单应性矩阵。 如果我们用深度相机（如Kinect）或者双目视觉方法，确定出每个特征点的 3D 位置。那么，直接求解这个 PnP 问题，就可以计算出物体在当前相机坐标系下的位姿。↑ 这里就放1个实验室之前毕业师兄的成果 当然，实际操作过程中还是有很多细节工作才可以让它真正可用的，如：先利用点云分割和欧氏距离去除背景的影响、选用特征比较稳定的物体（有时候 SIFT 也会变化）、利用贝叶斯方法加速匹配等。 而且，除了 SIFT 之外，后来又出了1大堆类似的特征点，如 SURF、ORB 等。 3. 无纹理的物体 好了，有问题的物体容易解决，那么生活中或者工业里还有很多物体是没有纹理的：我们最容易想到的就是：是否有1种特征点，可以描述物体形状，同时具有跟 SIFT 相似的不变性？ 不幸的是，据我了解，目前没有这种特征点。 所以，之前1大类方法还是采用基于模板匹配的办法，但是，对匹配的特征进行了专门选择（不只是边缘等简单特征）。 这里，我介绍1个我们实验室之前使用和重现过的算法 LineMod： Hinterstoisser, Stefan, et al. "Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011. 简单而言，这篇论文同时利用了彩色图像的图像梯度和深度图像的表面法向作为特征，与数据库中的模板进行匹配。 由于数据库中的模板是从1个物体的多个视角拍摄后生成的，所以这样匹配得到的物体位姿只能算是初步估计，并不精确。 但是，只要有了这个初步估计的物体位姿，我们就可以直接采用 ICP 算法（Iterative closest point）匹配物体模型与 3D 点云，从而得到物体在相机坐标系下的精确位姿。当然，这个算法在具体实施过程中还是有很多细节的：如何建立模板、颜色梯度的表示等。另外，这种方法无法应对物体被遮挡的情况。（当然，通过降低匹配阈值，可以应对部分遮挡，但是会造成误识别）。 针对部分遮挡的情况，我们实验室的张博士去年对 LineMod 进行了改进，但由于论文尚未发表，所以就先不过多涉及了。 4. 深度学习 由于深度学习在计算机视觉领域得到了非常好的效果，我们做机器人的自然也会尝试把 DL 用到机器人的物体识别中。 首先，对于物体识别，这个就可以照搬 DL 的研究成果了，各种 CNN 拿过来用就好了。有没有将深度学习融入机器人领域的尝试？有哪些难点？ - 知乎 这个回答中，我提到 2016 年的『亚马逊抓取大赛』中，很多队伍都采用了 DL 作为物体识别算法。 然而， 在这个比赛中，虽然很多人采用 DL 进行物体识别，但在物体位姿估计方面都还是使用比较简单、或者传统的算法。似乎并未广泛采用 DL。 如 @周博磊 所说，1般是采用 semantic segmentation network 在彩色图像上进行物体分割，之后，将分割出的部分点云与物体 3D 模型进行 ICP 匹配。 当然，直接用神经网络做位姿估计的工作也是有的，如这篇： Doumanoglou, Andreas, et al. "Recovering 6d object pose and predicting next-best-view in the crowd." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016. 它的方法大概是这样：对于1个物体，取很多小块 RGB-D 数据（只关心1个patch，用局部特征可以应对遮挡）；每小块有1个坐标（相对于物体坐标系）；然后，首先用1个自编码器对数据进行降维；之后，用将降维后的特征用于训练Hough Forest。 5. 与任务/运动规划结合 这部分也是比较有意思的研究内容，由于机器视觉的目的是给机器人操作物体提供信息，所以，并不限于相机中的物体识别与定位，往往需要跟机器人的其他模块相结合。我们让机器人从冰箱中拿1瓶『雪碧』，但是这个 『雪碧』 被『美年达』挡住了。 我们人类的做法是这样的：先把 『美年达』 移开，再去取 『雪碧』 。 所以，对于机器人来说，它需要先通过视觉确定雪碧在『美年达』后面，同时，还需要确定『美年达』这个东西是可以移开的，而不是冰箱门之类固定不可拿开的物体。 当然，将视觉跟机器人结合后，会引出其他很多好玩的新东西。由于不是我自己的研究方向，所以也就不再班门弄斧了。机器人家上有关于这个很详细的图文讲解，你可以看下，希望对你有用。

4、机器人行业最关键的核心技术有哪些

1、生机电1体化技术生机电1体化是近年来快速发展的前沿科学技术，该技术应用于机器人上，通过对神经信息的测量与处理与人机信息通道的建立，将神经生物信号传递给机器人，从而使机器人能够执行人的命令。正因为这种原理，假肢也能够“听懂”人的指示从而成为人身体的1部分。

2、安防机器人巡检技术智能巡检机器人携带红外热像仪和可见光摄像机等检测装置，在工作区域内进行巡视并将画面和数据传输至远端监控系统，并且对设备节点进行红外测温，及时发现设备发热等缺陷，同时也可以通过声音检测，判断变压器运行状况。对于设备运行中的事故隐患和故障先兆进行自动判定和报警，有效消除事故隐患。

3、大数据及分析技术数据越来越多，而人类的解读能力是固定的。计算机可以帮助人类找到自己的盲点，数据化让计算机和人类得以沟通和结合。基于大数据的分析模式最近在全球制造业大量出现，其优势在于能够优化产品质量、节约能源，提高设备服务。

4、机器人自主式技术机器人在不断地进化，甚至可以在更大的实用程序中使用，它们变得更加自主、灵活、合作。最终，它们将与人类并肩合作，并且人类也要向它们学习。这些机器人将花费更少，并且相比于制造业之前使用的机器人，它们的适用范围更广泛。

5、仿真模拟技术模拟将利用实时数据，在虚拟模型中反映真实世界，包括机器、产品、人等等，这使得运营商可以在虚拟建模中进行测试和优化。

6、物联网嵌入式技术随着物联网产业的发展，更多的设备甚至更多的未成品将使用标准技术连接，可以进行现场通信，提供实时响应。

7、云计算机器人云计算机器人将会彻底改变机器人发展的进程，极大地促进软件系统的完善。当今时代，更需要跨站点和跨企业的数据共享，与此同时，云技术的性能将提高，只在几毫秒内就能进行反应。

8、超限机器人技术在微纳米制造领域，机器人技术可以帮助人们把原来看不到、摸不着的，变成了能看到、能摸着的，还可以进行装配和生产。这个微纳米机器人可以把纳米环境中物质之间的作用力直接拓展，对微纳米尺度的物质和材料进行操作。

9、脑电波控制技术远程临场机器人在未来会成为人们生活中的不可或缺的1部分。用户需要佩戴1顶可以读取脑电波数据的帽子，然后通过想象来训练机器人的手脚做出相应的反应，换句话说就是通过意念来控制机器人的运动。它不仅可以通过软件来在识别各种运动控制命令，还能在行径过程中主动避开障碍物，灵活性很高，也更容易使用。

5、机器人行业最关键的核心技术有哪些

1、生机电1体化技术生机电1体化是近年来快速发展的前沿科学技术，该技术应用于机器人上，通过对神经信息的测量与处理与人机信息通道的建立，将神经生物信号传递给机器人，从而使机器人能够执行人的命令。正因为这种原理，假肢也能够“听懂”人的指示从而成为人身体的1部分。

2、安防机器人巡检技术智能巡检机器人携带红外热像仪和可见光摄像机等检测装置，在工作区域内进行巡视并将画面和数据传输至远端监控系统，并且对设备节点进行红外测温，及时发现设备发热等缺陷，同时也可以通过声音检测，判断变压器运行状况。对于设备运行中的事故隐患和故障先兆进行自动判定和报警，有效消除事故隐患。

3、大数据及分析技术数据越来越多，而人类的解读能力是固定的。计算机可以帮助人类找到自己的盲点，数据化让计算机和人类得以沟通和结合。基于大数据的分析模式最近在全球制造业大量出现，其优势在于能够优化产品质量、节约能源，提高设备服务。

4、机器人自主式技术机器人在不断地进化，甚至可以在更大的实用程序中使用，它们变得更加自主、灵活、合作。最终，它们将与人类并肩合作，并且人类也要向它们学习。这些机器人将花费更少，并且相比于制造业之前使用的机器人，它们的适用范围更广泛。

5、仿真模拟技术模拟将利用实时数据，在虚拟模型中反映真实世界，包括机器、产品、人等等，这使得运营商可以在虚拟建模中进行测试和优化。

6、物联网嵌入式技术随着物联网产业的发展，更多的设备甚至更多的未成品将使用标准技术连接，可以进行现场通信，提供实时响应。

7、云计算机器人云计算机器人将会彻底改变机器人发展的进程，极大地促进软件系统的完善。当今时代，更需要跨站点和跨企业的数据共享，与此同时，云技术的性能将提高，只在几毫秒内就能进行反应。

8、超限机器人技术在微纳米制造领域，机器人技术可以帮助人们把原来看不到、摸不着的，变成了能看到、能摸着的，还可以进行装配和生产。这个微纳米机器人可以把纳米环境中物质之间的作用力直接拓展，对微纳米尺度的物质和材料进行操作。

9、脑电波控制技术远程临场机器人在未来会成为人们生活中的不可或缺的1部分。用户需要佩戴1顶可以读取脑电波数据的帽子，然后通过想象来训练机器人的手脚做出相应的反应，换句话说就是通过意念来控制机器人的运动。它不仅可以通过软件来在识别各种运动控制命令，还能在行径过程中主动避开障碍物，灵活性很高，也更容易使用。

6、工业机器人感觉技术传感器有哪些

机器人家上了解到，工业机器人常见的6种技术传感器： 1.2维视觉传感器 2维视觉传感器主要就是1个摄像头，它可以完成物体运动的检测以及定位等功能，2维视觉传感器已经出现了很长时间，许多智能相机可以配合协调工业机器人的行动路线，根据接收到的信息对机器人的行为进行调整。 2.3维视觉传感器 最近3维视觉传感器逐渐兴起，3维视觉系统必须具备两个摄像机在不同角度进行拍摄，这样物体的3维模型可以被检测识别出来。相比于2维视觉系统，3维传感器可以更加直观的展现事物。 3.力扭矩传感器 力扭矩传感器是1种可以让机器人知道力的传感器，可以对机器人手臂上的力进行监控，根据数据分析，对机器人接下来行为作出指导。 4.碰撞检测传感器 工业机器人尤其是协作机器人最大的要求就是安全，要营造1个安全的工作环境，就必须让机器人识别什么事不安全。1个碰撞传感器的使用，可以让机器人理解自己碰到了什么东西，并且发送1个信号暂停或者停止机器人的运动。 5.安全传感器 与上面的碰撞检测传感器不同，使用安全传感器可以让工业机器人感觉到周围存在的物体，安全传感器的存在，避免机器人与其他物体发生碰撞。 6.其他传感器 除了这些还有其他的许多传感器，比如焊接缝隙追踪传感器，要想做好焊接工作，就需要配备1个这样的传感器，还有触觉传感器等等。传感器为工业机器人带来了各种感觉，这些感觉帮助机器人变得更加智能化，工作精确度更高。