Google 透过人工智慧教电脑如何分辨透明物体

AI与大数据 1小时前 0

▼

如何正确辨识透明物体一直是电脑视觉领域的一大难题，虽然自驾车或工业自动化机器人大多搭载先进且复杂的影像辨识系统，但往往败在透明物体。为了解决这项挑战，哥伦比亚大学、Synthesis Ai与 Google 的研发团队共同推出 ClearGrasp 技术，透过人工智慧的方式强化辨识效果。

目前电脑视觉常使用 RGB-D 相机（可记录景深资讯的相机，如 Kinect）、光达（Lidar）等光学距离感应器建立准确的 3D 环境模型，然而使用光学方式侦测的缺点，就是很容易受玻璃容器等透明物体干扰。

主要的原因，在于这类感测器运作过程，会假设所有物体表面均为完全漫反射（Lambertian Reflectance，指表面能将光线均匀反射至所有方向，进而在所有视角下产生均匀的表面亮度），然而透明物体表面除了有反射光，还会有折射光，所以违背了这个假设，造成无法辨识或辨识为杂讯等情况。

根据 ClearGrasp 的论文指出，ClearGrasp 可在深度学习的协助下，使用深度卷积网络判断物体表面的法线，以及透明物体的表面遮罩、遮挡边界（Occlusion Boundary，即景深的不连续性），以精确推算单张 RGB-D 图像的景深资讯。

▲使用 Intel RealSense D415 景深摄影机拍摄透明物体的效果并不理想。（Source：Google，下同）

▲以传统方式建立的 3D 模型，许多透明物体无法正常侦测并显示。

▲ClearGrasp（右下）能大幅提升辨识透明物体的准确度。

ClearGrasp 运作过程总计使用 3 个神经网络，第 1 个用于标记物体表面的法线，第 2 个则用于标记遮挡边界，最后的用于标记透明物体，以利后续透过遮罩过虑属于透明物体的所有像素，并在最后补上正确的景深数据。

由于目前没有现成的透明物体图片与景深资料库，因此在训练过程，开发团队使用 3D 绘图产生超过 50,000 张 RGB-D 模拟图像，这样一来不但可快速建立资料库，还能使用逼真的 CG 图像搭配准确的景深资料训练系统，并依需要改变背景和照明条件，增加训练资料库的丰富性。

为了验证训练成果，研发团队准备 286 组真实照片，每组由 2 张照片构成，其中一张包含透明物品，而另一张则将透明物品替换为外型一模一样的非透明物品，藉以分析 2 种情况下的辨识情况是否相同。

值得注意的是，虽然这种训练能准确辨识真实照片的透明物体，但对其他表面（如墙壁或一般物品）的表面辨识不太理想，因此开发团队还补充使用 Matterport3D 与 ScanNet 资料库训练系统一般物品，以强化整体表现。

验证实验部分，开发团队使用 UR5 机器手臂测试抓取透明物体，使用平行爪抓取物体的成功率可从 12% 提升到 74%，如果使用吸盘吸取物体，成功率从 64% 提高升到 86%，证明 ClearGrasp 的准确度相当理想。

▲ClearGrasp 总共使用 3 个神经网络分析输入的影像。

▲研发团队使用大量电脑绘图的模拟图像训练深度学习系统。

▲并使用包含透明、非透明对照物品的真实照片验证。

▲此外，研发团队还使用 Matterport3D 与 ScanNet 资料库训练系统辨识一般物品，强化整体准确度。

▲ ClearGrasp 的成果展示。影片最后可以看到 ClearGrasp（右上）的辨识情况与真实条件（左上）相当接近。

ClearGrasp 目前以开源形式释出，有兴趣的读者可参考专案网页或 GitHub 取得更多资讯。

（本文由 T客邦授权转载；首图来源：pixabay）

▼

特别声明本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。