首页 科技正文

Google透过人工智慧教电脑如何分辨透明物体

如何正确辨视透明物体一直是电脑视觉领域的一大难题,虽然自驾车或工业自动化机器人大多搭载先进且复杂的影像辨识系统,但往往败在透明物体上。为了解决这项挑战,来自哥伦比亚大学、Synthesis Ai与Google的研发团队共同推出ClearGrasp技术,透过人工智慧的方式强化辨识效果。

透明物体常被辨识成杂讯

目前电脑视觉常使用RGB-D相机(可以记录景深资讯的相机,如Kinect)、光达(Lidar)等光学距离感应器建立准确的3D环境模型,然而使用光学方式侦测的缺点,就是很容易受到玻璃容器等透明物体干扰。

其中主要的原因,在于这类感应器在运作过成中,会假设所有的物体表面均为完全漫反射(Lambertian Reflectance,指表面能将光线均匀反射至所有方向,从而在所有视角下产生均匀的表面亮度),然而透明物体的表面除了有反射光之外,还会有折射光,所以违背了这个假设,造成无法辨识或是被辨识为杂讯等情况。

根据ClearGrasp的论文(PDF)指出,ClearGrasp可以在深度学习的协助下,使用深度卷积网络判断物体表面的法线,以及透明物体的表面遮罩、遮挡边界(Occlusion Boundary,即景深的不连续性),以精确推算单张RGB-D图像中的景深资讯

使用Intel RealSense D415景深摄影机拍摄透明物体的效果并不理想。(图片来源:Google,下同)

以传统方式建立的3D模型中,许多透明物体无法正常侦测并显示出来。

ClearGrasp(右下)能大幅提升辨识透明物体的准确度。

使用模拟图像训练

ClearGrasp运作过程总计使用3个神经网路,第1个是用于标记物体表面的法线,第2个则用于标记遮挡边界,最后的则用于标记透明物体,以利后续透过遮罩过虑属于透明物体的所有像素,并在最后补上正确的景深数据。

由于目前没有现成的透明物体图片与景深资料库,因此在训练过程中,开发团队使用3D绘图的方式产生了超过50,000张的RGB-D模拟图像,这样一来不但可以快速建立资料库,还能够使用逼真的CG图像搭配准确的景深资料训练系统,并依需要改变背景和照明条件,增加训练资料库的丰富性。

虚拟实境技术让妈妈和和去世的女儿一起过生日

人死不能复生。但如果已经离去的人重新站在你的眼前,声音依旧,相貌依旧,并笑着向你伸出双手时,你是否能够回以拥抱呢? 智星(Ji-sung音译)是一个拥有三个孩子的韩国母亲。 儿子今年十五岁了,进入青春期后,和两个妹妹的相处开始让他感到有些不自在。但他并没有因此懈怠自己身为哥哥的职责,只五六岁的小妹正是贪睡的年纪,而他则会毫不留情地一抱枕把她砸起床。 年纪稍小一些的大女儿只比哥哥少两岁,却要更加争强好胜。不仅是和小妹抢手机吵闹毫不含糊,即便是和妈妈在一起,也总想要分出个高低。 照顾孩子这么多年,智星磨练出一身不差的厨艺。看着他们在餐桌前端著碗嬉笑打闹,她每次想要出声教训

为了验证训练成果,研发团队准备了286组真实照片,每组由2张照片构成,其中1张包含透明物品,而另1张则将透明物品替换为外型一模一样的非透明物品,藉以分析2种情况下的辨识情况是否相同。

值得注意的是,虽然这种训练能准确辨识真实照片中的透明物体,但对于其他表面(如墙壁或一般物品)的表面辨识确不太理想,因此开发团队还补充使用Matterport3D与ScanNet资料库训练系统一般物品,以强化整体表现。

在验证实验部分,开发团对使用UR5机械手臂测试抓取透明物体,使用平行爪抓取物体的成功率可以从12%提升到74%,如果使用吸盘吸取物体的话,成功率则从64%提高升到86%,证明ClearGrasp的准确度相当理想。

ClearGrasp总共使用3个神经网路分析输入的影像。

研发团队使用大量电脑绘图的模拟图像训练深度学习系统。

并使用包含透明、非透明对照物品的真实照片验证。

此外研发团队还使用Matterport3D与ScanNet资料库训练系统辨识一般物品,强化整体准确度。

▲ClearGrasp的成果展示。影片最后可以看到ClearGrasp(右上)的辨识情况与真实条件(左上)相当接近。

ClearGrasp目前已经以开源型式释出,有兴趣的读者可以参考专案网页或GitHub取得更多资讯

版权声明

本文仅代表作者观点,
不代表本站环球UG的立场。
本文系作者授权发表,未经许可,不得转载。

评论

精彩评论
  • 2021-11-17 00:00:51

    这些新建立的数字资产生意所都是在当地羁系的批准前提下建立的,因此它们能够服务辖区内的各种类型的客户。鉴于市场中对比特币的热情,以是这些生意所的比特币生意营业一定有异常不错的生意量。由于机构客户和高净值客户在此前无法合规和便捷地在其它的加密数字钱币生意平台生意比特币,因此这些新建立的数字资产生意所就能够收取合理的佣金。看一看美国市场中灰度信托资金的受欢迎水平以及摩根斯坦利通过持有MicroStrategy股票来间接持有比特币的事实,就可以看出市场中大体量资金对比特币的需求水平。因此,这些新建立的数字资产生意所在建立初期就可以马上获得基于比特币生意的佣金收入。这么少人,不科学啊