AR黑科技:随手拍张照片,就能把现实“抠”进你的电脑里

  • 5

虚拟换衣服的软件看来是快来了。

前两天,网友Cyril Diagne发表了一个挺好玩的视频:他用手机对着物体拍照片,就能直接自动去掉背景,留下他想要的物体。再把手机对准电脑屏幕,手机里抠好的图像就会自动贴进电脑里,好像把现实拷贝进屏幕一样。

我刚看见这个视频的时候,还以为这是一个后期剪辑特效的演示。

让我没想到的是,这居然是一个真的可以运行的AR程序。作者Cyril还很大方地把实现这个功能的代码公开了,只要你在手机和电脑上安装好对应的客户端,就可以自己体验一把“复制粘贴现实”的感觉。

为了实现这个充满科幻感的效果,这个程序分成了两个部分。第一部分是拍照并且把照片主体的背景抠掉。抠图在过去是一个特别繁琐复杂的工作,没有人工参与几乎是不可能完成的。不过这两年,深度学习AI的进步简化了这个过程。比如新版本的Photoshop现在有个叫做“选择主体”的功能,就是利用AI识别进行抠图,效果相当出色。

现在的AI抠图功能已经非常成熟了,识别准确度很高,只需要很少的后续调整现在的AI抠图功能已经非常成熟了,识别准确度很高,只需要很少的后续调整

Cyril的“拷贝现实”软件也离不开AI的帮助。根据Cyril的说法,他使用了一种叫做BASnet的新算法。这种算法从模拟人眼的视觉习惯出发,训练计算机识别出图像上的主体物体,并且生成一个可以将主体抠出来的蒙版。

通过使用一个预测模组和一个优化模组,BASnet算法生成的蒙版边缘更加清晰,也有更多细节。

根据论文的说法,BASnet算法生成的抠图蒙板(左起第三行)比其他算法有更少的噪音和精确的细节根据论文的说法,BASnet算法生成的抠图蒙板(左起第三行)比其他算法有更少的噪音和精确的细节

Cyril说,这个算法是他的“拷贝现实”软件能够精确把物体的图像抠出来的关键。从视频展示的效果来看,确实非常出彩。

不过把物品抠出来只是第一步,接下来还要把抠出来的物品“粘”到电脑屏幕上。这部分的难点在于软件需要知道图像要“粘”在哪里。为此,Cyril开发了另一个程序,可以通过分析电脑屏幕上各个定位元素的位置,来确定手机屏幕里的物体在电脑屏幕上的坐标。

再之后,通过无线网络将手机上的物体照片传送给电脑,这个步骤就比较简单成熟了。

当然,视频中“拷贝”的物体背景都是白墙,降低了AI识别物体的难度,所以实际使用起来效果未必有展示的那么好。另外整个“拷贝”的过程需要的时间比较长,还要借助第三方云计算,真正干活可能还是直接拍图片同步进Photoshop抠图会快得多。

中间等待的时间说实话有点长中间等待的时间说实话有点长

Cyril的这套软件,最大的价值还是展示了一种新的交互方式的可能性。软件本身没有采用太多超前的技术,但是过程中间的每个步骤都非常精确稳定,给人的感受就非常科幻了。类似“虚拟穿衣”、“虚拟口红试色”之类的现实增强应用过去一直都有,但是大部分都停留在噱头阶段。从Cyril的“拷贝现实”软件开始,或许我们离科幻小说和电影里的画面,又更近了一步。


展开全文

4 条评论

发布
取消
返回顶部
App内打开