当前位置: > 华宇登录 > 正文 正文

华宇娱乐登录测速_“复制粘贴”,这是你们从未

文章来自微信民众号:量子位(ID:QbitAI),原题目:《手机扫一扫,现实物体隔空“复制粘贴”进电脑!北大校友的AI新研究,现在酿成AR酷炫应用》,作者:十三 、白交,头图泉源:Zach King


邪术变现实,酷炫又适用。


还记得两年前,Zach King(男巫)的爆红魔术吗?


不仅从纸直接蹦出一个手机,还直接扔进了电脑里形成虚拟的天猫页面。


现在,不用去羡慕男巫了,人人都可以把身边的器械“扔到”电脑里,而且一部手机就能搞定。


这就是来自34岁法国设计师Cyril Diagne的最新AR黑科技——AR Cut & Paste,将身边的事物“一键”复制粘贴到电脑上,整个完成时间不到10s。


比Ctrl C和Ctrl V还要爽直!


好比,拿手机扫一扫书上的模子图片,再把手机瞄准电脑屏幕,模子瞬间就复制到了电脑。



书上的人物也不在话下。



就有网友说道:连这个黑发小哥的头发都能识别出来,太神奇了。



固然,手写的条记,也可以复制粘贴到电脑中。



他在Github上分享了他的AR新手艺,已经狂揽7K颗小星星;而且在Reddit上分享不到14小时,就获得了近4K的点赞量。



纵然Cyril示意现在仅仅能在Photoshop中实现,但未来——一定会有更多差别的输出方式。


只是现在,这项AR黑科技——邪术一样的新手艺,只要你想,也能复刻。


简朴四步,开启“复制粘贴”新世界


小哥非常热心地在GitHub中,形貌了AR Cut & Paste的“上手指南”。


首先要强调的是,这是一个研究原型,而不是针对消费者或者Photoshop用户的工具。


AR Cut & Paste原型包罗3个自力的模块。


移动应用 (The mobile app)


  • 可以查看GitHub中/app文件夹,领会若何将App部署到手机中。


内陆服务器 (The local server)


  • 手机APP与Photoshop的接口。


  • 使用屏幕点(screenpoint)找到摄像机在屏幕上指向的位置。


  • 可查看/server文件夹,领会关于内陆服务器的设置说明。


目的检测 / 靠山移除服务 (The object detection / background removal service)


  • 现在,显著性检测和靠山移除,是委托给一个外部服务来完成。


  • 若是直接在移动应用中使用类似DeepLap这样的手艺会简朴许多。但这还没有在这个repo中实现。


第一步:设置Photoshop


在Photoshop软件首选项 (Preferences)中,找到增效工具 (Plug-ins)



点击启用远程毗邻 (Remote Connection),并设置密码。



这里需要确保一点,PS文档中的设置要与server/src/ps.py中的设置一致,否则只会粘贴一个空层。


此外,文档需要一些靠山,若是只是白色靠山,SIFT可能没有足够能力来做一个准确的匹配。


第二步:设置外部显著性目的检测服务


如上所述,现在,必须使用BASNet-HTTP封装器(需要CUDA GPU)作为外部HTTP服务,部署BASNet模子。


将需要部署的服务URL来设置内陆服务器。若是在内陆服务的统一台盘算机上运行BASNet,请确保设置差别的端口。


第三步:设置并运行内陆服务器


这一步的详细文档,在GitHub项目中的/server文件夹中,包罗“安装”和“运行”两个步骤。


安装代码如下:


virtualenv -p python3.7 venvsource venv/bin/activatepip install -r requirements.txt


运行代码如下:


python src/main.py    —basnet_service_ip=”http://X.X.X.X“    —basnet_service_host=”basnet-http.default.example.com”    —photoshop_password 123456


其中,BASNET_SERVICE_HOST是可选的,只有在使用Knative / Cloud Run等入口网关在平台上部署服务时才需要。


以及,用Photoshop远程毗邻密码替换123456。


第四步:设置并运行移动App


安装代码如下:


npm install


然后更新component/Server.tsx中的IP地址,使其指向运行内陆服务器的盘算机IP:


3: const URL = “http://192.168.1.29:8080“;


运行代码如下:


npm start


OK!开启“复制粘贴”新世界,就是这么简朴!


但若是你希望“知其然更知其以是然”,别眨眼,接着往下看。


若何做到隔空“复制粘贴”?


这个神奇的AR黑科技背后的主要手艺,刚开始接纳的是一个叫做BASNet的显著目的检测方式。



这篇研究入围了CVPR 2019,而且论文一作照样位华人小哥哥——秦雪彬,已经于今年2月在加拿大阿尔伯塔大学拿到了博士学位,硕士就读于北京大学。



BASNet的焦点框架如下图所示,主要由2个模块组成:



第一个模块是展望模块,这是一个类似于U-Net的麋集监视的Encoder-Decoder网络,主要功能是从输入图像中学习展望saliency map。


第二个模块是多尺度残差细化模块(RRM)主要功能是通过学习残差来细化展望模块获得的Saliency map,与groun-truth之间的残差,从而细化出展望模块的Saliency map。


而最近,这位设计师小哥哥在此基础上,针对靠山移除义务,接纳了更新的方式。


同样是来自秦雪彬团队,被Pattern Recognition 2020吸收,这个方式叫做U2-Net,其框架如下图所示:



还与其它20个SOTA方式划分做了定量和定性对照实验,在效果上都取得了不错的效果。




在下面的定性实验中,也可以对照显著的看到,该方式所提取出来的目的,加倍细粒度和正确。



那么,北大校友的新方式,又是若何被法国设计师Cyril Diagne搞成黑科技应用的?


兼职写代码的法国设计师


原因无他,Cyril Diagne就是这样一个懂程序、搞设计,关注前沿研究进展的艺术家呀。


若是你关注他的社交动态,也都是天马行空的。


是那种从“诗词歌赋”到“人生哲学”,从“服装设计”到AR黑科技的妙人。



Cyril Diagne,现居法国巴黎,除了设计师,程序员,照样洛桑艺术州立大学(ECAL)媒体于交互设计系的教授及主管。


2008年从巴黎Les Gobelins学校结业以后,跟5位同砚创立了艺术机构,致力于实现科技与艺术之间的创意交互,也奠基了他以后的艺术生涯,注定与科技密不可分。


2015年起,Cyril加入了谷歌文化驻巴黎的实验室。


与此同时,他还不停的在Gitbub上分享他的新功效。此前,他就曾在Github上公布了一些适用的小工具。


好比,一个可在Instagram页面的照片上添加3D效果的chrome扩展程序。



在Web浏览器上直接用AR涂鸦你的脸。



输入图像转3D照片。



总之,想法多、履历厚实,还懂手艺和审美,以是现在搞出AR复制这样的巧妙应用,打开一扇新大门,也让一众网友服服气气。


也算是把北大校友小哥的牛X研究,推到了更牛X的产品应用入口。


虽然还只是牛刀小试,但远景却妥妥无限可能。


你以为这项黑科技,还能怎么用?怎么玩?


上手传送门:

https://github.com/cyrildiagne/ar-cutpaste/tree/clipboard

https://github.com/NathanUA/U-2-Net

http://openaccess.thecvf.com/content_CVPR_2019/papers/Qin_BASNet_Boundary-Aware_Salient_Object_Detection_CVPR_2019_paper.pdf        


文章来自微信民众号:量子位(ID:QbitAI),作者:十三 、白交

版权保护: 本文由 原创,转载请保留链接: http://www.allart.com.cn//html/2020/0511/1815.html

相关文章