最新资讯抠图专家或失业CV技术助力AR实现空中剪贴板

最新资讯：抠图专家或面临失业，CV技术助力AR实现空中剪贴板

作者：蒋宝尚

编辑：贾伟

传说中，有一种高超的电脑技艺能在一台电脑上敲下Ctrl+C，在另一台电脑上敲下Ctrl+V，就能实现跨设备的粘贴复制。尽管这只是一种传说，但无数的计算机精英都梦想着能够达成这一目标。而现在，一项新技术利用机器学习和增强现实（AR）技术，似乎已经克服了这个难题。

据称，这项技术仅需一部手机就能将书上的图片直接复制到电脑上，全过程不到十秒钟。手写框架图自然也不是问题。

这项项目是由一个自称艺术家的法国人开发的，他在Reddit提供了项目地址，并且他还是AI公司的一位联合创始人。这名艺术家名为Cyril Diagne。

项目地址：https://github.com/cyrildiagne/ar-cutpaste

虽然目前只能用于Photoshop，但开发者相信未来可以处理更加不同的输出类型。整个过程需要三个模块：移动应用、本地服务器和背景移除。在这些模块中，移动应用使用Expo构建，而本地服务器使用ScreenPoint超早摄像头捕捉屏幕指向位置。背景移除则依赖于Pattern Recognition 2020年收录论文《U^2-Net: Going Deeper with Nested U-Structure for Salient Object Detection》中的技术。此论文尚未公开下载版本，但代码已被放出。

代码地址：

https://github.com/NathanUA/U-2-Net

部署步骤分为四个部分：配置Photoshop、设置外部显著对象检测服务器、配置并运行本地服务以及配置并运行移动APP。在每一步骤中，都有详细说明和要求，以确保顺利安装和运行。

此外，该工具还使用U2-Net执行显著目标检测和背景移除，然后利用OpenCV SIFT找到手机与屏幕对准的位置，只需一张手机照片即可得到精确坐标。这项工作基于BASNet (Qin et al, CVPR 2019)，其对损失函数进行了创新，使得它不再仅关注区域精度，而是全面考虑边界显著性检测。

SIFT算法，由加拿大英属哥伦比亚大学教授David Lowe于1999年发表，是一种尺度不变特征转换，它不会随着图像大小变化而变化，同时具有较好的光照适应性。这使得该算法成为广泛采用的标准之一，也是OpenCV的一个重要组件，可以免费试用，因为其专利已经到期。

该工具通过OpenCV SIFT找到手机与屏幕对准位置，其主要步骤包括构建尺度空间、寻找极值点、筛选极值点、计算特征点主方向以及变换维度。

该工具的发明者Cyril Diagne是一位多才多艺的人物，他曾毕业于巴黎Les Gobelins学院，并且创立了一家自己的公司LAB212。他还是谷歌文化学院实验室驻场艺术家，以及瑞士洛桑媒体交互设计负责人。他以融合数字与非数字科技来创造诗意互动体验而闻名，并曾研发过一种面涂鸦工具，以及一个Instagram个人主页图像添加3D效果的Chrome扩展程序。