化妆品最新资讯抠图专家或失业CV技术与AR相结合实现隔空抠图复制粘贴新时代美妆创意的双重奏鸣

化妆品最新资讯：抠图专家或面临失业危机，CV技术与AR相结合实现跨设备隔空抠图复制粘贴，新时代美妆创意的双重奏鸣

作者：蒋宝尚

编辑：贾伟

传说中有一种电脑高手可以在一台电脑上按下Ctrl+C，在另一台电脑上按下Ctrl+V就能进行跨设备粘贴复制。虽然只是传说，但有无数的电脑极客为这个目标而努力。而现在利用机器学习+AR技术攻克了这个难题。

利用这个技术只用一部手机就能将书上的图片直接复制到电脑上，全程用不到10秒钟。手写框架图自然也不在话下~

这个项目是一位自称艺术家的法国人创造，据在reddit提供的github地址，发现作者名为Cyril Diagne，此外其还是一家AI公司的联合创始人。

项目地址：https://github.com/cyrildiagne/ar-cutpaste

虽然目前仅能用于Photoshop，但作者相信未来可以处理更加不同类型的输出。从粘贴到复制，完成整个过程需要三个模块：移动APP、本地服务器、背景移除。

其中，移动APP使用了Expo这个通用的React应用架构和平台搭建，本地服务器使用了ScreenPoint超早摄像头在屏幕上所指向的位置，背景移除使用的是基于被Pattern Recognition 2020 收录的论文《U^2-Net: Going Deeper with Nested U-Structure for Salient Object Detection》。目前此论文尚未找到下载版本，不过论文代码已经放出。

代码地址：

https://github.com/NathanUA/U-2-Net

部署步骤根据作者Github，可以分为四步：

进入“Preferences>Plug-ins”，启用“远程连接”，并设置稍后需要的密码。

确保PS文档设置与server/src/ps.py中的设置匹配，以避免粘贴空白。

确保文档有背景，因为如果背景为空白SIFT可能无法进行正确匹配。

配置并运行本地服务器和移动APP按照说明操作。

另外，该工具还提到了直接在APP中使用像DeepLap这样的技术可能会简单得多，但是作者还没有尝试。

该工具采用U2-Net (Qin et Al, Pattern Recognition 2020) 执行显著目标检测和背景移除，然后利用 OpenCV SIFT 找出手机对准屏幕位置，只需一张手机照片和截图，就可以得到准确x, y坐标系值。

U^2-Net结构

据论文介绍，与当前20余种SOTA方法进行对比实验后，无论是在模型尺寸还是结构测度等指标都获得了比较不错成绩。

U^2-Net工作是对其BASNet (Qin et al, CVPR 2019)工作更新版，这篇暂时未放出，不过根据BASNet，我们知道在边界显著性检测方面，对损失函数设计进行创新，使其不再只关注区域精度，而是全面考虑所有因素。

定位技术则是SIFT算法，一种尺度不变特征转换算法，不随图像尺度旋转变化而变化，同时具有较强适应性光照变化。在2004年发表于期刊IJCV完善版 Distinctive image features from scale-invariant keypoints 中，由加拿大英属哥伦比亚大学教授David Lowe 发表，并且OpenCV里也有实现可供免费试用。