2025-02-17 企业动态 0
作者 蒋宝尚
编辑 贾伟
传说中有一种电脑高手可以在一台电脑上按下Ctrl+C，在另一台电脑上按下Ctrl+V就能进行跨设备粘贴复制。
虽然只是传说，但有无数的电脑极客为这个目标而努力。而现在利用机器学习+AR技术攻克了这个难题。
利用这个技术只用一部手机就能将书上的图片直接复制到电脑上，全程用不到10秒钟。
手写框架图自然也不在话下~
这个项目是一位自称艺术家的法国人创造，据在reddit提供的github地址，发现作者名为Cyril Diagne，此外其还是一家AI公司的联合创始人。
项目地址：https://github.com/cyrildiagne/ar-cutpaste
虽然目前仅能用于Photoshop，但作者相信未来可以处理更加不同类型的输出。从粘贴到复制，完成整个过程需要三个模块：移动APP、本地服务器、背景移除。
其中，移动APP使用了Expo这个通用的React应用架构和平台搭建，本地服务器使用了ScreenPoint超早摄像头在屏幕上所指向的位置，背景移除使用的是基于被Pattern Recognition 2020 收录的论文《U^2-Net: Going Deeper with Nested U-Structure for Salient Object Detection》。目前此论文尚未找到下载版本，不过论文代码已经放出。
代码地址：
https://github.com/NathanUA/U-2-Net 部署步骤根据作者Github，整个部署可以分为四步：Photoshop配置、设置外部显著对象检测服务器、配置和运行本地服务、配置和运行移动APP。
Photoshop配置：1.进入“Preferences>Plug-ins”，启用“远程连接”，并设置稍后需要的密码。2.确保PS文档设置与server/src/ps.py中的设置匹配，不然会出现空白页面。3.确保文档有背景，如果背景为空白SIFT可能无法进行正确匹配。
设立外部显著对象检测服务器时需遵循以下步骤：
需要使用BASNet-HTTP作为外部HTTP服务来部署BASNet模型；2. 将需要部署到的服务URL来配置本地服务器；3. 如果你正在同一计算机上同时运行Basnet，请务必选择不同的端口。
当执行本地服务时，请按照以上说明操作。
至于移动应用，其安装方式也非常简单，只需按照提示一步一步走即可。
此工具采用U2-Net (Qin et Al, Pattern Recognition 2020) 执行显著目标检测以及背景移除，并通过OpenCV SIFT确定手机对准屏幕位置。这一切都只需手机照片和截屏便可实现精确x, y坐标系定位。
关于U^2-Net结构，它是对BASNet(Qin et al, CVPR 2019)的一次更新。在对比实验中，无论是在模型尺寸还是结构测度等方面，都取得了优异成绩。此前文章未公开发布，不过我们知道BASNet设计创新损失函数，使其不再仅关注区域精度，而是多方面考虑，从而提升性能。
最后，这项工作涉及两部分关键技术——检测与定位。在检测部分，我们采用基于被Pattern Recognition 2020收录论文《U^2-Net: Going Deeper with Nested U-Structure for Salient Object Detection》的方法。而对于定位，则依赖于SIFT算法，即尺度不变特征转换。一种能够抵抗光照变化且适应不同尺度旋转改变但保持稳定的特征提取方法，由加拿大英属哥伦比亚大学教授David Lowe于1999年发表于ICCV会议，并且之后在2004年完善版发表于IJCV期刊。他也是唯一共同作者之一。由于专利已过期，可以免费试用OpenCV里面的SIFT算法流程通常包括构建尺度空间寻找极值点筛选极值点计算主方向变换维度以获取最终结果。
