2025-02-17 企业动态 0
作者：蒋宝尚
编辑：贾伟
传说中有一种电脑高手可以在一台电脑上按下Ctrl+C，在另一台电脑上按下Ctrl+V就能进行跨设备粘贴复制。虽然只是传说，但有无数的电脑极客为这个目标而努力。而现在利用机器学习+AR技术攻克了这个难题。
利用这个技术只用一部手机就能将书上的图片直接复制到电脑上，全程用不到10秒钟。手写框架图自然也不在话下~ 这个项目是一位自称艺术家的法国人创造，据在reddit提供的github地址，发现作者名为Cyril Diagne，此外其还是一家AI公司的联合创始人。
项目地址：https://github.com/cyrildiagne/ar-cutpaste
虽然目前仅能用于Photoshop，但作者相信未来可以处理更加不同类型的输出。从粘贴到复制，完成整个过程需要三个模块：移动APP、本地服务器、背景移除。
其中，移动APP使用了Expo这个通用的React应用架构和平台搭建，本地服务器使用了ScreenPoint超早摄像头在屏幕上所指向的位置，背景移除使用的技术是基于被Pattern Recognition 2020 收录的论文《U^2-Net: Going Deeper with Nested U-Structure for Salient Object Detection》。目前此论文尚找到下载版本，不过论文代码已经放出。
代码地址：
https://github.com/NathanUA/U-2-Net
部署步骤根据作者Github，整个部署可以分为四步：Photoshop配置、设置外部显著对象检测服务器、配置和运行本地服务、配置和运行移动APP。
Photoshop配置：1.进入“Preferences>Plug-ins”，启用“远程连接”，并设置稍后需要的密码。2.确保PS文档设置与server/src/ps.py中的设置匹配，否则会粘贴空白。3.确保文档有背景，如果背景空白SIFT可能无法进行正确的匹配。
设置外部显著对象检测服务器：1.需要使用 BASNet-HTTP作为外部HTTP服务部署BASNet模型；2.将需要部署的服务URL来配置本地服务器。3.如果在与本地服务相同的计算机上运行Basnet，请务必配置不同的端口。
配置并运行本地服务器的时候，按照上面的代码和说明。
配置和运行APP则需要按照上面的设置。
另外，作者也提到直接在APP中使用像DeepLap此类的技术可能会简单得多，但是作者还没有尝试。
该工具使用U2-Net (Qin et Al, Pattern Recognition 2020) 执行显著目标检测和背景移除，然后利用 OpenCV SIFT 找出手机在电脑屏幕上对准位置。一张手机照片加截图，就能得到精确 x, y 屏幕坐标系。这项工作由法国艺术家Cyril Diagne创建，他同时也是AI公司联合创始人，并且曾毕业于巴黎Les Gobelins学院，一所全球排名第一动画制作专业学校，同时还有国际知名的地形设计专业。他致力于数字与非数字融合，以创造独特互动体验。此前他还开发过一个脸涂鸦工具，以及一个Instagram个人主页添加3D效果Chrome扩展程序。在他的作品中，将诗意融入科技，是他最主要的一个主题之一。在GitHub发布的一些视频显示，该系统能够快速准确无误地从纸质媒介转移到电子设备，这对于那些常常不得不重复工作的人来说是一个巨大的进步。此前这样的功能一直是科幻电影里的梦想，现在却成为了现实，用起来竟然如此简单快捷，只需几秒钟即可完成，从而改变了我们对信息处理速度以及跨设备协作效率的一切理解。如果这项技术能够推广开来，它或许能够彻底改变我们的工作流程，使之更高效，更便捷，这对很多行业都具有重要意义。但正如所有新兴科技一样，也存在着潜在的问题，比如隐私保护以及数据安全等问题，这些建议值得进一步探讨以确保这一革命性创新不会带来新的风险或挑战。不过，对于任何希望提高工作效率或者寻求创新解决方案的人来说，这项突破性的研究都是值得关注的一次机会，无论是在学术界还是工业界，都可能产生深远影响，让我们期待它未来的发展！
