2025-02-17 企业动态 0
最新电影资讯：艺术家与技术的奇妙融合——一款AR工具让抠图成为跨设备操作
在一个充满想象力的世界里，有一种传说，关于一群电脑高手，他们能够在一台电脑上按下Ctrl+C，在另一台电脑上按下Ctrl+V，就能实现跨设备的粘贴复制。虽然这听起来像是童话，但现实中，有些人正致力于将这个梦想变为现实。
最近，一位自称艺术家的法国人Cyril Diagne，成功地使用机器学习和AR技术克服了这一难题。他创造了一款可以通过手机完成书页图片复制到电脑上的工具，这整个过程只需要不到十秒钟。
Diagne是一个多面手，他不仅是艺术家，也是AI公司的联合创始人。这项作品目前只能用于Photoshop，但他相信未来它能够处理更多类型的输出。这个项目包括三个关键模块：移动应用程序、服务器和背景移除。
移动应用程序使用Expo来构建，而服务器则依赖ScreenPoint超早摄像头来捕捉屏幕上的位置。背景移除则采用了基于被Pattern Recognition 2020收录论文《U^2-Net: Going Deeper with Nested U-Structure for Salient Object Detection》的一种技术。这篇论文尚未公开下载，但是其代码已经发布。
要部署此系统，可以分为四步：配置Photoshop、设置外部显著对象检测服务器、配置本地服务以及运行移动应用程序。在Photoshop中，要启用远程连接，并设置密码；确保文档设置与server/src/ps.py中的匹配；如果文档有背景，SIFT可能无法进行正确匹配。此外，还需要注意端口配置，以避免冲突。
Diagne还提到直接在APP中使用DeepLap等技术可能会更加简单，但他还没有尝试过。该工具利用U2-Net执行显著目标检测和背景移除，然后利用OpenCV SIFT找到手机屏幕对准位置，只需一张手机照片和截图，就能得到精确的x, y坐标系。
U^2-Net架构由论文作者介绍，它在模型尺寸及结构测度方面都表现出色，与当前20余种SOTA方法进行对比实验后获得了良好的成绩。U^2-Net更新了BASNet (Qin et al, CVPR 2019)工作，对损失函数设计创新，使其不再只关注区域精度，而是考虑整体效果。此外，定位技术采用的是SIFT算法，由加拿大英属哥伦比亚大学教授David Lowe于1999年发表于会议ICCV，其原论文Object recognition from local scale-invariant features由David Lowe独自撰写，2004年发表于期刊IJCV完善版Distinctive image features from scale-invariant keypoints，该算法流程包括构建尺度空间、寻找极值点、筛选极值点、计算特征点主方向以及变换特征点维度。
Diagne曾就读于巴黎Les Gobelins学院，并毕业后共同创立LAB212公司，他也是谷歌文化学院实验室驻场艺术家，并且负责瑞士洛桑媒体交互设计专业。他专长将数字技术与非传统媒介结合以创造诗意互动体验。他也开发了一款人脸涂鸦工具，以及可添加3D效果至Instagram个人主页图像的chrome扩展程序，将数字科技与艺术无缝融合，让用户可以享受到前所未有的视觉体验。
