当前位置: 首页 - 企业动态 - 最新资讯抠图专家或失业CV技术助力AR实现空中剪贴板

最新资讯抠图专家或失业CV技术助力AR实现空中剪贴板

2025-02-17 企业动态 0

最新资讯:抠图专家或面临失业,CV技术助力AR实现空中剪贴板

作者:蒋宝尚

编辑:贾伟

传说中,有一种高超的电脑技艺能在一台电脑上敲下Ctrl+C,在另一台电脑上敲下Ctrl+V,就能实现跨设备的粘贴复制。尽管这只是一种传说,但无数的计算机精英都梦想着能够达成这一目标。而现在,一项新技术利用机器学习和增强现实(AR)技术,似乎已经克服了这个难题。

据称,这项技术仅需一部手机就能将书上的图片直接复制到电脑上,全过程不到十秒钟。手写框架图自然也不是问题。

这项项目是由一个自称艺术家的法国人开发的,他在Reddit提供了项目地址,并且他还是AI公司的一位联合创始人。这名艺术家名为Cyril Diagne。

项目地址:https://github.com/cyrildiagne/ar-cutpaste

虽然目前只能用于Photoshop,但开发者相信未来可以处理更加不同的输出类型。整个过程需要三个模块:移动应用、本地服务器和背景移除。在这些模块中,移动应用使用Expo构建,而本地服务器使用ScreenPoint超早摄像头捕捉屏幕指向位置。背景移除则依赖于Pattern Recognition 2020年收录论文《U^2-Net: Going Deeper with Nested U-Structure for Salient Object Detection》中的技术。此论文尚未公开下载版本,但代码已被放出。

代码地址:

https://github.com/NathanUA/U-2-Net

部署步骤分为四个部分:配置Photoshop、设置外部显著对象检测服务器、配置并运行本地服务以及配置并运行移动APP。在每一步骤中,都有详细说明和要求,以确保顺利安装和运行。

此外,该工具还使用U2-Net执行显著目标检测和背景移除,然后利用OpenCV SIFT找到手机与屏幕对准的位置,只需一张手机照片即可得到精确坐标。这项工作基于BASNet (Qin et al, CVPR 2019),其对损失函数进行了创新,使得它不再仅关注区域精度,而是全面考虑边界显著性检测。

SIFT算法,由加拿大英属哥伦比亚大学教授David Lowe于1999年发表,是一种尺度不变特征转换,它不会随着图像大小变化而变化,同时具有较好的光照适应性。这使得该算法成为广泛采用的标准之一,也是OpenCV的一个重要组件,可以免费试用,因为其专利已经到期。

该工具通过OpenCV SIFT找到手机与屏幕对准位置,其主要步骤包括构建尺度空间、寻找极值点、筛选极值点、计算特征点主方向以及变换维度。

该工具的发明者Cyril Diagne是一位多才多艺的人物,他曾毕业于巴黎Les Gobelins学院,并且创立了一家自己的公司LAB212。他还是谷歌文化学院实验室驻场艺术家,以及瑞士洛桑媒体交互设计负责人。他以融合数字与非数字科技来创造诗意互动体验而闻名,并曾研发过一种面涂鸦工具,以及一个Instagram个人主页图像添加3D效果的Chrome扩展程序。

标签: 智能化企业动态企业动态