2025-02-17 企业动态 0
互联网最新资讯：抠图专家将迎来新篇章？CV技术与AR巧妙结合，实现空中剪切复制的奇迹
作者 蒋宝尚
编辑 贾伟
在传说中，一位电脑高手能跨设备使用Ctrl+C和Ctrl+V进行粘贴复制，这一目标现在通过机器学习和AR技术得以实现。
借助手机，只需几秒钟便可以将书上的图片直接复制到电脑上。即使是手写框架图，也不再是一个难题。
这一项目由法国自称艺术家的Cyril Diagne创造，他同时也是AI公司的联合创始人。项目地址为https://github.com/cyrildiagne/ar-cutpaste。
虽然目前仅支持Photoshop，但未来有望处理更多类型的输出。这项技术需要三个模块：移动APP、本地服务器、背景移除。
移动APP采用Expo搭建，而本地服务器利用ScreenPoint超早摄像头定位，背景移除则基于Pattern Recognition 2020收录论文《U^2-Net: Going Deeper with Nested U-Structure for Salient Object Detection》。
部署步骤包括配置Photoshop、设置外部显著对象检测服务器、配置并运行本地服务以及配置和运行移动APP。
另外，作者提到直接在APP中使用DeepLap可能更简单，但还未尝试。
这项工具利用U2-Net (Qin et Al, Pattern Recognition 2020)执行显著目标检测和背景移除，然后用OpenCV SIFT找到手机对准位置。只需一张手机照片和截图，就能得到屏幕坐标系。
U^2-Net架构据论文介绍，与20余种SOTA方法对比后，在模型尺寸及结构测度等方面表现优异。
它是BASNet (Qin et al, CVPR 2019)工作的更新，对损失函数设计创新，使其不再只关注区域精度。
SIFT算法全称Scale-invariant feature transform，由加拿大英属哥伦比亚大学教授David Lowe于1999年发表，是一种尺度不变特征转换，不随图像尺度旋转变化而变化，有较强适应性光照变化能力，广受引用。此算法流程包括构建尺度空间、寻找极值点、筛选极值点、计算特征点主方向及变换维度，并在OpenCV里提供免费试用功能。
