2025-01-25 资讯 0
在生成式AI的浪潮中，预训练大模型的强大能力吸引了越来越多的人对端侧应用进行探索。然而，在AI技术发展之前，CNN就已经为端侧带来了智能化。因此，人们更加关心的问题是：端侧大模型是否能够带来颠覆性的变化？
2024年世界人工智能大会期间，爱芯元智创始人、董事长仇肖莘向雷峰网表示：“目前端侧大模型的应用还处于探索阶段，还不好判断是否会带来颠覆。”在同一场会议上，智慧物联和人工智能创新融合专家殷俊提出了一个值得深入讨论的话题：“我们不应该让用户放弃原有的技术投资，而是要通过大小模型协同和模型小型化，实现最优算力配置，以加快大模型行业落地。”
那么，我们又将如何面对这些挑战？哪些场景将首先迎接这次变革？这次变革又将给我们带来怎样的改变？
包括智能手机和城市中随处可见的摄像头，这些设备几年前已经经历过一轮AI浪潮。借助CNN、RNN等AI算法，它们能够进行拍照美颜、识别车牌等功能，但效果并非完美。不过，这些早期尝试已经广泛应用，并且铺垫了今天的大型机器学习项目。
为了实现真正的颠覆性变革，大型机器学习系统必须提供更好的效果，同时成本也必须更低。目前，大众对于这种变革还是持观望态度，因为它尚未成熟。
“我们做AI-ISP已经很多年，现在突然成为爆款。”仇肖莘说，“传统ISP降噪、防抖功能是通过硬件模块实现，而AI-ISP用算法取代了这些模块，但每个新出现的算法都只是将传统ISP通路中20多个模块中的几个换成了新的算法。”
尽管如此，我们仍需解决落地问题。大型机器学习系统首先需要克服的是视觉领域落地的问题，比如理解客观世界真实准确描述，是视觉领域落地关键所在。
内存、大数据以及运算能力都是端侧使用大型机器学习系统的一系列挑战。大型机器学习系统在边缘计算环境中的实施依赖于高性能处理单元（NPU）以支持大量参数和复杂操作。此外，由于数据量巨大，大规模处理数据集通常涉及到昂贵且耗时的地面服务器或云服务。这导致延迟增加，对实时响应要求极高。
为了解决这一难题，一些研究者正在开发新的芯片架构，比如DDR Wafer to Wafer连接形式，可以使通道数量达到1024，从而提高带宽与延迟效率。而HBM（堆栈缓存记忆体）也是另一种可能，它可以减少数据墙问题，使其适用于边缘计算环境。
汽车、手机以及个人电脑都被认为是未来率先采用此类技术的地方。由于它们需要高度定制化且能快速执行任务，因此它们尤其适合使用原生支持Transformer架构的处理器。
爱芯元智正致力于推动这一进程，他们宣布发布了一款名为爱芯通元（AX630C）的混合精度NPU，该产品设计时就考虑到了各种类型的心理学结构，如Transformer，以及其他常见神经网络结构。在2019年，就有报道称他们正在开发一种具有100亿参数的大型语言模式，这种模式后续被称作LLaMA 3 8B，并且已成功部署到商业产品中。
尽管如此，我们仍需继续探索如何有效利用这些新兴技术，将其整合至现有的硬件体系之中以提升性能。此外，与CPU相比，加速图形卡提供更多灵活性，为游戏玩家提供了更好的体验。此外，还有一种可能性，即未来可能会出现全新的平台，那就是基于专门设计用于特定任务或情景的小规模NPU群组，每组只包含必要数目的核心，以满足特定的需求而不是一次性购买所有核心——这是一个充满潜力的领域，有待进一步探索与创新。
