2025-01-25 资讯 0
在生成式AI大模型的蓬勃发展下，人们越来越关注这些强大的技术如何应用于端侧设备。然而，CNN在过去已经为端侧带来了AI能力，因此更深入的问题是：端侧大模型是否能够引起革命性的变化？2024年世界人工智能大会上，爱芯元智创始人、董事长仇肖莘向雷峰网表示，“目前端侧大模型的应用仍处于探索阶段，还难以判断是否会带来颠覆。”
在全球人工智能大会期间举办的“芯领未来丨智能芯片及多模态大模型论坛”上，智慧物联和人工智能创新融合专家殷俊提出了一个值得深入讨论的话题，即如何通过大小模型协同以及模型小型化实现最优算力配置，以加速大模型行业落地。
那么，我们又将面临哪些挑战？哪些场景将首先采用端侧大模型？这项技术究竟能否带来革新？
回顾历史，一系列如摄像头、手机等设备早已经历过一轮AI浪潮。借助CNN和RNN等算法，它们实现了从简单的美颜到复杂的人流统计功能，但这些功能远未完美。相比之下，大型语言和视觉模式（Transformer）架构的大型预训练语言处理器（LLaMA）具有更高效率和性能，而其成本可能低于传统方案，这使得行业界众所周知，大型预训练语言处理器有潜力成为接下来一轮AI革命的推动者。
然而，在谈及颠覆性变革之前，我们必须解决落地问题。大型预训练语言处理器虽然在文本、语音领域取得巨进步，但在视觉领域遇到了可靠性、稳定性以及理解不足等挑战。这其中包括内存、带宽限制，以及算力的挑战。在这一点上，爱芯元智正在积极探索解决这些问题，比如通过DDR Wafer to Wafer形式实现1024个通道，或开发用于端侧使用的HBM以克服数据墙问题。
随着技术不断前进，这些探索也日益加快。仇肖莘认为汽车、手机与PC都将是率先尝试这种新技术的大市场。而这些场景需要原生支持Transformer架构的处理器。
此外，由于爱芯通元混合精度NPU设计考虑了各种包括Transformer结构等多种机制，从而提高了能效与算力密度，并且灵活性保证了对各种AI应用支持。此外，其成熟软件工具链允许开发者快速适配并运行大量不同类型的大规模机器学习任务，如Llama 3 8B, Phi-3-mini, TinyLlama-1.1 B models.
总结来说，将会有更多关于边缘计算、大规模机器学习系统、小尺寸、高性能神经网络处理单元(NPUs)及其应用方面的声音出现，这是一个充满希望但同时也充满不确定性的时期，无疑对于科技企业尤其是在中国这样快速增长的地方，是一个巨大的机会。但我们必须认识到，没有具体计划或政策支持，就没有任何东西可以被称为普惠化，不管它看起来多么吸引人。如果我们的目标是确保所有个人都能够访问高质量的人工智能服务，那么我们就必须致力于创建公平竞争环境，并鼓励创新，而不是仅仅为了经济利益或政治目的进行分割资源。这就是为什么这个时代需要的是一种新的精神——一种基于公正分享知识与资源的一种精神，因为这是我们共同努力应达到的目标。
