2025-01-25 智能化学会动态 0
在生成式AI的浪潮中，预训练大模型的强大能力吸引了越来越多的人对端侧应用进行探索。然而，在AI技术发展之前，CNN就已经为端侧带来了智能化。因此，人们更加关心的问题是：端侧大模型是否能够带来颠覆性的变化？
2024年世界人工智能大会期间，爱芯元智创始人、董事长仇肖莘向雷峰网表示：“目前端侧大模型的应用还处于探索阶段，还不好判断是否会带来颠覆。”在同一场会议上，智慧物联和人工智能创新融合专家殷俊提出了一个值得深入讨论的话题：“我们不应该让用户放弃原有的技术投资，而是要通过大小模型协同和模型小型化，实现最优算力配置，以加快大模型行业落地。”这表明尽管端侧大模型尚未完全成熟，但其潜力被广泛认为是巨大的。
包括智能手机、城市中随处可见的摄像头等领域，都曾经经历过一轮AI浪潮。借助CNN、RNN等AI算法，这些设备能够提供如拍照美颜、车牌识别和统计人流等功能。虽然这些功能还不足以达到理想状态，但它们已经广泛应用，并且取得了一定的成效。
端侧大模型要真正带来变革，不仅需要效果更好，而且可能还需要成本更低。在这个过程中，我们将面临许多挑战，比如如何解决内存和带宽限制，以及如何确保算力的高效利用。这也是业界正在积极探索的问题，比如开发DDR用Wafer to Wafer形式或HBM以解决数据墙问题。
除了这些技术层面的挑战，我们也需要考虑到实际应用中的需求。在汽车、手机以及PC这三个关键场景下，大型处理器将扮演核心角色，这些处理器不仅需支持Transformer架构，还需具备足够强大的性能优势，以便应对复杂的计算任务。此外，由于这些场景都要求实时性，因此处理器设计必须考虑到功耗与性能之间平衡。
爱芯元智正是在这样的背景下推出其最新产品——爱芯通元AI处理器。这款处理器采用混合精度NPU，并能原生支持Transformer架构，其10倍性能优势使之成为当前市场上最有前途的大型处理器之一。此外，该公司还致力于软件工具链的开发，使得开发者可以快速适配并运行各种不同规模的大型模式，如Llama 3 8B, Phi-3-mini, 通义千问0.5B, TinyLlama-1.1 1.1B 等。
基于以上原因，可以看出爱芯通元V4(AX630C)现在最高支持7B参数的大型模式，是未来端侧落地的一个重要步骤。而仇肖莘指出，即使使用混合精度，也可以显著降低计算和存储需求，从而提高整体效率。此外，他透露了该公司正在与多个手机厂商合作，将其IP集成到他们SoC中的可能性，以及即将推出的边缘计算解决方案，这些都是展现爱芯元智愿意走向普惠AI市场的一系列举措。
