2025-01-25 智能输送方案 0
在生成式AI大模型的蓬勃发展下，人们越来越关注这些强大的技术如何应用于端侧设备。爱芯元智创始人、董事长仇肖莘在2024年世界人工智能大会上表示，尽管端侧大模型目前仍处于探索阶段，但它或许能够带来颠覆性的变化。
然而，在此之前，CNN已经使得端侧设备获得了初步的AI能力，这促使人们对大模型是否能真正实现改变持有保留态度。为了回答这个问题，我们需要深入分析端侧大模型落地所面临的挑战和机遇。
首先，大模型在视觉领域的落地遭遇了可靠性、稳定性以及理解力不足等问题。真实准确地描述客观世界是视觉大模型成功落地方面的关键。在处理器和内存方面，也存在着算力的限制超过带宽和内存限制的问题，因此芯片与算法必须联合优化以解决这一难题。
虽然技术正朝着前进，但应用层面的探索也在加速。仇肖莘认为汽车、手机和PC将是率先实现端侧大模式落地的场景。这些建议需要原生支持Transformer架构的处理器，如爱芯通元AI处理器，它们可以提供10倍性能优势，并且已经完成布局，并在智慧城市和辅助驾驶领域进行了规模化量产。
爱芯通元混合精度NPU早已设计并销售，其核心是算子指令集与数据流微架构底层采用可编程数据流提高效率与密度，同时灵活性保证了完备性的支撑各种AI应用。此外，成熟软件工具链让开发者快速适配端侧大模式。
随着苹果手机上的7B参数的大型模型日益普及，以及边缘计算市场需求增长，未来可能会出现更大的参数大小预计为3B-7B。大型但轻量化的混合精度也变得至关重要，以降低计算与存储需求。此时DSA架构提供比英伟达GPGPU更高10倍性能优势，使得爱芯通元成为理想选择。
汽车行业对于实时计算要求极高，同时对智能化程度也有很高要求，这使得汽车成为一个非常好的市场。而爱芯元智通过平台化策略，将成本降到最低，从而追求普惠AI目标，无论是在智慧城市还是智能驾驶领域都展现出前瞻性思维。
