2025-01-25 资讯 0
在生成式AI大模型的蓬勃发展下，人们越来越关注这些强大的技术如何应用于端侧设备。爱芯元智创始人、董事长仇肖莘在2024年世界人工智能大会上表示，尽管端侧大模型目前仍处于探索阶段，但它或许能够带来颠覆性的变化。
然而，在此之前，CNN已经使得端侧设备获得了初步的AI能力，这促使人们对大模型是否能真正实现改变持有保留态度。为了回答这个问题，我们需要深入分析端侧大模型落地所面临的挑战和机遇。
首先，大模型在视觉领域的落地遭遇了可靠性、稳定性以及理解力不足等问题，而真实准确描述客观世界是视觉大模型成功落地的关键。算力、内存和带宽是解决这些挑战的底层基础，其中内存大小和带宽限制往往超过算力的限制。
业界正在积极寻找解决方案，比如通过DDR Wafer to Wafer形式实现1024个通道以增强带宽与延迟性能，又或者开发适用于端侧的大容量HBM（高性能堆叠随机访问存储器）。
技术进步同时伴随着应用探索加速。仇肖莘认为汽车、手机和PC将成为率先应用端侧大模型的地方，这些场景都需要原生支持Transformer架构的处理器。在这方面，爱芯元智已经发布了爱芯通元AI处理器，该处理器支持混合精度操作，并且可以快速适配各种参数规模的大型语言模式，如Llama 3 8B和Phi-3-mini。此外，它还提供了一套成熟工具链，便于开发者快速适应新技术。
爱芯通元V4(AX630C)已成功适配7B参数级别的大型语言模式，并且具有10倍性能优势相比英伟达GPGPU架构。这一优势让爱芯元智有信心推广其产品至手机SoC中，以便更好地集成到日益智能化手机中。此外，汽车行业也成为一个重要市场，因为它们不仅要求计算实时性，还对智能化功能有很高需求，如直接使用黑盒子的“大”模块进行图像识别，从而降低系统复杂性。
总之，大型语言预训练模型可能会为我们开辟新的可能性，但要实现这一点，我们必须克服现有的技术障碍并找到有效解决方案。这是一个充满未知但又充满希望的话题，一旦我们克服困难，将会迎接一场革命般的人工智能浪潮。
