2025-01-25 智能输送方案 0
在生成式AI的浪潮中，预训练大模型的强大能力吸引了越来越多的人对其在端侧应用的探索。然而，在生成式AI之前，CNN已经让端侧拥有了AI能力，这使得人们更加关心的问题是：端侧大模型是否能带来颠覆性的变化？2024年世界人工智能大会期间，爱芯元智创始人、董事长仇肖莘向雷峰网表示：“目前端侧大模型的应用还处于探索阶段，还不好判断是否会带来颠覆。”
在该大会上举办的“芯领未来丨智能芯片及多模态大模型论坛”上，智慧物联和人工智能创新融合专家殷俊提出了观点：“不应该让用户放弃原有的技术投资，而是要通过大小模型协同和模型小型化，实现最优算力配置，以加快大模型行业落地。”这是一个值得进一步探讨的话题：端侧大模型落地到底面临哪些挑战？会在哪些场景先落地？又会带来怎样的变化？
包括智能手机、城市中随处可见的摄像头几年前已经经历过一轮AI浪潮。借助CNN、RNN等AI算法，手机能够进行AI拍照、美颜；摄像头也能识别车牌、统计人流等。这虽然并不完美，但已经广泛应用。在视觉领域，大模式仍需解决可靠性、稳定性和理解不够全面等问题。
算力、内存和带宽都是端侧大模式落地过程中的关键挑战。“数据墙”问题正在被通过DDR Wafer to Wafer形式1024个通道解决，同时开发出能够用于端侧使用的HBM以克服数据墙问题。
技术向前演进同时伴随着应用探索加速。仇肖莘认为汽车、中低三档算力布局已完成，并且可以支持以文搜图、大检测、高效图像处理等通用大模式应用。
爱芯元智联合创始人副总裁刘建伟介绍，他们NPU设计考虑了各种模型结构包括Transformer等，从一开始就考虑各种操作支持，使得爱芯通元AI处理器核心是操作指令集与数据流微架构底层采用可编程数据流提高效率与密度同时保证灵活性支撑各类AI应用。
今年四月份爱芯元智基于AX650N平台完成Llama 3 8B和Phi-3-mini适配。此外V4(AX630C)也适配了TinyLlama-1.1 1.1B参数。大型参数但更精准的大模式也是未来的趋势，但这也要求更高级别晶片与软件调优。
“混合精度非常有价值”，尤其是在7B参数时，可以降低计算与存储需求。得益于DSA架构相比英伟达GPGPU性能优势提升10倍。在手机和汽车两者成为首选落地方景。而汽车对实时性要求高，对智能化需求迫切，让它成为了重要市场之一。
