2025-01-25 新品 0
端侧大模型的崛起：探索与挑战
随着生成式AI预训练大模型能力的不断增强，越来越多的人开始关注这些模型在端侧应用的潜力。然而，在此之前，CNN已经为端侧带来了初步的AI能力，这自然引发了一个问题：端侧大模型是否能够带来革命性的变化？
在2024年世界人工智能大会上，爱芯元智创始人、董事长仇肖莘表达了对端侧大模型应用仍处于探索阶段的看法。他认为，“目前端侧大模型的应用还不够成熟，不太好判断是否会带来颠覆。”
智慧物联和人工智能创新融合专家殷俊则提出了协同和小型化作为解决方案。他认为，“我们 shouldn't let users give up their existing technology investments, but instead, we should achieve the optimal allocation of computing resources through large and small models, to accelerate the industry's landing.”
这是一个值得深入讨论的话题。除了智能手机和城市中广泛使用的大摄像头，还有哪些场景适合落地？又将如何改变我们的生活？
包括手机和摄像头等设备几年前就经历过一轮AI浪潮，借助CNN、RNN等算法，使得手机可以进行AI拍照、美颜，而摄像头则能识别车牌、统计人流等。这虽然不是完美无缺，但已经被广泛应用。
要实现真正颠覆性的变革，大模式需要不仅效果更佳，而且成本也必须更低。目前行业仍然处于探索阶段，并非一夜之间发生。
“我们做AI-ISP已经很多年，现在突然成为爆款。”仇肖莘说，“传统ISP降噪防抖功能是通过硬件模块实现，而AI-ISP用算法取代了这些模块，但这只是将传统ISP通路中20多个模块中的几个换成了AI算法。”
对于是否能带来颠覆，以及何时会如此，也还有待进一步讨论。
首先，要解决的是落地的问题。大型视觉模型在文本、语音领域快速发展，但在视觉领域却面临可靠性、稳定性以及理解不够全面等挑战。
技术向前演进同时伴随着应用探索加速。仇肖莘认为汽车、中高档机器及PC都将率先落地端侧大模式。这要求原生支持Transformer架构处理器。
爱芯元智已完成布局并实现量产，可支持以文搜图、通用检测、大型语言处理及其他通用大模式应用。此外，他们发布了一款混合精度NPU早已立项，并且自2022年回片销售至客户，其设计思路从一开始就考虑各种结构包括Transformer等微架构设计提高效率和密度，同时灵活性保证了指令集完整性支撑各种需求。
今年四月，他们基于AX650N平台完成了Llama 3 8B和Phi-3-mini模型适配。而爱芯通元V4(AX630C)也适配了TinyLlama-1.1 1.1B及Token速度良好。
如果参数更大的模型意味着更智能但也是对芯片与算法联合调优的一个考验，那么轻量化变得尤其重要。在这种情况下，混合精度非常有价值，如7B参数，如果采用混合精度可以减少计算存储需求，对比英伟达GPGPU架构，在推理场景性能优势达到10倍以上。
爱芯元智瞄准的是售价10万以下汽车L2/L2+智能驾驶市场，以性价比为关键，将平台化降低成本，用同一平台服务不同市场通过大量出货降低成本，是他们普惠策略的一部分。此外，他们正在探索边缘计算与具身智能，为未来的普惠提供更多可能性。
