2025-01-25 智能输送方案 0
在生成式AI的浪潮中，预训练大模型的强大能力吸引了越来越多的人对端侧应用进行探索。然而，在AI技术发展之前，CNN就已经为端侧带来了智能化，因此人们更关心的是：端侧大模型能否带来革命性的变化？2024年世界人工智能大会上，爱芯元智创始人、董事长仇肖莘表示：“目前端侧大模型的应用仍处于探索阶段，我们还无法判断是否会带来颠覆。”
在全球人工智能大会期间举办的“芯领未来丨智能芯片及多模态大模型论坛”上，智慧物联和人工智能创新融合专家殷俊提出了观点：“我们不应该让用户放弃现有技术投资，而是要通过大小模型协同和小型化实现最优算力配置，以加速行业落地。” 这是一个值得深入讨论的话题——端侧大模型落地面临哪些挑战？将如何在特定场景中先行落地？又将如何产生变革？
包括手机与城市中的摄像头几年前就经历过一轮AI浪潮，那时借助CNN、RNN等AI算法，使得手机能够实现拍照美颜，而摄像头则能识别车牌、统计人流等功能，这虽然不是完美无缺，但已广泛应用。在此基础上，大型机器学习框架如Transformer要实现更好的效果，并且可能比传统方案成本更低，但目前业界仍处于探索阶段。
爱芯元智联合创始人、副总裁刘建伟介绍说：“从一开始，我们就考虑了各种模式结构，如Transformer等模型支持我们的NPU设计思路。底层采用可编程数据流微架构提高效率和算力密度，同时保证了灵活性以支撑各种AI应用。”
今年四月份，他们基于AX650N平台完成了Llama 3 8B和Phi-3-mini模型适配。爱芯通元V4（AX630C）也适配了通义千问0.5B以及TinyLlama-1.1 1.1B，这显示出他们对不同规模参数的大型机器学习框架支持能力。
“现在最高支持7B参数的模型。”仇肖莘表示，“苹果手机上的大模式是3B，对边缘侧和端侧模式预计为3B-7B。如果参数更多，则意味着更加智能但也要求更高级别的硬件与算法调优。”
混合精度对于轻量化至关重要，比如相同7B参数使用混合精度可以降低计算存储需求。此外，由于采用的DSA架构相比英伟达GPGPU在Transformer推理场景下性能优势达到10倍。
汽车与手机被认为是首个落地的大型机器学习框架所需环境。这两种设备都需要原生支持Transformer处理器。例如，爱芯通元混合精度NPU早在2021年立项并到了2022年中回片，并且到最后一年销售给客户，有趣的是三年前设计出的这款芯片为什么能原生支持Transformer？
“我们已经接触很多手机厂商，以及手机晶圆厂商讨论集成我们的IP到他们SoC里的可能性。”仇肖莘透露。“未来的目标是在SoC中集成NPU，但要集成多少大的NPU同时保持成本不高，让苹果及国内制造商继续探索.”
汽车领域由于其实时性需求以及对智能化需求，也成为另一个市场潜力巨大的区域。而且随着欧盟关于主动安全强制标配政策实施，加速国内主动安全装备增加趋势，为爱芯元智提供了一条增长曲线。
总结来说，从传统CV算法迈向Transformer，再由智慧城市转向自动驾驶乃至未来具身智能，可见愛心元智既具有前瞻性看待算法演进方向，又坚持普惠性立足市场，无论是技术还是战略，都走上了正确之道。
