2025-01-25 资讯 0
在生成式AI的浪潮中，预训练大模型的强大能力吸引了越来越多的人对端侧应用进行探索。然而，在AI技术发展之前，CNN就已经为端侧带来了智能化。因此，人们更加关心的问题是：端侧大模型是否能够带来颠覆性的变化？
2024年世界人工智能大会期间，爱芯元智创始人、董事长仇肖莘向雷峰网表示：“目前端侧大模型的应用还处于探索阶段，还不好判断是否会带来颠覆。”在同一场会议上，智慧物联和人工智能创新融合专家殷俊提出了一个值得深入讨论的话题，即如何通过大小模型协同和模型小型化实现最优算力配置，以加快大模型行业落地。
端侧大模型落地面临哪些挑战？将会在哪些场景先行？又将会带来怎样的变革？这些问题都需要进一步探讨。在过去，一些设备如智能手机和城市中的摄像头已经经历过AI技术的浪潮，这使得它们能够实现更高级别的功能，如AI拍照、美颜等。
要想让端侧大模式真正产生影响，不仅需要性能好，而且成本还必须低于传统方案。目前，大多数业界伙伴仍然处于探索阶段，对此过程持谨慎态度。爱芯元智联合创始人、副总裁刘建伟指出，他们设计NPU时，就考虑到了各种可能出现的大型数据流处理需求，因此爱芯通元支持了Transformer架构，并且提供了一套完整的软件工具链，让开发者可以快速适配不同的大规模神经网络。
尽管当前市场上的苹果手机使用的是3B参数量级的大型神经网络，但未来边缘计算和终端设备可能采用更大的7B参数量级。这意味着即便是具有更高性能但占用更多资源的大型神经网络，也能被有效管理，使其成为可能实现更高智能程度同时降低资源消耗的一种解决方案。
爱芯通元V4(AX630C)已成功适配了3B-7B参数量级的小型化神经网络，同时也支持混合精度操作，从而减少计算需求并提高效率。此外，由于DSA架构与英伟达GPGPU相比，在推理任务中有10倍以上性能优势，因此爱芯通元成为了这一领域内竞争力的代表之一。
手机和汽车两者都是潜在落地场景，因为它们不仅拥有足够大的存储空间，而且还能承受较好的实时性要求。此外，由于安全性要求极高，加之对智能驾驶系统所需数据处理速度要求极速快，使得这两个领域对于顶尖算法有着巨大的需求。而且随着欧盟对主动安全系统强制标配以及国内车企对于新技术尝试积极态度增长，这两个领域看起来尤其具备机会。
