2025-01-25 资讯 0
在生成式AI大模型的蓬勃发展下，人们越来越关注端侧大模型是否能带来革命性的变化。2024年世界人工智能大会上，爱芯元智创始人、董事长仇肖莘表示：“目前端侧大模型的应用还是探索阶段，还不好判断是否会带来颠覆。”在同一场会议上，智慧物联和人工智能创新融合专家殷俊提出了一个值得深入探讨的话题：端侧大模型落地到底面临哪些挑战？将在哪些场景首先实现？又会带来怎样的变革？
历史上，包括智能手机和城市中普遍存在的摄像头早已经经历了AI浪潮。在CNN、RNN等算法的推动下，手机可以进行AI拍照、美颜，而摄像头则能够识别车牌、统计人流等。这虽然不够完美，但已经广泛应用。然而，要想让端侧大模型真正实现颠覆性变革，不仅需要效果更好，而且成本还要低于传统方案。目前，这个领域仍处于探索阶段。
爱芯元智联合创始人、副总裁刘建伟介绍了他们NPU设计思路，从一开始就考虑各种模型结构包括Transformer等算子的支持。他强调底层采用可编程数据流微架构提高能效和算力密度，同时灵活性也保证了算子指令集的完备性，可以支撑各种AI应用。此外，他们成熟的软件工具链可以帮助开发者快速适配对端侧大模型。
仇肖莘认为汽车、中级设备以及个人电脑都将是率先采纳端侧大模型的大市场。他解释说这些设备需要原生支持Transformer架构处理器。爱芯通元混合精度NPU早已立项，并且已经完成布局，在智慧城市和辅助驾驶两个领域实现规模化量产。
爱芯通元V4(AX630C)已经成功适配了多种参数大小从3B到7B的大型语言处理任务，如Llama 3 8B和Phi-3-mini，以及小型任务如TinyLlama-1.1 1.1B。大型参数意味着更高级别的人工智能，但同时也要求更多资源与优化。而混合精度技术就是解决这个问题的一种方式，它有助于降低计算与存储需求。
由于其独特设计，即DSA架构相比英伟达GPGPU架构，在Transformer架构推理场景中性能优势达到10倍。基于此优势，爱芯元智正在探索如何在手机和汽车这两大的市场中使用这种技术。
汽车行业对实时计算能力及其对智能化需求，使得它成为落地端侧大模式的一个重要市场。不久前，一款名为“黑盒子”的系统通过ISP后的信号直接通过一个巨大的神经网络进行成像并执行策略，这正是利用边缘计算减少系统复杂性的典范案例。
随着时间的推移，我们预计未来将看到更多关于如何有效整合这一新兴技术以满足不断增长的人类需求的情报报告。如果我们继续保持开放的心态，并积极寻找合作伙伴，那么无疑，将会迎接一次全新的时代转折点。在未来的日子里，我们可能会目睹一个更加智能、高效而又充满魅力的世界，而这一切都归功于那些勇敢追求改变的人们以及他们所创造出的科技奇迹。
