芯片大国争霸端侧巨模型将引领革命

在生成式AI的浪潮中，预训练大模型的强大能力吸引了越来越多的人对端侧应用进行探索。然而，在AI技术发展之前，CNN就已经为端侧带来了智能化。因此，人们更加关心的问题是：端侧大模型是否能够带来颠覆性的变化？

2024年世界人工智能大会期间，爱芯元智创始人、董事长仇肖莘向雷峰网表示：“目前端侧大模型的应用还处于探索阶段，还不好判断是否会带来颠覆。”在同一场会议上，智慧物联和人工智能创新融合专家殷俊提出了一个值得深入讨论的话题，即如何通过大小模型协同和模型小型化实现最优算力配置，以加快大模型行业落地。

端侧大模型落地面临哪些挑战？将会在哪些场景先落地？它又将带来怎样的变化？这些问题都需要进一步探讨。在过去几年里，包括智能手机和城市中的摄像头，都经历过AI技术的浪潮，这让它们能够实现如AI拍照、美颜等功能。但是，要想达到更好的效果并且成本更低，大规模应用仍然处于实验阶段。

爱芯元智联合创始人、副总裁刘建伟介绍说，他们设计NPU时，就考虑到了各种复杂结构，如Transformer等，从而保证了算子的支持性。爱芯通元处理器采用可编程数据流微架构提高能效和算力密度，同时其灵活性也确保了算子指令集的完备性，可以支撑各种AI应用。此外，该公司成熟的软件工具链使得开发者可以快速适配端侧的大型语言模型。

爱芯通元V4(AX630C)已经成功适配了7B参数的大型语言模型，并且与英伟达GPGPU相比，在推理场景下有10倍性能优势。这意味着该处理器不仅支持高级别的大型语言模型，而且具有很高效率。此外，由于混合精度计算可以减少计算量和存储需求，使得这一技术尤为重要。

手机和汽车被认为是首批落地端侧大模式的地方，因为它们提供了丰富多样化的使用场景。例如，在车辆领域，对实时计算能力要求极高，而对安全监控也有很大的需求。大型语言模式能够帮助提升检测效率、准确度，并扩展新的应用可能性。而对于手机来说，它们需要同时满足不同用户群体对性能、成本以及功耗要求的大量化目标。

总之，无论是在传统CV算法还是从Transformer到未来的具身智能方面，只要保持前瞻性并注重普惠性的定位，就有可能成为市场上的领导者之一。在这趟科技旅途中，每一步都是为了构建更加完善、高效的人工智能系统。