端侧大模型如同2000元左右性价比高的手机是否能带来颠覆性的变化

端侧大模型的崛起，如同2000元左右性价比高的手机，是否能带来颠覆性的变化？在2024年世界人工智能大会上，爱芯元智创始人、董事长仇肖莘表达了对端侧大模型应用的谨慎态度：“目前端侧大模型的应用还是探索阶段，还不好判断是否会带来颠覆。”

此前，CNN已经让端侧拥有了AI能力，因此人们更关心的问题是：端侧大模型会带来新的变化吗？在“芯领未来丨智能芯片及多模态大模型论坛”上，智慧物联和人工智能创新融合专家殷俊提出了一个值得进一步探讨的话题：端侧大模型落地到底面临哪些挑战？会在哪些场景先落地？又会带来怎样的变化？

包括智能手机和城市中随处可见的摄像头几年前已经经历过一轮AI浪潮。借助CNN、RNN等AI算法，手机能够实现AI拍照、美颜，而摄像头也能识别车牌、统计人流等。不过，这些技术虽然广泛应用，但效果并不完美，并且成本可能较高。

要使端侧大模式达到颠覆性的变革，不仅要效果更好，而且可能还需要成本更低。目前，大部分行业都还处于探索阶段，对于技术变革并非一夜之间发生。

爱芯元智联合创始人、副总裁刘建伟介绍说，他们NPU设计考虑了各种模型结构包括Transformer等模型的算子支持。底层采用可编程数据流微架构提高效率和算力密度，同时保证了算子指令集的完备性，以支撑各种AI应用。

今年四月份，爱芯元智就基于AX650N平台完成了Llama 3 8B和Phi-3-mini模型适配。此外，他们也已经适配通义千问0.5B和TinyLlama-1.1 1.1B这两种不同的参数大小的大型语言处理器（LLaMA）版本。

如果我们将这些信息放入历史背景下，我们可以看到，从传统CV算法到Transformer，从智慧城市到智能汽车再到未来的具身智能，每一步都是人类对科技不断追求进步的一部分。而爱芯元智不仅看准了这一趋势，还以性价比立足市场，为普惠AI提供了一条道路，无论是技术路线还是战略，都显得走在正确方向上。