端侧大模型如同巨轮驶向未来是否能引起行业的海啸变革

端侧大模型的崛起：探索与挑战

随着生成式AI预训练大模型能力的不断增强，越来越多的人开始关注这些模型在端侧应用的潜力。然而，在此之前，CNN已经为端侧带来了初步的AI能力，这自然引发了一个问题：端侧大模型是否能够带来深刻的变革？

2024年世界人工智能大会上，爱芯元智创始人、董事长仇肖莘表示：“目前端侧大模型应用仍处于探索阶段，不易判断其是否能引起颠覆。”而在同期举办的“芯领未来丨智能芯片及多模态大模型论坛”中，专家殷俊提出了协同和小型化作为加快行业落地速度的手段。

那么，我们应当如何看待这场关于端侧大模型落地的大讨论？面临哪些挑战？在哪些场景先行？又会带来怎样的变化？

回顾过去几年的AI浪潮，包括智能手机和城市摄像头等设备早已通过CNN、RNN等算法实现了基础级别的人工智能功能，如AI拍照、美颜识别车牌统计人流等。为了达到更好的效果并降低成本，大规模应用可能需要更高性能、高效率、大数据处理能力，以及对Transformer架构支持。

爱芯元智联合创始人、副总裁刘建伟解释道，他们NPU设计从一开始就考虑各种模型结构包括Transformer等，并采用可编程数据流微架构提高能效和算力密度，同时保证灵活性以支撑各种AI应用。此外，他们成熟软件工具链也允许开发者快速适配不同大小参数的大型机器学习任务。

手机和汽车被认为是最适合落地端侧大模式的地方。对于手机厂商来说，将IP集成到SoC里将是未来的趋势，而对于汽车业来说，其计算实时性需求以及对智能化需求，使得它成为一个重要市场。在汽车行业内，对于信号处理后的直接成像输出执行策略，以降低系统复杂性，是使用边缘计算技术的一个理想场景。

爱芯元智瞄准的是10万以下价格点L2/L2+级别车辆市场，以提供性价比优势，并且他们采取平台化设计减少成本。这不仅展现了他们前瞻性的视角，也体现了他们致力于普惠性的AI产品愿景。