2025-01-25 智能化学会动态 0
端侧大模型的崛起：探索与挑战
随着生成式AI预训练大模型能力的不断增强，越来越多的人开始关注这些大模型在端侧应用的潜力。然而，在此之前，CNN已经为端侧带来了AI能力，因此人们更感兴趣的是：端侧大模型是否能够带来颠覆性的变化？
在2024年世界人工智能大会上，爱芯元智创始人、董事长仇肖莘表达了对端侧大模型应用仍处于探索阶段的看法。他认为，“目前端侧大模型的应用还不够成熟，还不好判断是否会带来颠覆。”
然而，对于如何加快大模型行业落地，这场讨论引发了广泛思考。在“芯领未来丨智能芯片及多模态大模型论坛”上，智慧物联和人工智能创新融合专家殷俊提出了一个值得深入探讨的问题：“我们应该如何通过大小模型协同和小型化实现最优算力配置，以加速行业落地？”
对于这一问题，有几个关键点需要考虑。首先，大模式要比传统AI方案效果更好，并且成本低。这意味着技术变革并非一夜之间完成，而是需要逐步推进。
其次，大模式面临的一个主要挑战是视觉领域的落地。尽管文本和语音领域的大模式发展迅速，但在视觉领域，它们面临可靠性、稳定性以及理解客观世界复杂性的挑战。
最后，大模式在端侧落地也面临着算力、内存和带宽限制。而业界正在积极寻找解决这些问题的手段，比如通过DDR Wafer to Wafer形式提高通道数以解决数据墙问题，或开发出能用于端侧使用的HBM以解决内存瓶颈。
仇肖莘认为汽车、手机和PC将成为率先采用端侧大模式的大市场。这三种场景都需要原生支持Transformer架构处理器，如爱芯元智发布的一款名为爱芯通元AI处理器，它可以支持以文搜图、通用检测等通用大模式应用，并且具有10倍性能优势。
不过，这些优势并不意味着即刻就能实现普遍部署。大モデル是否能够成功实施，还取决于它能否被集成到SoC中，以及如何平衡成本与效益。此外，对于汽车而言，加快计算实时性需求，以及降低系统复杂性，也让汽车成为一个重要市场。
总之，虽然有许多挑战待解，但这也不意味着不能或不会发生变化。爱芯元智作为前瞻性的企业，不仅看准了算法演进方向，而且明确要做普惠AI，以性价比立足市场，无论是技术路线还是战略，都显然走在正确道路上。
