2025-01-25 智能化学会动态 0
中国自主光刻机端侧大模型：颠覆性变革的双刃剑？
在生成式AI预训练大模型能力日益增强之际，人们越来越关注其在端侧应用的潜力。然而，CNN早已为端侧带来了AI能力，因此关于端侧大模型是否能带来颠覆性的变化，这个问题一直是人们探讨的话题。
2024年世界人工智能大会期间，爱芯元智创始人、董事长仇肖莘表示：“目前端侧大模型的应用还是处于探索阶段，还不好判断是否会带来颠覆。” 在同一会议上，智慧物联和人工智能创新融合专家殷俊强调了通过大小模型协同和模型小型化实现最优算力配置，以加快大模型行业落地。
这引发了一个值得深入探讨的问题：端侧大模型落地到底面临哪些挑战？将会在哪些场景先行？又将带来怎样的变化？
包括智能手机和城市中随处可见的摄像头几年前已经经历过一次AI浪潮，但这些技术仅仅是开始。为了实现更好的效果并降低成本，大型数据中心不再足够，而需要移动到边缘计算。这意味着未来的大型数据处理需要更多依赖于边缘设备，如手机、汽车等。
“我们做AI-ISP已经很多年，现在突然成为了爆款。”仇肖莘说，“传统的ISP降噪、防抖功能是通过硬件模块实现，我们用算法取代了这些模块，但AI算法也只是将传统ISP通路中20多个模块中的几个换成了AI算法。”
爱芯元智联合创始人、副总裁刘建伟介绍，他们设计思路从一开始就考虑各种模式结构包括Transformer等模式支持，并且他们NPU设计是基于可编程数据流微架构提高能效和算力密度，同时保证了灵活性以支撑各种AI应用。
尽管存在挑战，比如内存大小、带宽限制以及稳定性问题，但是业界正在积极解决这些问题，比如通过DDR用Wafer to Wafer形式或开发出能够在端侧使用的HBM解决数据墙问题。
汽车、小米手机和PC都被认为是率先落地端侧大模型的场景，这些场景都需要原生支持Transformer架构的处理器。而爱芯通元混合精度NPU早已立项，并且可以支持以文搜图、通用检测、以图生文及AI Agent等通用大模式应用。
“我们现在最高支持7B参数的大型网络。”仇肖莘表示，“苹果手机上的3B参数还远未达到这个水平，对于边缘计算来说，我们预计参数大小应该是在3B至7B之间。”
由于混合精度，可以减少计算与存储需求，从而使得爱芯通元有10倍性能优势。在此基础上，爱芯元智计划进一步探索其他领域，如边缘计算与具身智能市场。
