2025-01-25 资讯 0
爱芯元智创始人、董事长仇肖莘在世界人工智能大会期间表示，“目前端侧大模型的应用还是探索阶段，还不好判断是否会带来颠覆。”爱芯元智主办的“芯领未来丨智能芯片及多模态大模型论坛”上，智慧物联和人工智能创新融合专家殷俊分享，“不应该让用户放弃原有的技术投资，而是要通过大小模型协同和模型小型化，实现最优算力配置，来加快大模型行业落地。”端侧大模型落地到底面临哪些挑战？会在哪些场景先落地？又会带来怎样的变化？
包括智能手机、城市中随处可见的摄像头几年前已经经历过一轮AI浪潮，借助CNN、RNN等AI算法，手机能够AI拍照、美颜，摄像头也能识别车牌，统计人流等。端侧大模式要带来性质更好，而且可能要比传统AI方案成本更低，但目前业界都还处于探索阶段。
“我们做AI-ISP已经很多年，现在突然成为了爆款。”仇肖莘说，“传统的ISP降噪、防抖功能是通过硬件模块实现，用了算法取代了这些模块但用的是与传统ISP通路中20多个模块中的几个换成了新算法。”
在谈颠覆之前，大模式首先应该解决的是落地的问题。在视觉领域的大模式落地面临可靠性、稳定性、理解不够全面等挑战真实准确描述客观世界是视觉大的关键。内存大小、高带宽限制超过了计算能力限制。大模式在端侧的落地，不仅需要强大的处理器支持，还需要高效率、高性能的小型化HBM或DDR内存，以及快速数据传输和处理能力。
汽车、中低档消费级智能手机将成为率先应用端侧大的场景，这些场景无疑需要原生支持Transformer架构的大型处理器。而爱芯元智已完成布局，并且可以支持以文搜图、大规模检测、小量图生成以及通用Agent等通用应用。
爱芯元智发布了名为AX630C（V4）的混合精度NPU，该产品具有10倍性能优势，在 Transformer架构推理方面相比英伟达有显著提升。此外，该公司正在基于这些优势探索其他场景，比如PC和边缘计算设备。此外，与苹果合作，将其IP集成到SoC中，也被作为一个潜在解决方案提出，以便提供更加紧凑且高效的人工智能处理能力。
