2025-01-25 智能化学会动态 0
在生成式AI的浪潮中，预训练大模型的强大能力吸引了越来越多的人去探索它们在端侧应用的可能性。然而，在AI技术发展之前，CNN就已经为端侧带来了AI能力，这让人们更加好奇：端侧大模型是否能够带来颠覆性的变化？2024年世界人工智能大会期间，爱芯元智创始人、董事长仇肖莘向雷峰网表达了他的看法：“目前端侧大模型的应用还处于探索阶段，我们不能确定它是否会带来颠覆。”
在同一场论坛上，智慧物联和人工智能创新融合专家殷俊提出了一个值得深入探讨的话题：“我们不应该让用户放弃他们现有的技术投资，而是要通过大小模型协同以及模型小型化实现最优算力配置，以加速大模型行业落地。”这意味着为了使端侧大模型真正意义上的普及，它们需要克服当前面临的一些挑战。
包括智能手机和城市中随处可见的摄像头几年前就经历了一次AI浪潮。借助CNN、RNN等AI算法，手机能够进行美颜拍照，而摄像头则可以识别车牌和统计人流。虽然这些功能并非完美，但已经广泛应用。这也是为什么人们对端侧大模式能否带来更大的变革持有保留态度，因为它不仅需要提供更好的效果，还需要成本更低。
爱芯元智创始人、董事长仇肖莘表示，“传统ISP降噪、防抖功能是通过硬件模块实现，但是我们用算法取代了这些模块。但是，这些算法也只是将传统ISP通路中20多个模块中的几个换成了AI算法。”这正是我们今天对于端侧大模式是否能真正改变游戏规则的问题。
在谈论颠覆性变革之前，我们首先应该解决的是如何将这些新技术落地到实际使用中。在视觉领域，大型预训练语言处理器（PLMs）可能无法直接复制它们在文本理解任务中的成功，因此，对于视觉领域来说，大型预训练图像处理器（PIPs）的开发仍然是一个开放的问题。
计算资源（如内存和带宽）、数据墙问题以及对性能要求极高的Transformer架构都是困扰着研究人员和工程师的大量问题。不过，与此同时，也有一些初创公司正在积极寻找解决方案，比如利用DDR Wafer to Wafer形式增加通道数量以提高性能，又或者开发出能够用于边缘设备的小巧HBM。
汽车、大屏幕电视机顶盒乃至其他消费电子产品都可能成为率先采用这一新技术的大众市场。此外，由于这些设备通常拥有足够大的电源供应，可以支持较为耗费电力的操作，使得它们成为了充分发挥Transformer架构潜力的理想场景之一。
爱芯元智发布了一款名为爱芯通元的全新的NPU，该处理器设计时就考虑到了各种不同的结构，并且其核心是一套高度灵活且完整的指令集，以及一个基于可编程数据流微架构设计，从而既提高了效率又提升了密度。此外，该处理器还配备了一套成熟工具链，可以帮助开发者快速适配不同类型的大规模神经网络，如Llama 3 8B或Phi-3-mini等，并且已被证明可以支持7亿参数级别的大型神经网络运行。
尽管如此，不管是在手机还是汽车领域，都存在一个挑战，那就是如何平衡成本与性能，同时确保系统稳定性和安全性。而爱芯元智正致力于通过平台化策略，将相同需求公用的部分整合到一体，从而降低成本并扩展市场范围，为更多消费者提供经济实惠但高效率的人工智能解决方案。
