2025-01-25 新品 0
端侧大模型的崛起：探索与挑战
随着生成式AI预训练大模型能力的不断增强，越来越多的人开始关注这些大模型在端侧应用的潜力。然而，在此之前，CNN已经为端侧带来了AI能力，因此人们自然而然地会问：端侧大模型能否真正带来颠覆性的变化？
2024年世界人工智能大会上，爱芯元智创始人、董事长仇肖莘表示：“目前端侧大模型的应用还处于探索阶段，还不好判断是否会带来颠覆。”他认为，大型和小型模型应该协同工作，以实现最佳算力配置，并加速行业落地。
这是一个值得深入探讨的话题。端侧大模型落地面临哪些挑战？将在哪些场景首先应用？它又会如何改变我们的生活？
包括智能手机和城市中普遍存在的摄像头，这些设备几年前就经历过一轮AI浪潮。借助CNN、RNN等AI算法，手机可以进行AI拍照和美颜，而摄像头则可以识别车牌和统计人流。这虽然不够完美，但已经广泛应用了。
为了实现颠覆性变革，不仅要有更好的效果，而且可能需要成本更低。大规模工业级硬件已被证明是有效解决问题的一种方法，但这也意味着技术变革不是一夜之间完成的事。
“我们做了很多年的AI-ISP，现在突然成为爆款。”仇肖莘说，“传统ISP降噪、防抖功能通过硬件模块实现，而我们用算法替代这些模块，但这只是将传统ISP通路中的20多个模块中的几个换成了AI算法。”
同样，我们还需要思考的是，无论是在文本还是语音领域，大型语言处理器都取得了巨大的进步，但在视觉领域，它们遇到的主要问题是可靠性、稳定性以及对客观世界理解不足真实准确描述客观世界是视觉大型语言处理器落地的关键所在。
除了内存大小和带宽限制，大型语言处理器在边缘计算环境中的运作也面临极大的挑战。业界正在积极寻求解决这一问题，比如采用DDR Wafer to Wafer形式以1024个通道来解决带宽延迟的问题，或开发能够用于边缘计算的大容量HBM（高性能缓存接口）。
汽车、手机和PC都被看作是率先使用这种新技术的大市场，这些建议要求原生支持Transformer架构的处理器。此外，与其他基于TensorFlow或PyTorch框架的小工具相比，这类原始支持Transformer架构的大工具提供了10倍以上性能优势。
爱芯元智正致力于开发这样的原始支持Transformer架构的大工具，其混合精度NPU早已进入生产线并且销售到客户手中。这是一个令人好奇的问题，因为三年前设计出的芯片为什么能够原生支持Transformer？
刘建伟解释称，他们从一开始就考虑各种类型结构，包括但不限于Transformer等结构。在核心部分，他们采用了一种专门为微任务优化设计的心灵数据流微建筑，同时保留了灵活性以适应不同的指令集，从而保证对各种新的及旧有的所有需求都是满足无误。
此外，由他们提供的一个成熟软件工具链使得开发者可以快速适配最新发布的大型语言处理器。此外，该公司还成功适配了一系列不同大小参数版本的地球图形系统(GPT)。
总之，对于未来，即便我们继续推动研究发展，也必须保持谨慎态度，并且持续关注那些实际影响用户体验并引发根本变革的事情。而关于是否真的能够产生这种转变，以及何时发生，那仍然是一个未知数。
