2025-01-25 智能输送方案 0
在生成式AI大模型的蓬勃发展下，人们越来越关注这些强大的技术如何应用于端侧设备。爱芯元智创始人、董事长仇肖莘在2024年世界人工智能大会上表示，尽管端侧大模型目前仍处于探索阶段，但它或许能够带来颠覆性的变化。
然而，在CNN和RNN等先前的AI技术之后，智能手机和摄像头已经开始采用AI算法进行拍照美颜、车牌识别和统计人流等功能。因此，对于是否会带来颠覆性变化的问题，我们需要更深入地探讨。
首先，大模型落地面临的挑战包括算力、内存和带宽限制。在这个过程中，业界正在寻求解决方案，比如通过DDR Wafer to Wafer实现1024个通道以提升带宽，以及开发适用于端侧的HBM以缓解数据墙问题。
爱芯元智在2024年世界人工智能大会上宣布了爱芯通元AI处理器，该处理器原生支持Transformer架构，并且能够支持文本到图像（Text-to-Image）、通用检测以及图像到文本（Image-to-Text）等多种大模型应用。此外，它还提供了一套成熟的软件工具链，使得开发者可以快速适配各种端侧大模型。
爱芯通元V4(AX630C)已经成功适配了7B参数的大型语言模型，并且支持混合精度，以减少计算与存储需求。而相比英伟达GPGPU架构，在Transformer架构推理场景下，爱芯通元AI处理器性能优势达到10倍，这使其成为一个非常有潜力的平台。
手机和汽车是两大可能率先接受端侧大模型落地的领域。仇肖莘指出，由于传统单模态检测逐渐转向多模态检测，大模式引擎效率与准确度都将得到显著提升，同时也将扩展更多新的应用场景。汽车行业尤其对实时性要求较高，而对智能化水平的追求也是端侧大模式落地方面的重要市场之一。
随着欧盟关于主动安全系统为必备配置的情况下的法律法规趋势，加快国内主动安全装配量增长，中国市场对于L2/L2+级别自动驾驶系统显示出巨大的潜力。因此，无论是在城市环境还是汽车领域，都有广阔空间让边缘计算、大数据分析以及具身智能技术发挥作用。
