2025-01-25 新品 0
端侧大模型的崛起：探索与挑战
随着生成式AI预训练大模型能力的不断增强，越来越多的人开始关注这些模型在端侧应用的潜力。然而，在此之前，CNN已经为端侧带来了初步的AI能力，这自然引发了一个问题：端侧大模型是否能够带来革命性的变化？
在2024年世界人工智能大会上，爱芯元智创始人、董事长仇肖莘表达了对端侧大模型应用仍处于探索阶段的看法。他认为，“目前端侧大模型的应用还不够成熟，我们还不能确定它是否会带来颠覆性变革。”
为了解决这一问题，行业专家们提出了协同使用大小型AI模型以及实现最优算力配置，以加速工业落地。这是一个值得深入讨论的话题，因为我们需要了解端侧大模式落地将面临哪些挑战，以及它将如何影响我们的日常生活。
过去几年里，智能手机和城市摄像头等设备已经经历了一次AI浪潮，这使得它们能够通过CNN和RNN等技术进行拍照、美颜识别车牌等功能。尽管效果尚未完美，但已广泛应用。
要让端侧大模式真正产生影响，它不仅需要提供更好的性能，还必须成本更低。此时，我们正处于探索阶段，而技术变革并非一夜之间完成。
爱芯元智联合创始人、副总裁刘建伟介绍说，他们从一开始就考虑了各种不同结构包括Transformer等新兴算法支持，因此他们设计出的核心是算子指令集和数据流微架构。这种底层采用可编程数据流微架构提高效率和密度，同时灵活性也确保了算子指令集完整性，为各种AI应用提供支撑。
今年四月份，他们基于AX650N平台成功适配Llama 3 8B和Phi-3-mini两个较大的参数量级的大型语言处理器，并且正在进一步扩展其支持范围至7B参数量级的大型语言处理器，使其成为市场上的独特之选。
“爱芯通元现在最高支持7B参数的大型语言处理器。”仇肖莘表示，“这对于苹果手机上即将推出的相似规模的大型语言处理器而言，是非常有竞争力的。”如果这些参数更多，那么可能会带来更加高级别的智能，但同时也要求更精细化程度的地质调优工作。
混合精度显然是一个关键点，它可以降低计算与存储需求，比如同样是7B参数，如果用混合精度，可以减少资源消耗。而爱芯通元又因为采用的DSA架构，在Transformer推理场景中，其性能优势达到10倍以上，与英伟达GPGPU架构相比，更胜一筹。
“从单模态到多模态，从传统CV算法到Transformer，从智慧城市到智能汽车再到未来具身智能”，仇肖莘说：“我们的目标是普惠AI，让所有用户都能享受到高质量、高效率、大数据时代下的服务。”
因此，无论是在手机SoC中集成NPU还是通过外部协处理器增加对生成式AI支持，都需考虑成本效益问题。汽车作为另一个重要市场，其实时计算需求以及对智能化水平要求，也促进了边缘计算与具身智能领域研究发展。在这个过程中，爱芯元智坚持平台化设计，不断寻求以最大公约数为基础，将不同场景需求融合，最终实现成本下降，并向更多用户提供性价比高产品服务。
