端侧大模型如同天玑9200的火箭能否像骁龙那样引领技术革命

端侧大模型的崛起：能否像骁龙9200+那样引领技术革命？

在世界人工智能大会上，爱芯元智创始人仇肖莘提出了一个问题：端侧大模型是否能够带来颠覆性的变化？他认为目前端侧大模型的应用仍处于探索阶段，不宜急于判断其能否实现突破。

然而，CNN已经使得端侧拥有了AI能力，这让人们更加关心的是，大模型落地会如何影响现有的技术投资和应用。爱芯元智主办的“芯领未来丨智能芯片及多模态大模型论坛”上，专家殷俊提出通过大小模型协同和模型小型化，实现最优算力配置，以加快大模型行业落地。

不过，对于端侧大模式落地面临哪些挑战以及将在哪些场景先落地，以及它将带来的变革，我们还需要进一步探讨。比如，在智能手机、城市摄像头等领域，大规模使用CNN后，我们期待看到更强大的AI能力，但这需要成本更低且效果更佳的大型机器学习算法支持。

仇肖莘指出：“传统ISP降噪、防抖功能是通过硬件模块实现，而AI-ISP用算法取代了这些模块，但AI算法也只是将传统ISP通路中20多个模块中的几个换成了AI算法。”因此，即便是颠覆性变化，也要解决实际的问题，比如内存和带宽限制，以及与硬件的联合优化。

业界正在积极寻找解决方案，比如开发HBM以解决数据墙问题，或是通过DDR Wafer to Wafer形式提高通道数量以提升带宽和延迟。此外，汽车、手机、PC等场景都有望率先采用端侧大模式，这意味着原生支持Transformer架构的处理器将变得尤为重要。

爱芯元智在世界人工智能大会2024上发布了爱芯通元AI处理器，该处理器可以支持文本到图像（T2I）、图像到文本（I2T）以及其他多种应用，并且已完成对Llama 3 8B和Phi-3-mini两个知名big model适配工作。该公司还宣称最高支持7B参数的大型机器学习模型，并且采用的混合精度设计可以显著降低计算需求，同时提供10倍性能优势相较英伟达GPGPU架构。

汽车和手机两者都是潜在的主要市场，因为它们不仅需要高效、高准确性的检测，还要求实时性。这也是为什么爱芯元智正与国内外手机厂商合作，将其IP集成至SoC中，以此作为长期策略。而对于汽车行业来说，由于安全性要求，它们正在逐步转向利用边缘计算进行预测分析，从而减少系统复杂性并提高响应速度。

总之，无论是在智能手机还是车辆领域，都存在巨大的空间来推广这种新兴技术。但为了真正做到普惠式的人工智能服务，与硬件设备紧密结合并保持成本效益至关重要。在这个过程中，企业必须不断创新，不断追求最佳组合，使得这些新的、大型机器学习算法能够成为日常生活的一部分。