2025-01-25 智能输送方案 0
在2022年芯片行情的波动下,端侧大模型是否能带来颠覆性的变革成为了业界关注的焦点。爱芯元智创始人、董事长仇肖莘在世界人工智能大会期间表示,大模型在端侧的应用仍处于探索阶段,还难以预测是否会引起深远影响。
尽管生成式AI的大型模型能力不断增强,但其落地于端侧设备中面临诸多挑战。首先,算力、内存和带宽是落地过程中的关键限制因素。大型模型需要大量数据处理和高性能计算,而这些需求可能超出了当前端侧设备的能力范围。
然而,爱芯元智正致力于解决这一问题。他们开发了爱芯通元AI处理器,该处理器原生支持Transformer架构,有助于加速大型模型推理,并且提供了10倍性能优势相比英伟达GPGPU架构。在手机和汽车等场景中,这样的性能提升将极大地促进大型模型的应用。
手机作为一个典型的边缘计算场景,其对实时性和功耗要求较高,因此,对算法精度和效率有着很高要求。而汽车领域则由于其复杂的人机交互系统,对计算资源和智能化程度有更为严格的要求。这两个领域都将成为未来端侧大型模型落地的一个重要方向。
爱芯元智通过平台化设计减少成本,并致力于普惠AI,以性价比作为市场竞争力的核心。不仅如此,他们还积极参与智慧城市项目,以及智能驾驶领域,为未来的具身智能奠定基础。随着技术不断发展,我们可以期待看到更多关于端侧大型模型应用及其潜在变化的问题得到探讨与解答。