数字芯片如同端侧大模型的火箭发射器将点燃技术创新引领颠覆性变革

数字芯片：端侧大模型的火箭发射器，引领颠覆性变革

爱芯元智创始人、董事长仇肖莘在2024世界人工智能大会上表示，目前端侧大模型的应用仍处于探索阶段，其是否能带来颠覆性的变化尚待观察。然而，在视觉领域，大模型面临可靠性、稳定性和理解不够全面等挑战，这些都是落地的大重要障碍。

业界正在积极解决端侧大模型落地的内存和带宽限制问题，比如通过DDR Wafer to Wafer实现1024个通道，或开发HBM用于端侧使用，以解决数据墙问题。技术向前演进同时伴随着应用探索加速，仇肖莘认为汽车、手机和PC将是率先落地端侧大模型的场景。

爱芯元智发布了爱芯通元AI处理器，该处理器原生支持Transformer架构，有10倍性能优势。在车规测试后，该处理器已完成量产，并且可以支持以文搜图、通用检测、大规模自然语言处理等多种应用。此外，爱芯通元还提供成熟软件工具链，便于开发者快速适配不同大小的AI模型。

手机和汽车被视为最适合落地的大型机学习模式。虽然现在许多手机厂商正在寻找集成NPU到SoC中的可能性，但这需要一个平衡点，即既要有足够大的算力，又不能增加成本过高。此外，汽车行业对实时计算能力及智能化需求也促使其成为一个重要市场。