2025-01-25 新品 0
在世界人工智能大会2024上，爱芯元智的创始人、董事长仇肖莘提出了一个值得深入探讨的话题：端侧大模型是否能够带来颠覆性变化？这一问题引发了对技术挑战、应用场景和潜在变革的广泛关注。
首先，我们需要认识到，端侧已经经历了一次AI浪潮，通过CNN、RNN等算法实现了AI拍照、美颜和车牌识别等功能。然而，大模型的出现，如Transformer架构，对于成本更低且效果更佳的需求提供了新的可能。
不过，这一转变并非一蹴而就。爱芯元智联合创始人、副总裁刘建伟指出，他们从设计初期就考虑到了各种模型结构，包括Transformer等，以确保算子支持和数据流微架构的优化。此外，他们还开发了成熟的软件工具链，使得开发者可以快速适配端侧大模型。
在手机和汽车这两个关键落地场景中，大模型预示着更高效率、高准确度以及更多应用场景。仇肖莘透露，他们正在与多个手机厂商合作，将IP集成到SoC中，以实现更高效能密度。而对于汽车行业来说，其实时计算需求以及对智能化程度的追求，为大型语言处理器提供了解决方案的大门也逐渐打开。
尽管如此，大型语言处理器面临着内存大小、带宽限制的问题，以及算力与数据墙之间的协同优化挑战。业界正积极寻找解决这些问题的手段，比如DDR Wafer to Wafer或HBM技术。此外，由于混合精度有助于降低计算和存储需求，更大的参数量并不一定意味着更好的性能；相反，它们要求更加有效率的芯片设计，如DSA架构，在推理速度上有显著优势。
总之，无论是智慧城市还是智能驾驶，或是边缘计算及具身智能的大潮，都将成为爱芯元智未来发展方向的一部分。在这个前所未有的时代，一款原生支持Transformer架构的大型NPU——爱芯通元AI处理器，就被视作是推动这一变革不可或缺的一环，而它不仅仅是在探索新的可能性，还在塑造未来的科技趋势。
