2025-01-25 智能输送方案 0
在生成式AI大模型的蓬勃发展下，人们越来越关注端侧大模型是否能带来革命性的变化。2024年世界人工智能大会上，爱芯元智创始人、董事长仇肖莘表示：“目前端侧大模型的应用仍处于探索阶段，不太好判断是否会带来颠覆。”然而，专家殷俊提出了一个值得深入讨论的话题：端侧大模型落地面临哪些挑战？将在哪些场景首次应用？以及它将如何改变现有的技术方案？
历史上，智能手机和城市摄像头已经经历了AI浪潮，使用CNN和RNN算法实现了如AI拍照、美颜和车牌识别等功能。尽管效果不够完美，但已经广泛应用。为了达到更高的效果并降低成本，大模型需要在传统方案之上进一步提升。
爱芯元智联合创始人、副总裁刘建伟解释说，他们NPU设计从一开始就考虑各种模型结构包括Transformer等模型的算子支持，使得爱芯通元AI处理器能够原生支持Transformer架构，并且具有可编程数据流微架构以提高能效和算力密度。此外，该处理器还提供了灵活性以支撑各种AI应用，并配备成熟软件工具链，以便开发者快速适配端侧大模型。
根据仇肖莘所述，如果要推动端侧大模式的普及，就需要解决内存大小、带宽限制的问题。他认为汽车、大型屏幕手机和PC都将是率先采用这些新技术的大市场。这些建筑物必须拥有原生支持Transformer架构的处理器，如爱芯通元混合精度NPU，这种设计可以提供10倍性能优势。
未来，在探索多个领域时，比如智能驾驶系统中，将会有更多机会与传统CV算法相结合，从而提高检测效率与准确性，以及扩展新的应用场景。随着时间推移，我们或许能够看到一个全新的计算环境，其中包含了多模态、大规模数据集以及更加复杂的人工智能任务。在这个过程中，无疑我们也会见证许多令人惊叹的大变革。但对此，我们只能耐心期待，因为即使是最前沿的人工智能研究，也不能预测未来的所有细节。
