2025-01-25 智能化学会动态 0
在生成式AI大模型的蓬勃发展下，人们越来越关注端侧大模型是否能带来革命性的变化。2024年世界人工智能大会上，爱芯元智创始人、董事长仇肖莘表示：“目前端侧大模型的应用还是探索阶段，还不好判断是否会带来颠覆。”然而，在智慧物联和人工智能创新融合专家殷俊看来，“我们不应该让用户放弃原有的技术投资，而是要通过大小模型协同和模型小型化，实现最优算力配置，以加快大模型行业落地。”
端侧大模型面临着多重挑战，其中包括算力、内存和带宽的限制。爱芯元智联合创始人、副总裁刘建伟指出：“我们的NPU设计是AI处理器的设计思路，从一开始就考虑各种模型结构包括Transformer等模型的算子支持。”爱芯通元AI处理器采用可编程数据流微架构提高了能效和算力密度，同时也保证了算子的灵活性。
尽管存在挑战，但仇肖莘相信汽车、手机以及PC将是率先落地端侧大模式的场景。这需要原生支持Transformer架构的处理器，如爱芯通元AI处理器，它提供10倍性能优势。在手机领域，大型制造商正在探索将这些新技术集成到SoC中，而在汽车领域，这些技术有潜力降低系统复杂性并提高安全性。
总之，虽然端侧大模式尚处于探索阶段，但其潜力的巨大吸引了各界关注。如果成功实现，其可能对传统解决方案产生深远影响，并开启一个新的时代。
