2025-01-25 智能化学会动态 0
爱芯元智创始人、董事长仇肖莘在世界人工智能大会上表示，“目前端侧大模型的应用还是探索阶段，还不好判断是否会带来颠覆。”
智慧物联和人工智能创新融合专家殷俊分享，“不应该让用户放弃原有的技术投资，而是要通过大小模型协同和模型小型化，实现最优算力配置，来加快大模型行业落地。” 端侧大模型到底面临哪些挑战？会在哪些场景先落地？又会带来怎样的变化？
包括智能手机、城市中随处可见的摄像头几年前已经经历过一轮AI浪潮，借助CNN、RNN等AI算法，手机能够AI拍照、美颜，摄像头也能识别车牌，统计人流等，但现在还需要解决的是内存大小、带宽限制的问题。
爱芯通元混合精度NPU早在2021年就已经立项，并且可以支持以文搜图、通用检测、以图生文、AI Agent等通用大模型应用。底层采用可编程数据流的微架构提高能效和算力密度，同时灵活性也保证了算子指令集的完备性。
今年四月，爱芯元智就基于AX650N平台完成了Llama 3 8B和Phi-3-mini模型的适配。爱芯通元V4(AX630C)也已经适配了通义千问0.5B、TinyLlama-1.1 1.1B模型的适配。
“如果模式参数更大，更有可能带来更高级别的人类理解能力。”但这同时意味着更强大的计算能力要求。这是一个值得进一步探讨的话题，是不是真的能达到我们预期中的那番效果？
