2025-01-25 资讯 0
爱芯元智创始人、董事长仇肖莘在2024世界人工智能大会上表示，“目前端侧大模型的应用还是探索阶段，还不好判断是否会带来颠覆。”然而，在谈颠覆之前，端侧大模型首先应该解决的是落地的问题。
在视觉领域的大模型落地面临可靠性、稳定性、理解不够全面等挑战，真实准确描述客观世界是视觉大模型落地的关键。算力、内存和带宽都是端侧大模型落地最底层的挑战。业界正在积极探索端侧大模型落地内存和带宽限制的问题，比如探索DDR用Wafer to Wafer的形式，实现1024个通道，解决带宽和延迟的问题。
技术向前演进的同时应用的探索也在加速，仇肖莘认为汽车、手机、PC都将是率先落地端侧大模型的场景。这些建议需要原生支持Transformer架构的处理器。爱芯元智在世界人工智能大会2024上正式发布了爱芯通元AI处理器，在高中低三档算力中已完成布局，并且可以支持以文搜图、通用检测、以图生文、AI Agent等通用大模型应用。
今年四月，爱芯元智就基于AX650N平台完成了Llama 3 8B和Phi-3-mini模型的适配。爱芯通元V4(AX630C)也已经适配了通义千问0.5B、小蓝精灵1.1 B+ 1.1B+ 等多种参数大小的小型化、大型化混合模式。
“我们做AI-ISP已经很多年，现在突然成为了爆款。”仇肖莘说，“传统ISP降噪防抖功能通过硬件模块实现，而AI-ISP用算法取代这些模块，但仍然只是将传统ISP通路中20多个模块中的几个换成了AI算法。”
同样的道理，大规模预训练语言生成型神经网络（LLaMA）的性能要比现有系统强得多，因此它们被认为可能会导致一种新的计算机编程风格，这种风格使程序员能够更容易创建高效且可扩展的人工智能系统。大规模预训练语言生成型神经网络（LLaMA）具有几项关键特征，使其特别有利于这种新风格：
对话流畅度：LLaMa 的输出通常非常连贯，不像其他系统那样停顿或重复信息。
回答准确性：虽然 LLaMa 不总能提供完全正确答案，但它通常能提供相关而有用的信息。
自我学习能力：随着时间推移，即使没有额外指导，也能够逐渐改善其回答质量。
自然语言理解：相较于简单匹配或者规则驱动方法，更擅长理解并解释用户请求，从而生成更加合适和相关性的回应。
尽管如此，大规模预训练语言生成型神经网络（LLaMa）的发展还处于初期阶段，它们面临许多挑战，如如何有效整合到现有的软件架构中，以及如何提高它们对于敏感数据保护问题的一般知识。此外，由于这些工具依赖大量数据进行训练，它们可能需要访问隐私敏感信息，这进一步增加了安全风险。
因此，我们必须继续研究这类工具，以了解它们如何影响我们的日常生活，同时寻找方法来最大限度减少潜在风险。如果成功，可以期待这类技术成为下一个革命性的步伐，让人类与机器之间交流变得更加自然无缝，从而开启全新的可能性。在这个过程中，我们也必须保持警惕，不断评估这些新兴技术对社会各方面可能产生影响，并采取必要措施确保公平正义得到维护。
