2025-01-25 智能化学会动态 0
在生成式AI大模型的蓬勃发展下，人们越来越关注这些强大的算法将如何影响端侧应用。爱芯元智创始人、董事长仇肖莘在2024年世界人工智能大会上表示：“目前端侧大模型的应用仍处于探索阶段，我们尚未能判断它们是否会带来颠覆性的变化。”
然而，在CNN技术普及之前，端侧就已经实现了初步的人工智能能力。因此，问题变成了：端侧大模型是否能够带来显著的变化？以及它们何时才能实现这一目标？
为了回答这个问题，我们需要深入了解当前的大模型落地面临的挑战。首先是算力、内存和带宽限制，这些都是决定端侧大模型可行性的关键因素。在这方面，业界正在不断探索新的解决方案，比如使用DDR Wafer to Wafer形式提高通道数量以提升带宽和降低延迟，或开发适用于端侧的大容量HBM。
除了技术挑战，大模式还需考虑到具体应用场景。大型处理器厂商正致力于原生支持Transformer架构，以便更好地推进这些新兴算法。此外，由爱芯元智提供的一款名为“爱芯通元”的混合精度NPU不仅支持7B参数，但也具有10倍性能优势，这对于快速推广Transformer架构至关重要。
手机和汽车是两大潜在落地场景，而爱芯元智正积极与这些领域合作。他们已接触多家手机厂商，并探讨将其IP集成到SoC中，同时也研究了通过协处理器增强对生成式AI的支持。不过，即使这种方法成本较高，也被认为是一个暂时的解决方案。
汽车行业由于其对实时性计算需求和智能化水平要求，对于采用大型机制进行优化非常有利。这也是为什么爱芯元智已经成功将其产品集成到车规测试中，并且得到了主机厂认可。
总之，无论是在手机还是汽车领域，大型机制都有着巨大的潜力，它们能够带来更加智能、高效、准确的情报分析。但要实现这一目标，还需要更多关于技术创新和市场策略上的努力。
