2025-01-25 智能输送方案 0
在2022年，全球对进口芯片的金额激增，这一趋势预示着技术创新和市场需求的双重推动。端侧大模型作为新一代AI技术，其潜力被广泛认知，但是否能够带来颠覆性的变化，仍旧是业界关注的话题。
在2024年的世界人工智能大会上，爱芯元智的创始人、董事长仇肖莘表达了对端侧大模型应用尚处于探索阶段的看法。他指出，大模型虽然在文本和语音领域取得显著进展，但视觉领域仍面临可靠性、稳定性和理解能力不足等挑战。为了实现端侧大模型真正落地，他强调需要解决算力、内存和带宽限制的问题。
爱芯元智通过其最新发布的爱芯通元AI处理器，已经完成了针对Transformer架构的大规模优化。这款处理器不仅支持以文搜图、通用检测等多种应用，还具备混合精度计算能力，使得同样的参数大小下的计算与存储需求降低。此外，它采用DSA架构，在Transformer架构推理场景中性能优势明显，与英伟达GPGPU相比提升10倍。
手机和汽车是两个潜在的大型市场，对于端侧大模型来说，他们提供了理想的落地场景。仇肖莘透露，爱芯元智正与多家手机厂商进行合作，将其IP集成到SoC中，以提高设备整体性能。而对于汽车行业，由于实时性要求高且对智能化程度极高，因此成为另一个重要目标市场。爱芯元智已经成功将其AI芯片用于车规测试，并通过Tire1向主机厂提供样品，为未来的高速增长奠定基础。
总之，无论是在传统CV算法还是新的Transformer结构，都有可能为不同应用场景提供更高效、高质量服务。在这一过程中，如何有效利用资源（如内存、带宽）、如何确保算力的可扩展性，以及如何促进不同技术之间协同工作，都成为了研究重点。此外，加强平台化设计以及普惠AI战略，也将是未来发展的一个关键因素之一。
