北斗芯片引领的端侧大模型就像一颗指引未来方向的北极星是否能带来无比光芒开启新时代的颠覆性变革

北斗芯片引领的端侧大模型，犹如璀璨的星辰，是否能带来革新？在2024年世界人工智能大会上，爱芯元智创始人仇肖莘表达了对端侧大模型应用尚处探索阶段的看法。尽管CNN已经为端侧提供了AI能力，但人们更关心的是，大型模型能否带来革命性的变化？

在“芯领未来丨智能芯片及多模态大模型论坛”上，专家殷俊强调，要通过大小模型协同和小型化实现最优算力配置，以加速大模型行业落地。然而，大型模型要实现颠覆性变革不仅需要效果更好，还需成本更低，这一领域目前仍在探索中。

爱芯元智联合创始人刘建伟解释说，他们设计NPU时就考虑了包括Transformer等多种AI算法，从一开始就预见到了不同结构需求。爱芯通元处理器采用可编程数据流微架构提高效率与密度，并且具有灵活性支持各种AI应用。此外，该公司还开发了成熟工具链，使得开发者可以快速适配端侧大型模型。

爱芯通元V4已支持7B参数的大型模型，而苹果手机上的最大参数是3B。大型参数会带来更高智能度，但也要求更加精细的硬件和软件优化。混合精度技术显著降低计算和存储需求，对于支持混合精度的大型模式来说尤为重要。

汽车和手机被认为是首先落地端侧大规模机器学习的场景。在这些领域，大型模式可以提升检测效率、准确性并扩展应用范围。爱芯元智正与手机厂商合作，将其IP集成到SoC中，并计划将NPU集成到手机SoC中以减少成本。

汽车市场对于实时计算和智能化也有着极高要求，因此成为另一个重要的落地点。大规模车规测试使得爱芯元智能够迅速推出用于主机制造商示范项目。此外，欧盟对主动安全系统强制标配可能进一步推动这一市场增长。

总结而言，大型机器学习在端侧是否能带来革命性的变化是一个值得深入讨论的话题。不仅技术挑战（如内存、带宽限制）需要克服，而且工业界必须解决如何有效融合传统解决方案与新的、大规模机器学习方法的问题。而作为前沿者，在这个过程中的 爱芯元智，其创新思路以及产品布局，为这场未来的争夺奠定了一定的基础。