RockAI出席酷+科技峰会 揭示大模型群体智能新趋势

　　11月20日,在酷+科技峰会科技创新专场,RockAI CEO刘凡平发表了《大模型与物理空间:从单体智能到群体智能》的主题演讲,主要探讨了当前大模型面临的诸多问题、群体智能是未来方向,以及大模型从单体智能到群体智能的发展路径。

　　在演讲中,刘凡平首先对大模型现状与问题进行了分析,主要为现有大模型的局限、现有架构不足。当前大模型应用形式多为单体推理,依赖海量数据和强大算力,存在不合理性。其学习模式与人类不同,缺乏在现实生活中实时学习、交互的能力,且Transformer架构在存储带宽、训练效果、多模态能力、实时性、能耗散热等方面存在问题。OpenAI等面临算力和数据充足但仍存在问题的困境,算法才是核心。Transformer架构的原作者及图灵奖获得者如杨立昆、辛顿等也指出其存在的问题,如Scaling Law极限问题、计算资源浪费等,因此我们需要更好的架构。

　　Yan架构正是在这样的背景下诞生的,它是首个国产化非Transformer架构。Yan架构多模态大模型在性能和效率上优于同类,可达到Llama3 8B的水平,训练效率更高,推理吞吐更大,且能在树莓派等多种低算力设备上部署。上述创新依据的基础原理包含MCSD和类脑激活机制。类脑激活机制模拟人脑神经元激活模式,选择性激活部分参数,降低算力依赖,实现训练与推理同步,从而大幅提升模型性能。

　　关于通用人工智能的终局,RockAI认为是群体智能。RockAI在大模型领域首倡“群体智能”概念,并找到了实现路径,且已走在路上。实现群体智能需具备自主学习、人机交互和适配更多终端三个条件。群体智能迭代路线包括创新性基础架构、多元化硬件生态、自适应智能进化和协同化群体智能四个阶段。RockAI处于第三阶段并在追求群体智能,与OpenAI模式不同,坚持在算法层面做创新。当前Transformer架构虽存在问题,但数据采集方式已使其有智能涌现能力,若将大模型引入物理世界有望实现超指数级智能化增长。