当前世界上参数最大的开源大语言模型Grok-1，参数权重大小为296GB，即3140亿参数，远远超过了OpenAI的GPT-3.5模型。

该模型采用的3140亿参数的MoE模型，在给定token上的激活权重达到了25% 。