Llama 3超大杯405B参数版，终于要来了。
而最新HuggingFace抱抱脸泄露页面显示，还不止于此：
新模型被命名为Llama 3.1，与已经发布的Llama 3系列8B和70B版本相比，又涨了一个版本号。
模型发布在一个神秘的组织账号sllhf，旗下并没有公开发布的内容。
该组织成员多为HuggingFace内部工程师，是专门用来发布测试版模型的，所有仓库都被设置为私有。
不过这一次，Llama 3.1的特定版本被短暂的误设置为公开。
根据及时看到该页面的网友反馈，3.1系列将会拥有128k上下文长度，有8B、70B和405B三个版本，前两个从405B蒸馏而来。
这或许意味着，Llama 3已经发布的两个小号版本，也会在这次得到更新。
Llama 3.1的405B参数将是密集的，不采用像GPT-4一样的MoE架构。
Llama 3超大杯将至，知道9.9大于9.11
此前有消息称，Llama 3 405B将于7月23日发布，而且部分用户已经在Meta AI应用收到测试邀请。
随着3.1版本泄露，也有截图显示Meta AI应用上也更新了3.1版本。
并且这个版本轻松解决了困扰很多大模型的“9.11和9.9哪个大？”问题。
不过在满血版GPT-4标志性的用TikZ代码画独角兽测试上，它的表现就不怎么好了。
Llama 4已开始训练
扎克伯格曾在访谈中称，Llama 3在停止训练时仍然在学习，并未完全收敛。
那么为什么要在此时停下来？
因为Llama 4要开始训练了，需要腾出GPU资源。
更多关于Llama 4的消息，也在Meta与欧盟关于数据隐私的博弈上得到验证。
根据媒体Axios消息，Llama 4在6月开始训练，使用旗下包括Facebook和Instagram社交平台上用户的公开帖子数据。
而在开始之前，已经向数据隐私监管最严格的欧盟地区用户发送超过20亿条通知，提供了不同意把自己数据用于大模型训练的选项。
Llama 4将包含文本、图像、视频与音频模态，Meta计划将新模型应用在手机以及智能眼镜中。
此外，Llama 3系列也有包含图像的多模态版本，不过计划在秋天发布。
即将发布的Llama 3.1 405B仍然是纯文本的。
最后，在下周的图形学顶会SIGGRAPH 2024上，小扎与老黄将展开一场“炉边谈话”，可能会谈到Llama 3.1以及后续版本的更多消息。
参考链接：
[1]https://x.com/AlpinDale/status/1814717595754377562
[2]]https://x.com/xX_Biden1984_Xx/status/1814785802045698398
[3]https://www.axios.com/2024/07/17/meta-future-multimodal-ai-models-eu
[4]https://www.youtube.com/watch?v=bc6uFV9CJGg
[5]https://www.nvidia.com/en-us/events/siggraph/?nvid=nv-int-bnr-586714
