# GLM-4开源版
GLM-4开源版本终于来了：超越Llama3，多模态比肩GPT4V，MaaS平台也大升级 ,最新版本大模型，6 分钱 100 万 Token。
今天上午，在 AI 开放日上，备受关注的大模型公司智谱 AI 公布了一系列行业落地数字：
根据最新的统计数据，智谱 AI 大模型开放平台目前已经获得 30 万注册用户，日均调用量达到 400 亿 Tokens，其中，过去 6 个月 API 每日消费量增长达 50 倍以上，性能最强的 GLM-4 模型在过去 4 个月中有超过 90 倍的增长。
在近清言 App 中，已有超过 30 万个智能体活跃在智能体中心，包括许多出色的生产力工具，如思维导图、文档助手、日程安排等等。
而在新技术一侧，GLM-4 的最新版本 GLM-4-9B 全方位超越 Llama 3 8B，多模态模型 GLM-4V-9B 也已上线，所有大模型全部保持开源。
一系列商业化成果、技术突破让人眼前一亮。
MaaS 平台升级 2.0 版
打下大模型应用门槛
最近，国产大模型正在掀起新一轮的竞争。
5 月初，智谱 AI 率先将大模型 GLM-3-Turbo 服务的价格降低到了原来的 1/5，也激起了众多大模型领域玩家「参战」。从争相成立创业公司、「百模大战」再到价格战，大模型赛道的竞争螺旋攀升。
而降低大模型服务的成本，能够让更多的企业和开发者获得新技术，进而催生足够大的使用量，这不仅能加速技术的突破，也能让大模型在各行各业快速渗透，铺开商业化的布局。
值得一提的是，到了目前的节点，大模型的价格已被压的很低，但智谱表示自己不怕打价格战。
「相信大家对于最近的大模型价格战有所了解，也很关心智谱的商业化策略。我们可以很自豪地说，我们是通过模型核心技术迭代和效率提升，通过技术创新，实现应用成本的持续降低，同时保证了客户价值的持续升级，」智谱 AI CEO 张鹏说道。
根据企业的不同应用规模，智谱宣布了一系列最新的调整价格。API 最高折扣达到 6 折，使用 GLM-4-9B 版本可以只需要 6 分钱 / 100 万 token。回想去年年初，GLM 系列大模型的价格已经降低了 1 万倍。
作为率先投入生成式 AI 的创业公司，智谱 AI 的商业化速度快过一众竞争对手。基于千亿级多模态预训练模型构建产品矩阵。其面向 C 端推出了 GLMs 个性化智能体定制工具，让用户用简单提示词指令即能创建属于自己的 GLM 智能体，无需编程基础。面向 B 端客户，最新一代的 GLM-4 大模型已登陆了 MaaS（Model as a Service）平台，提供 API 形式的访问。
在今天的 Open Day 上，智谱推出了 MaaS 开放平台 2.0，在新模型、成本、安全等方面都实现了提升。
在活动中，智谱 AI 介绍了其开放平台的最新进展。升级的模型微调平台可以帮助企业大幅简化构建私有模型的过程。现在，全系列的 GLM-4 大模型都支持仅需三步即可部署。
对于技术落地来说，模型工具只是一小步。智谱 CEO 张鹏一直认为，大模型存在三个模型层，分别是 L0（基础模型）、L1（行业模型）和 L2（面向细分场景的推理模型）。这是一个层层递进的关系，智谱要做的就是尽全力做好 L0，再去帮助合作伙伴做好 L1 和 L2。
智谱 AI 以 MaaS 平台为主的商业化落地路径，针对不同客群类型和需求提供云端 API、云端私有化、本地私有化、软硬件结合一体机等不同的解决方案，在满足企业需求的同时也实现了「模型及服务」的规模化。
GLM-4 9B 全面超越 Llama3
多模态比肩 GPT-4V，开源免费
对于将构建 AGI 视为目标的智谱 AI 而言，不断迭代大模型技术能力，同样是重中之重。
自 2020 年 all In 大模型开始，智谱就一直走在人工智能浪潮的前沿。其研究涉及大模型技术的方方面面，从原创的预训练框架 GLM、国产算力适配、通用基座大模型，到语义推理、多模态生成，再到长上下文、视觉理解、Agent 智能体能力等各个方面，智谱都投入了相当多的资源来推动技术的原始创新。
在过去一年里，智谱相继推出了四代通用大模型：2023 年 3 月发布 ChatGLM，6 月推出 ChatGLM2，去年 10 月推出 ChatGLM3；今年 1 月，最新一代基座大模型 GLM-4 正式发布。在 Open Day 上，智谱 AI 向外界介绍了基座大模型 GLM-4 的最新开源成果 ——GLM-4-9B。
它是最新一代预训练模型 GLM-4 系列中的开源版本。GLM-4-9B 拥有更强的基础能力，更长的上下文，实现了更加精准的函数调用和 All Tools 能力，并首次拥有多模态能力。
基于强大的预训练基座，GLM-4-9B 的中英文综合性能相比 ChatGLM3-6B 提升了 40%，在中文对齐能力 AlignBench、指令遵从 IFeval、工程代码 Natural Code Bench 等基准数据上都取得了非常显著的提升。对比训练量更大的 Llama 3 8B 也并不逊色，英文方面实现小幅领先，中文学科方面更是有着高达 50% 的提升。
新模型的上下文长度从 128K 扩展到了 1M，意味着模型能同时处理 200 万字输入，相当于两本红楼梦或者 125 篇论文。在长度为 128K 的 LongBench-Chat 上，GLM-4-9B-Chat 模型相比上一代提升了 20%。在长度为 1M 的大海捞针测试中，GLM-4-9B-Chat-1M 也获得了全绿的好成绩。
新一代的大模型还提升了对多语言的支持。模型词表从 6 万升级到了 15 万，在中英文之外的语言编码效率平均提升了 30%，意味着模型可以更快处理小语种的任务。评测显示，ChatGLM-4-9B 模型的多语言能力全面超过了 Llama-3 8B。
在支持消费级显卡本地运行的情况下，GLM-4-9B 不仅展示出了强大的对话能力，支持 100 万长文本，覆盖多语言，更重要的是：智谱发布的大模型完全免费且开源。现在，每个开发者都能在本地跑通这个版本的 GLM-4 模型。
GitHub 链接：https://github.com/THUDM/GLM-4
模型：huggingface：https://huggingface.co/collections/THUDM/glm-4-665fcf188c414b03c2f7e3b7
魔搭社区：https://modelscope.cn/organization/ZhipuAI
在强大的文本模型之外，智谱 AI 同时开源了基于 GLM-4-9B 的多模态模型 GLM-4V-9B。通过加入 Vision Transformer，该模型仅以 13B 的参数量实现了比肩 GPT-4V 的能力。
在技术演进的同时，大模型的价格也在不断降低。智谱推出了 GLM-4-AIR 模型，它在基本保留 1 月 GLM-4 大模型性能的基础上价格大幅下调，达到 1 元 / 百万 tokens。
GLM-4-Air 的性能可以媲美 GLM-4-0116 大模型，价格仅为后者的 1/100。值得一提的是，GLM-4-Air 的 API 大幅提升了推理速度，相比 GLM-4-0116，GLM-4-Air 的推理速度提升了 200%，每秒可以输出 71 个 token，远远超过人眼的阅读速度。
智谱表示，大模型价格调整是基于技术突破、算力效率提升和成本控制的综合结果，未来每隔一段时间就会对价格做出调整，以更好的满足开发者、客户的需求，极具竞争力的价格不仅是合理的，而且也符合自身的商业策略。
生态建设步入下一个 Level
作为国内最早入局大模型赛道的创业公司之一，智谱 AI 现在已成为国内 AI 技术公司的代表。
它不仅是国产大模型技术的领军者，也是大模型学术界、开源生态中不可忽视的中国力量。智谱在 AI 领域已拥有广泛影响力，开源模型累计下载量高达 1600 万次，支持开源社区是智谱坚定不移的承诺。
更进一步，智谱 AI 也在共同制定大模型的 AI 安全标准。5 月 22 日，OpenAI、谷歌、微软和智谱 AI 等来自不同国家和地区的公司共同签署了前沿人工智能安全承诺（Frontier AI Safety Commitments）。其中指出，要确保前沿人工智能安全的负责任治理结构和透明度，负责任地说明如何衡量前沿人工智能模型的风险，并建立前沿人工智能安全模型风险缓解机制的明确流程。
而在 AI 领域之外，对于众多从大模型突破中受益的行业来说，智谱 AI 正在改通过 MaaS 的方式驱动企业生产力变革，其大模型的生态圈已经初具规模。
「我们为什么判断 2024 年是 AGI 的元年？如果说用一句话来解答这个问题：Scaling Law 并未失效，AI 技术增长进入了一个全新的阶段。大模型技术创新依旧是突飞猛进的进行时，甚至还有速度越来越快的迹象，」张鹏说道。「坦白地讲，历史上我们从未见过一种技术以如此陡峭的创新曲线迭代升级，持续时间还如此之长。」
智谱 AI 技术创新和商用落地的速度正在践行着这条陡峭的曲线。
在技术大发展的过程中，智谱 AI 已经走上了快车道。
# OpenRLHF
这个团队做了OpenAI没Open的技术，开源OpenRLHF让对齐大模型超简单
随着大型语言模型（LLM）规模不断增大，其性能也在不断提升。尽管如此，LLM 依然面临着一个关键难题：与人类的价值和意图对齐。在解决这一难题方面，一种强大的技术是根据人类反馈的强化学习（RLHF）。
但是，随着模型越来越大，RLHF 通常需要维持多个模型以及越来越复杂的学习流程，这又会导致内存和计算资源需求增长。举个例子，近端策略优化（PPO，这是 RLHF 常用的一种算法）需要在训练过程中维持四个模型。
由此，当语言模型的参数规模超过 700 亿时，为了训练和协调多个模型，所需的计算资源和调度复杂性会显著增长 —— 这是当前的架构设计难以满足的需求。
Transformer 强化学习（TRL）、ColossalChat（CAIChat）和 DeepSpeed-Chat（DSChat）等现有的开源 RLHF 框架是依靠零冗余优化器（Zero Redundancy Optimizer/ZeRO），来将 RLHF 训练涉及的四个模型配置到同一台 GPU 上。这个过程被称为 co-location，即空间并置。
但是，随着模型参数规模超过 700 亿，在内存有限的 GPU 上，这种调度方法的效率会越来越低。
为了解决空间并置的限制，TRL 等一些框架选择在内存使用上做出妥协，其做法包括将 actor 和 critic 模型融合起来或采用低秩适应（LoRA）等技术。但是，这些技术会降低模型性能，而且融合 actor-critic 式架构与备受推崇的实践做法不兼容，即使用奖励模型的权重来初始化 critic 模型的权重。
另一种替代方法是使用来自英伟达 Megatron 的张量并行化和管道并行化技术。但是，Megatron 与人们常用的 Hugging Face 软件库不兼容，而适应新模型又需要大量修改源代码，如此就很难使用了。
为了轻松实现大规模 RLHF 训练，OpenLLMAI、字节跳动、网易伏羲 AI Lab、阿里巴巴的一个联合团队提出并开源了 OpenRLHF，其中第一作者为 Jian Hu。该框架使用 Ray、vLLM 和 DeepSpeed 对模型调度进行了重新设计，可支持超 700 亿参数的模型的 RLHF 训练，其优势包括简单易用、高性能、实现了分布式 RLHF、集成了 PPO 实现技巧。
- 论文标题：OpenRLHF: An Easy-to-use, Scalable and High-performance RLHF Framework
- 论文地址：https://arxiv.org/pdf/2405.11143
- 开源项目：https://github.com/OpenLLMAI/OpenRLHF
有关 Ray、vLLM 和 DeepSpeed 的具体详情，请访问原论文：
- Ray: A Distributed Framework for Emerging AI Applications，arXiv:1712.05889
- Efficient Memory Management for Large Language Model Serving with PagedAttention，arXiv:2309.06180
- DeepSpeed: System Optimizations Enable Training Deep Learning Models with Over 100 Billion Parameters，https://github.com/microsoft/DeepSpeed
OpenRLHF 可与 Hugging Face Transformer 无缝整合，并且支持混合专家（MoE）、Jamba 和 QLoRA 等常用技术。此外，OpenRLHF 还实现了多个对齐算法，包括直接偏好优化（DPO）和 Kahneman-Tversky 优化（KTO）、条件 SFT 和拒绝采样。
因此，可以说 OpenRLHF 是一个非常全面的 RLHF 训练框架。
表 1 比较了常用的 RLHF 框架。
OpenRLHF 的设计
调度优化
要为更大的模型执行 RLHF 训练，需要高效地在多台 GPU 上分配至少四个组件模型（actor、critic、奖励、参考）。为什么需要多台 GPU？因为每台 GPU 加速器的内存有限，比如 NVIDIA A100 的内存不到 80GB。OpenRLHF 在模型调度方面创新性地使用了 Ray 来进行模型安放和细粒度的编排。
同时，OpenRLHF 还使用了针对推理优化的软件库 vLLM 和针对训练优化的软件库 DeepSpeed；它们都由基于 Ray 的调度器管理。
OpenRLHF 能将四个模型分配到多台 GPU 上，而不是将它们并置于同一台 GPU，如图 1 所示。
这样的设计很自然就支持在 RLHF 训练过程中使用多个奖励模型，如图 2 所示，并适用于多种算法实现。
基于此，算法工程师无需关心底层数据流的细节，就能快速构建多种对齐策略，比如有用性和有害性分离。这样的调度器设计还可使用 Ray 和 DeepSpeed 来实现灵活的模型融合或卸载策略。比如可以融合 actor - 参考或 critic - 奖励模型以节省 GPU 资源。
除了能高度定制算法实现这一优点，该调度器还能以最优方式编排 GPU，从而提升整体训练性能。
性能优化
RLHF 算法的性能取决于训练和推理两方面的效率。从分析结果看，主要瓶颈是在 PPO 样本生成阶段（如图 2 所示），这个阶段占到了整体训练时间的 80%。原因是：在生成阶段，自回归解码的复杂度为 O (n^2)，并且也受到内存限制。
为了进一步加快样本生成的速度以及支持无法载入到单台 GPU 的更大型 LLM（比如 700 亿参数的模型），OpenRLHF 使用了 vLLM 的张量并行化等先进技术（连续批处理和分页注意力）来执行生成过程，如图 1 所示。
在 RLHF 的生成和学习阶段，OpenRLHF 采用了以下技术来获得进一步的提升：
- 将 Adam 优化器状态卸载到 CPU，这能将 GPU 内存解放出来用于较大的推理批量大小，这能提升效率以及避免生成的内存瓶颈。置顶内存和梯度积累，用于降低梯度聚合过程中的 GPU-CPU 通信负载。
- 使用 Flash Attention 2 来加速 Transformer 模型训练。
- 使用 PyTorch 张量切片移除训练样本中的冗余填充。
图 2 中另外三个模型使用了 ZeRO 的第 3 阶段（对模型、梯度和优化器进行分片）。OpenRLHF 使用了英伟达 NCCL 和 vLLM 权重加载器来同步 ZeRO 和 vLLM 引擎的权重，确保实现快速又简单的集成。
表 2 比较了 OpenRLHF 与该团队精心微调过的 DSChat 的性能。
训练稳定性
在训练大型语言模型（LLM）时，PPO 等强化学习算法容易不稳定。为了保证稳定，该团队尽力验证了 OpenRLHF 的实现细节。图 2 和图 3 分别给出了一般的推理和学习流程。
此外，OpenRLHF 还借助了一些技巧来保证 PPO 实现的训练稳定，包括：
- 仅在序列的文本末端 token 上预测奖励
- 为语言模型使用 token 层级的强化学习
- 在 PPO 中使用 KL 散度损失项
- 在 PPO 中使用已预训练的损失项，其根据策略损失的相对规模进行调整
- 为训练稳定度使用奖励归一化
- 通过全局统计使用分布式优势归一化
- 使用线性预热余弦退火学习率调度器
易用性
为便于用户使用，该团队还为支持的算法提供了一键可用的可训练脚本（详见原论文），并且该脚本与 Hugging Face 软件库完全兼容。下面给出了 Llama2 70B 模型的 RLHF 训练的最低配置：
# stable-audio-open-1.0
Stability AI开源47秒音频生成模型，虫鸣鸟叫、摇滚、鼓点都能生成
音频生成领域又有好消息：刚刚，Stability AI 宣布推出开放模型 Stable Audio Open，该模型能够生成高质量的音频数据。
项目地址：https://huggingface.co/stabilityai/stable-audio-open-1.0
与 Stability AI 的商业 Stable Audio 产品（可生成长达三分钟的更长、连贯的音乐曲目）不同，Stable Audio Open 可以通过简单的文本提示生成长达 47 秒的高质量音频数据。
经过专业训练后，这个模型已经非常适合创建鼓点、乐器 riffs、环境音、拟声录音和其他用于音乐制作和声音设计的音频样本。虽然它可以生成简短的音乐片段，但它并未针对完整的歌曲、旋律或人声进行优化。
Stable Audio Open 的主要优势在于，用户可以根据自己的自定义音频数据对模型进行微调。
比如，下方是鼓手根据自己的鼓声录音样本进行微调生成的新节拍：
warm_arpeggios_on_an_analog_synthesizer_with_a_gradually_ri,机器之心,47秒
生成森林中鸟儿唱歌的音频：
【blackbird】tmp_gradio_8cc6bd4d9dd695112ffb021c7f3c9539e74,机器之心,47秒
再生成一段「动次打次」的摇滚乐：
【摇滚】rock_beat_played_in_a_treated_studio_session_drummi,机器之心,47秒
训练细节与数据集
Stable Audio Open 是基于 Transformer 架构的潜在扩散模型，由三个组件组成：将波形压缩为可管理序列长度的自编码器、用于文本调节的基于 T5 的文本嵌入，以及在自编码器的潜在空间中运行的基于 transformer 的扩散 (DiT) 模型。
随着包括 Stability 在内的音乐生成器越来越受欢迎，版权以及一些生成器创建者可能滥用版权的方式正成为人们关注的焦点。
Stability AI 对本次模型的训练采取了负责任的态度，在文生图模型训练上的「版权问题」曾让这家公司深陷争议之中。因此，Stable Audio Open 使用来自 FreeSound 和 Free Music Archive 的音频数据进行训练，确保未经许可未使用任何受版权保护或专有的材料。
数据集共包含 486492 个音频记录，其中 472618 个来自 Freesound，13874 个来自 Free Music Archive 。所有音频文件均为 CC0、CC BY 或 CC Sampling+ 许可。这些数据用于训练自编码器和 DiT，此外研究者使用了公开的预训练 T5 模型（t5-base）进行文本调节。
在开始训练之前，研究者进行了深入分析，以确保训练数据中没有未经授权的版权音乐。
他们首先使用基于 AudioSet 类别的 PANNs 音乐分类器识别了 FreeSound 中的音乐样本。被识别的音乐样本中至少有 30 秒的音乐被预测为属于音乐相关类别，阈值为 0.15（PANNs 输出概率范围为 0 至 1）。
识别出的音乐样本被发送到 Audible Magic（一家值得信赖的内容检测公司）的识别服务，以确保不存在受版权保护的音乐。Audible Magic 标记了疑似受版权保护的音乐，这些会被删除，然后再对数据集进行训练。大部分被删除的内容都是现场录音，其中的背景音乐都是受版权保护的。经过上述处理后，研究者得到了 266324 个 CC0、194840 个 CC-BY 和 11454 个 CC 采样 + 音频记录。
最后要确保的是， FMA 子集中不存在受版权保护的内容。在这种情况下，程序略有不同，因为 FMA 子集中包含音乐信号。研究者根据大型版权音乐数据库进行元数据搜索，并标记任何可能匹配的内容，被标记的内容会由人工逐一审核。这一过程之后，最终获得了 8967 首 CC-BY 和 4907 首 CC0 音乐。
局限性
Stable Audio Open 1.0 作为一个音频生成模型，也有一些局限性，包括：
- 无法生成逼真的声音；
- 使用英语描述进行训练，在其他语言中的表现不会那么好；
- 不能适用于所有音乐风格和文化，训练数据缺乏多样性，模型可能无法在现有的各种音乐流派和声音效果上表现得同样好；
- 有时很难评估哪种类型的文本描述可以提供最佳的生成效果，可能需要进行工程设计才能获得令人满意的结果。
值得注意的是，Stable Audio Open 是一个开放模型，但是从技术上讲它不是开源的。Stable Audio Open 并未使用实际的开放源代码促进会 (OSI) 批准的许可证，而是根据 Stability AI 非商业研究社区协议许可证向用户提供。
与此同时，Stable Audio Open 也不能用于商业用途；服务条款禁止这样做。而且，它在不同音乐风格和文化中的表现并不一样好，或者在使用英语以外的语言描述时也表现不佳。
Stability AI 将此归咎于训练数据。模型描述中写道：「数据源可能缺乏多样性，数据集中并非所有文化都具有同等代表性。模型生成的样本将反映训练数据的偏差。」
