LLM-04 大模型 15分钟 FineTuning 微调 ChatGLM3-6B(微调实战1) 官方案例 3090 24GB实战 需22GB显存 Lo
目前借到一台算法组的服务器,我们可以查看一下目前显卡的情况nvidia-smi(后续已经对CUDA等进行了升
LLM-02 大模型 本地部署运行 ChatGLM3-6B(13GB) 双卡2070Super8GB 环境配置 单机多卡 基于LLM-01章节
这里提供一个例子,运行可以自动把模型下载下来。这边建议独立环境,避免相互影响。执行之后,观察显卡
- SFT 全量微调: 4张显卡平均分配,每张显卡占用 48346MiB 显存。- P-TuningV2 微调: 1张显卡,占用
我这里有一台 从算法组借用的GPU服务器,里边是 两张。使用命令查看当前的nvidia-smi。Ubuntu18 服务器
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号