如何批量下载hugging face模型和数据集文件
原创
©著作权归作者所有:来自51CTO博客作者蜗牛_的原创作品,请联系作者获取转载授权,否则将追究法律责任
本文内容
目前网上关于下载hugging face模型文件大多都是一个一个下载,无法做到批量下载,但有些模型或数据集包含文件太多,不适用一个一个下载。本文将会介绍如何使用git进行批量下载。
Git代理配置
由于Hugging Face的部分模型和数据集在国外服务器,不使用代理比较慢,所以要先配置git代理。全局代理配置方式:
只对clone使用代理的配置方式:
git clone XXX.git -c http.proxy="http://127.0.0.1:1080"
下载模型或数据集
- 首先到你需要下载的数据集或模型文件下,复制url.
到你所要下载模型或数据集文件后,去掉后面的/tree/main
,然后增添.git
,之后使用git
下载就可以了。
- 到控制台命令执行如下命令:
输出
PS D:\temp> git clone https://huggingface.co/datasets/glue.git
Cloning into 'glue'...
remote: Enumerating objects: 121, done.
remote: Counting objects: 100% (121/121), done.
remote: Compressing objects: 100% (101/101), done.
Receiving objects: 91% (111/121)te: Total 121 (delta 54), reused 0 (delta 0), pack-reused 0
Receiving objects: 100% (121/121), 29.76 KiB | 3.31 MiB/s, done.
Resolving deltas: 100% (54/54), done.
Updating files: 100% (14/14), done.
Filtering content: 100% (10/10), 20.08 KiB | 6.00 KiB/s, done.
成功下载文件。
Hugging Face的数据集和模型还提供了不同的版本,要下载其他版本只需要使用git的-b
参数下载对应的分支即可。