一、Llama 3.1介绍
2024年7月24日，Meta宣布推出迄今为止最强大的开源模型Llama 3.1 405B，Llama 3.1的405B支持上下文长度为128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可操纵性、数学、工具使用和多语言翻译方面与顶级人工智能模型相媲美的模型。405B新一代大模型所需要的算力成本也是巨大的，一般的中小型企业和个人需要慎重评估一下成本与产出是否值得应用。好在作为新版本发布的一部分，官方也同时推出全新升级的Llama 3.1 70B和8B模型版本。接下来我们就介绍环境安装和使用方法。
二、安装
1、Llama 3.1下载官网地址: https://ollama.com/
2、进入官网选择我们需要使用的那个环境进行安装，分别有Windows、Linux、和macOS。我们根据自己的系统选择对应的安装包进行下载安装
3、安装完成后我们通过命令下载对应的模型
Model | Parameters | Size | Download |
Llama 3 | 8B | 4.7GB | ollama run llama3 |
Llama 3 | 70B | 40GB | ollama run llama3:70b |
Mistral | 7B | 4.1GB | ollama run mistral |
Dolphin Phi | 2.7B | 1.6GB | ollama run dolphin-phi |
Phi-2 | 2.7B | 1.7GB | ollama run phi |
Neural Chat | 7B | 4.1GB | ollama run neural-chat |
Starling | 7B | 4.1GB | ollama run starling-lm |
Code Llama | 7B | 3.8GB | ollama run codellama |
Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
Llama 2 13B | 13B | 7.3GB | ollama run llama2:13b |
Llama 2 70B | 70B | 39GB | ollama run llama2:70b |
Orca Mini | 3B | 1.9GB | ollama run orca-mini |
LLaVA | 7B | 4.5GB | ollama run llava |
Gemma | 2B | 1.4GB | ollama run gemma:2b |
Gemma | 7B | 4.8GB | ollama run gemma:7b |
Solar | 10.7B | 6.1GB | ollama run solar |
例如：我们输入 ollama run llama3.1 默认安装8B的大模型
4、安装成功之后如下
ollama run llama3.1
pulling manifest
pulling manifest
pulling manifest
pulling manifest
pulling manifest
pulling manifest
pulling 87048bcd5521... 100% ▕████████████████████████████████████▏ 4.7 GB
pulling 8cf247399e57... 100% ▕████████████████████████████████████▏ 1.7 KB
pulling f1cd752815fc... 100% ▕████████████████████████████████████▏ 12 KB
pulling 56bb8bd477a5... 100% ▕████████████████████████████████████▏ 96 B
pulling e711233e7343... 100% ▕████████████████████████████████████▏ 485 B
verifying sha256 digest
writing manifest
removing any unused layers
success
>>> Send a message (/? for help)5、在最后光标处输入我们想要提问的问题既可以得到回复，比如我们让 Llama 3.1做个自我介绍
至此我们实现了简单的对llama3.1的安装和使用，还有70B和405B大家有兴趣可以自行安装试试！后续给大家分享llama3.1的api调用和封装，欢迎大家关注和点赞！
