通过部署llama2系列，可以构建本地私有的知识小助手

用来输出一写周报、月报，甚至辅助数据分析都可以（想想都很轻松）

想要大模型支持特定的数据集，就需要进行专业的fine-turing

但是fine-turing工作，是需要一系列的数据工程，向量化等工作，不太便捷

PromtEngineer/localGPT 把这些工作就包装好了，我们可以直接部署使用，甚至也可以跟本地的UI工具做一个集成

localGPT

https://github.com/PromtEngineer/localGPT

localGPT支持很多种本地环境部署方式cuda、cpu等（没有NVIDIA也能跑）

大致工作原理，localGPT会先通过对本地的文件进行“向量”等处理(ingetst.py)，会放到本地的一个向量数据库中(sqlite DB)

然后通过运行run_localGPT.py启动fine-turing过程

部署需要python3.0环境

conda create -n localGPT python=3.10.0

如果你本地有GPU，还需要安装一个依赖（不太好装，看你会不会遇到问题）

clone下来代码，看下目录里的constants.py文件

MODEL_ID = "TheBloke/Llama-2-7b-Chat-GGUF"
MODEL_BASENAME = "llama-2-7b-chat.Q4_K_M.gguf"

注意如果本地运行的是GPU，就要找对应GPU版本的模型

拉取llama2 模型

（如果第一次使用 ）先在huggingface 注册自己的token，用来拉取模型使用(https://huggingface.co/settings/tokens)

然后安装 huggingface-hub(重点：注意在windows shell工具登录的时候，不要用键盘复制粘贴，一定要用鼠标右键paste）

pip3 install huggingface-hub>=0.17.1

模型提供了很多变体，可以用来在不同的环境下使用

https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF

https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/tree/main

如果是第一次下载模型会需要点时间，大概5G左右

第一次使用还需要在模型首页完成申请授权

demo工作报告

由于localGPT是基于本地文档进行模型微调的，所以我们需要将数据放入文档中SOURCE_DOCUMENTS目录（这个工作也可以自动化）

假设模拟一家餐厅的每天的数据，然后形成日报信息，每天灌给他

然后输出一周的周报（我们用GPT模拟生成）

将文档放到SOURCE_DOCUMENTS目录下

然后运行 ingest.py 脚本，记得--device_type参数要根据自己的机器情况选择（我本地是NVIDIA卡）

python ingest.py --device_type cuda

会输出如下信息

 python ingest.py --device_type cuda
2024-03-31 14:07:29,899 - INFO - ingest.py:147 - Loading documents from D:\localGPT-main\localGPT-main/SOURCE_DOCUMENTS
Importing: ABC餐厅本周数据.pdf
D:\localGPT-main\localGPT-main/SOURCE_DOCUMENTS\ABC餐厅本周数据.pdf loaded.

2024-03-31 14:07:38,279 - INFO - ingest.py:156 - Loaded 1 documents from D:\localGPT-main\localGPT-main/SOURCE_DOCUMENTS
2024-03-31 14:07:38,284 - INFO - ingest.py:157 - Split into 2 chunks of text
2024-03-31 14:07:39,104 - INFO - SentenceTransformer.py:66 - Load pretrained SentenceTransformer: hkunlp/instructor-large
load INSTRUCTOR_Transformer
max_seq_length  512
2024-03-31 14:07:40,384 - INFO - ingest.py:168 - Loaded embeddings from hkunlp/instructor-large

可以大致看到一些有用的信息，SentenceTransformer是一个强大的微调框架（https://www.sbert.net/，https://huggingface.co/hkunlp/instructor-large）等

ingest顺利完成之后，当前的文本就已经形成向量进入到向量DB中了

我们开始进行正式微调程序

python run_localGPT.py --device_type cuda

（如果你本地报错ValueError: check_hostname requires server_hostname，记得关闭kx上网）

看到 “Enter a query:” 应该是顺利成功了

我们问下 ”3月27日 3月28日 3月29日 3月30 3月31日 销售额分别多少“

看上去没啥问题（llama是英文的，如果需要跟本地工具集合，接一些翻译库就行了）

这个只是一个demo，如果要系统严谨的输出，还是需要在数据格式、数据组织、prompt工程上好好打磨的

关注微信公众号|收获更多干货