- 微调
大语言模型-ChatGLM-Tuning大语言模型-微调chatglm6b大语言模型-中文chatGLM-LLAMA微调大语言模型-alpaca-lora - 本地知识库
大语言模型2-document ai解读大语言模型-DocumentSearch解读大语言模型-中文Langchain
大语言模型的学习,首先来看简单有效的document.ai
document.ai
https://github.com/GanymedeNil/document.ai
该仓库简洁展示了如何搭建基于本地知识库的对话方案
- 数据集中的原始文本经过openAI embedding 存储到向量数据库中
- 针对query,查询的问题转化为向量,搜索数据中的相近的答案topK
- 以上和普通的对话相同。使用chatgpt,调用openai API,第二部结果转化为prompt进入openai进行完善
本地文件导入向量数据库
def to_embeddings(items):
sentence_embeddings = openai.Embedding.create(
model="text-embedding-ada-002",
input=items[1]
)
return [items[0], items[1], sentence_embeddings["data"][0]["embedding"]]
数据实例
- 常年过敏#####症状包括鼻塞或流鼻涕,鼻、口或喉咙发痒,眼睛流泪、发红、发痒、肿胀,打喷嚏。
主函数
if __name__ == '__main__':
client = QdrantClient("127.0.0.1", port=6333)
collection_name = "data_collection"
openai.api_key = os.getenv("OPENAI_API_KEY")
# 创建collection
client.recreate_collection(
collection_name=collection_name,
vectors_config=VectorParams(size=1536, distance=Distance.COSINE),
)
count = 0
for root, dirs, files in os.walk("./source_data"):
for file in tqdm.tqdm(files):
file_path = os.path.join(root, file)
with open(file_path, 'r', encoding='utf-8') as f:
text = f.read()
parts = text.split('#####') # 第一部分 病,第二部分 症状
item = to_embeddings(parts) # 第一:病,第二:症状,第三:症状的向量
client.upsert(
collection_name=collection_name,
wait=True,
points=[
PointStruct(id=count, vector=item[2], payload={"title": item[0], "text": item[1]}),
],
)
count += 1
服务端
Flask
@app.route('/search', methods=['POST'])
def search():
data = request.get_json()
search = data['search']
res = query(search)
return {
"code": 200,
"data": {
"search": search,
"answer": res["answer"],
"tags": res["tags"],
},
}
搜索内容进入query函数
def query(text):
"""
执行逻辑:
首先使用openai的Embedding API将输入的文本转换为向量
然后使用Qdrant的search API进行搜索,搜索结果中包含了向量和payload
payload中包含了title和text,title是疾病的标题,text是摘要
最后使用openai的ChatCompletion API进行对话生成
"""
client = QdrantClient("127.0.0.1", port=6333)
collection_name = "data_collection"
openai.api_key = os.getenv("OPENAI_API_KEY")
sentence_embeddings = openai.Embedding.create(
model="text-embedding-ada-002",
input=text
)
"""
因为提示词的长度有限,所以我只取了搜索结果的前三个,如果想要更多的搜索结果,可以把limit设置为更大的值
"""
search_result = client.search(
collection_name=collection_name,
query_vector=sentence_embeddings["data"][0]["embedding"],
limit=3,
search_params={"exact": False, "hnsw_ef": 128}
)
answers = []
tags = []
"""
因为提示词的长度有限,每个匹配的相关摘要我在这里只取了前300个字符,如果想要更多的相关摘要,可以把这里的300改为更大的值
"""
for result in search_result:
if len(result.payload["text"]) > 300:
summary = result.payload["text"][:300]
else:
summary = result.payload["text"]
answers.append({"title": result.payload["title"], "text": summary})
completion = openai.ChatCompletion.create(
temperature=0.7,
model="gpt-3.5-turbo",
messages=prompt(text, answers),
)
return {
"answer": completion.choices[0].message.content,
"tags": tags,
}
其中,最后使用的prompt是利用openai的关键
def prompt(question, answers):
"""
生成对话的示例提示语句,格式如下:
demo_q:
使用以下段落来回答问题,如果段落内容不相关就返回未查到相关信息:"成人头疼,流鼻涕是感冒还是过敏?"
1. 普通感冒:您会出现喉咙发痒或喉咙痛,流鼻涕,流清澈的稀鼻涕(液体),有时轻度发热。
2. 常年过敏:症状包括鼻塞或流鼻涕,鼻、口或喉咙发痒,眼睛流泪、发红、发痒、肿胀,打喷嚏。
demo_a:
成人出现头痛和流鼻涕的症状,可能是由于普通感冒或常年过敏引起的。如果病人出现咽喉痛和咳嗽,感冒的可能性比较大;而如果出现口、喉咙发痒、眼睛肿胀等症状,常年过敏的可能性比较大。
system:
你是一个医院问诊机器人
"""
demo_q = '使用以下段落来回答问题:"成人头疼,流鼻涕是感冒还是过敏?"\n1. 普通感冒:您会出现喉咙发痒或喉咙痛,流鼻涕,流清澈的稀鼻涕(液体),有时轻度发热。\n2. 常年过敏:症状包括鼻塞或流鼻涕,鼻、口或喉咙发痒,眼睛流泪、发红、发痒、肿胀,打喷嚏。'
demo_a = '成人出现头痛和流鼻涕的症状,可能是由于普通感冒或常年过敏引起的。如果病人出现咽喉痛和咳嗽,感冒的可能性比较大;而如果出现口、喉咙发痒、眼睛肿胀等症状,常年过敏的可能性比较大。'
system = '你是一个医院问诊机器人'
q = '使用以下段落来回答问题,如果段落内容不相关就返回未查到相关信息:"'
q += question + '"'
# 带有索引的格式
for index, answer in enumerate(answers):
q += str(index + 1) + '. ' + str(answer['title']) + ': ' + str(answer['text']) + '\n'
"""
system:代表的是你要让GPT生成内容的方向,在这个案例中我要让GPT生成的内容是医院问诊机器人的回答,所以我把system设置为医院问诊机器人
前面的user和assistant是我自己定义的,代表的是用户和医院问诊机器人的示例对话,主要规范输入和输出格式
下面的user代表的是实际的提问
"""
res = [
{'role': 'system', 'content': system},
{'role': 'user', 'content': demo_q},
{'role': 'assistant', 'content': demo_a},
{'role': 'user', 'content': q},
]
return res