RAG搭建智能助理第三节课笔记
概述
这节课主要讲了RAG在大模型的应用，难度比较大。RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。
而其中实现的原理是和向量有关，在RAG系统中，文本数据可以被视为高维空间中的点或向量。每个文档或句子都可以被转换成一个向量，这个向量反映了该文档或句子在多维空间中的位置。这种转换可以通过词嵌入技术实现，如Word2Vec、BERT等模型能够将词汇映射到高维空间中的向量表示
当用户提出查询时，系统首先会在其数据库中搜索与查询最相似的文档或句子的向量。这一步骤实际上是在执行一个向量之间的相似度比较，即计算查询向量与文档向量之间的余弦相似度或其他相似度度量。通过这种方式，系统能够快速找到与查询最相关的信息。
茴香豆 Web 版中创建自己领域的知识问答助手
在这个过程操作并不复杂，在搭建好的web上传文档，然后可以调节正反例，就可以开始对话了
在一开始我直接上传一整本书让其根据里面的内容进行回答，但遇到这样的问题就是完全没有反应，一直报出这个没有API回复
后面我对比标准的数据格式，才发现如果直接没有提炼和总结这样格式的数据，检索不到这样的数据，也可能是文本量过大，模型检索的能力没跟上。于是我根据网上找到的信息做总结和提炼成Q&A的形式，后面茴香豆能准确输出内容
对比原始数据库内容
在 InternLM Studio 上部署茴香豆技术助手
这一小节主要是按照课程文档的步骤一步步来，依旧的大致流程是创建虚拟环境，激活，安装依赖库，克隆仓库模型，最后运行
还有一个比较新的知识点是关于茴香豆的配置文件采用 Toml 形式，没有接触过这方面的内容，需要课后补充有关这方面的知识。由于时间和精力有限，对于这节课的内容也只是完成了基础作业，对于进阶应用有机会再深入学习了解
