检索增强生成 (RAG)是一个含义丰富的术语。它向世界许诺，但在开发出 RAG 管道后，我们中的许多人仍然在疑惑，为什么它的效果不如我们预期的那样好。 与大多数工具一样，RAG 易于使用但难以掌握。事实是，RAG 不仅仅是将文档放入矢量数据库并在上面添加 LLM。 这可以奏效，但并不总是如此。 本文中将介绍通常最简单、最快速地实施次优 RAG 管道的解决方案 — 我们将学习重新排序器。
做 LLM 相关的技术差不多也半年多了。这段时间学习了很多知识，如果时间允许的情况就会写点东西记录下，两个目的： • 记录学习过程和心得，感想 • 总结、分享给网友们，交流学习 这段时间也尝试使用 LLM 相关的技术做了一些东西，这个是 AI 做的儿童睡前故事， 「小书虫讲故事」爱干净的小象波波 - 小书虫讲故事 喜欢的可以看看： 下面的这些文章是我学习过程中给了我很多技术和感想的文章，现在汇总后分享给大家。部分文章取之于网络，如有问题可以私信我。也可以互相交流学习
上一篇文章 使用谷歌 Gemini API 构建自己的 Chat（教程一） 我们介绍了 Gemini 是什么，以及如何使用Gemini 构建一个多模态的聊天场景示例。这一篇我们使用 langchain 与 Gemini 集成构建应用： 将 Langchain 与 Gemini 集成 Langchain已成功将Gemini模型整合到其生态系统中，使用ChatGoogleGenerativeAI类。 启动该过程需要向ChatGoogleGenerativeAI类提供所需的Gemini模型来创建一个llm类。我们调用函数并传递用户输入的内容为参数。 可以通过调用response.content获取生成的响应。 • 在下面的代码中，我们构建了一个最简单的查询。
最近接触到一个非常有趣的挑战，涉及到人工智能数字化大量文件的能力，并使用户可以在这些文件上提出复杂的与数据相关的问题，比如： • 数据检索问题：涉及从数据库中获取特定数据点或数据集，例如“电子产品类别中有多少产品？” 或 “2021年第四季度总销售额是多少？” • 汇总查询：需要对数据进行总结的问题，如计算平均值、求和、计数等，例如“所有已上架产品的平均价格是多少？”或“每个地区客户的总人数是多少？” • 数据关系探索：探究不同数据实体之间关系的问题，比如"哪些客户购买了三种以上不同的产品？" 或 "列出上个月没有交付任何产品的所有供应商。" • 条件查询：涉及条件或筛选器，比如“列出2022年发生在超过500美元交易额以上的所有交易” 或 “展示所有缺货商品。”
什么是 RAG RAG 是retrieval-augmented-generation的缩写，翻译为中文的意思就检索增强，以基于最新，最准确的数据建立LLM 的语料知识库。 LLM 现存的痛点 我们知道 LLM 的知识库是通过现有的网络公开的数据作为数据源来训练的，现在公开的很多模型他们基于的训练数据会比我们现在网络上公开的数据早很多，那自然就会产生一种问题，网络上最新的数据和知识 LLM 是不知道。还有一种情况就是很多企业他们对自己的数据的安全做的很好，也就是私有化数据（这些数据是有价值的，也是企业的立足之本）。这些数据网络上肯定是不存在，那自然 LLM 也是不知道的。 我们在提问LLM 对于一些不知道的知识时候，LLM 很多时候是不知道如何回答问题的。甚至会对我们的问题进行胡诌随机回答，也就是瞎说。
AI领域一直由OpenAI和微软等公司主导，而Gemini则崭露头角，以更大的规模和多样性脱颖而出。它被设计用于无缝处理文本、图像、音频和视频；这些基础模型重新定义了人工智能交互的边界。随着谷歌在人工智能领域强势回归，了解Gemini如何重新定义了人机交互的格局，展示了AI驱动创新未来的一脚。 在本文中，我们将获取免费Google API密钥、安装必要依赖项以及编写代码来构建超越传统文本交互的智能聊天机器人的过程。 这篇文章不仅是关于聊天机器人教程，还探讨了Gemini内置视觉与多模态方法如何使其能够根据视觉输入解释图像并生成文本。
RAG优化技巧 | 7大挑战与解決方式 | 提高你的LLM： 下篇 上一篇我们谈论 RAG优化技巧 | 7大挑战与解决方式 | 提高你的LLM：上篇 RAG 的优化技巧，这一篇我们继续谈论剩余的内容： 在当今快速发展的人工智能领域，大型语言模型（LLM）已经成为无处不在的技术，它们不仅改变了我们与机器交流的方式，还在各行各业中发挥着革命性的影响。
在当今快速发展的人工智能领域，大型语言模型（LLM）已经成为无处不在的技术，它们不仅改变了我们与机器交流的方式，还在各行各业中发挥着革命性的影响。
构建RAG驱动的应用程序中的路由 根据用户查询的意图在 RAG 应用程序内路由控制流可以帮助我们创建更有用、更强大的基于检索增强生成 (RAG) 的应用程序。 我们希望用户能够交互的数据很可能来自各种来源，例如报告、文档、图像、数据库和第三方系统。对于基于业务的 RAG 应用程序，我们可能希望使用户能够与来自业务中一系列领域的信息进行交互，例如来自销售、订购和会计系统的信息。 由于数据源的多样性，信息存储的方式以及我们想要与之交互的方式也可能是多种多样的。有些数据可能存储在向量存储中，有些数据存储在 SQL 数据库中，有些数据可能需要通过 API 调用进行访问，因为它位于第三方系统中。
向量数据库已成为存储和索引非结构化和结构化数据表示的首选位置。这些表示称为向量嵌入，是由嵌入模型生成的。向量存储在利用深度学习模型（尤其是大型语言模型）的应用程序开发中发挥着至关重要的作用。
LLM 中什么是Prompts？如何使用LangChain 快速实现Prompts 一 Prompt是一种基于自然语言处理的交互方式，它通过机器对自然语言的解析，实现用户与机器之间的沟通。 Prompt主要实现方式是通过建立相应的语料库和语义解析模型，来将自然语言转换为机器可识别的指令。 Prompt是一种计算机编程语言，它被广泛用于自然语言处理(NLP)和人工智能(AI)领域。
这些神经元中的每一个都以突触的复杂排列与其他神经元相连。现在，你想知道这与人工神经网络有什么关系吗？好吧，人工神经网络是以人脑中的神经元为模型的。让我们详细看看它们是什么以及它们如何学习信息。
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
