Baihai_IDP的博客_技术干货(3)

一种人机协作新范式？为每个人准备的 AI Agents “羊皮卷”

编者按：当前大热的大语言模型和检索增强生成模型，虽然在语言理解和内容生成方面取得了突破性的进展，但仍然存在诸多限制。它们缺乏根据目标导引行为、持续学习和与环境交互的能力，难以应对复杂多变的现实场景需求。今天为大家带来的这篇文章，作者的观点是人工智能领域正朝着开发更智能、更自主的 AI Agent 系统迈进，这将彻底改变我们使用人工智能的方式。作者相信人工智能的未来必将呈现出更智能、更自主的 AI

人工智能

语言模型

LLMs

白海科技

原创精选 2024-05-29 10:37:42 244 阅读 1点赞 yyds干货盘点

让 LLMs 学会使用工具 | 函数调用（Function Calling）技术实例探索

编者按：大语言模型拥有令人惊叹的语言理解和生成能力，却也存在自主决策、与外部系统交互等方面的不足。函数调用（Function Calling）技术的出现，正是为解决这一难题而生的创新方案，它赋予了大语言模型更强的自主能力和与外部世界连接的能力，成为实现真正智能自主 Agent 的关键一环。本期我们精心为各位读者伙伴呈现一篇详实的搭建技术教程，全面介绍了如何利用函数调用技术构建

函数调用

Agent

白海科技

原创 2024-05-23 10:36:17 996 阅读 yyds干货盘点

Advanced RAG 07：在 RAG 系统中进行表格数据处理的新思路

编者按：目前，检索增强生成（RAG）系统成为了将海量知识赋能于大模型的关键技术之一。然而,如何高效地处理半结构化和非结构化数据，尤其是文档中的表格数据，仍然是 RAG 系统面临的一大难题。本文作者针对这一痛点，提出了一种处理表格数据的新颖解决方案。作者首先系统性地梳理了RAG系统中表格处理的核心技术，包括表格解析、索引结构设计等，并评述了现有的一些开源解决方案。在此基础上，作

AI

RAG

原创 2024-05-15 10:25:54 615 阅读 yyds干货盘点

解构复合人工智能系统（Compound AI Systems）：关键术语、理论、思路、实践经验

编者按：大模型的出现为构建更智能、更复杂的人工智能系统带来了新的契机。然而，单一的大模型难以应对现实世界中错综复杂的问题，需要与其他模块相结合，构建出复合人工智能系统（Compound AI Systems）。本文作者深耕人工智能领域多年，洞见独到。文中系统性地介绍了四种常见的 Compound AI Systems 部署模式：RAG 系统、Conversational AI 系统、Multi-

LLM

原创 2024-05-10 11:29:25 461 阅读

Advanced RAG 06：生成结果的相关性低？快用 Query Rewriting 优化技术

编者按：在现实生活中，普通用户很难编写合适的提示词（prompt）来指示 LLM 完成期望任务。用户提出的 queries 往往存在词汇不准确、缺乏语义信息等问题，导致 LLM 难以理解并生成相关的模型响应。因此，如何优化 queries ，增强 LLM 对各类 query 信息

RAG

白海科技

原创 2024-05-07 11:23:47 286 阅读

提示词优化的自动化探索：Automated Prompt Engineering

编者按：作者在尝试教授母亲使用 LLM 完成工作任务时，意识到提示词的优化并不像想象中简单。提示词的自动优化对于经验并不丰富的提示词撰写者很有价值，他们没有足够的经验去调整和改进提供给模型的提示词，这引发了对自动化提示词优化工具的进一步探索。本文作者从两个角度分析了提示词工程的本质 —— 可将其视为超参数优化的一部分，也可将其视为一个需要不断尝试和调整的摸索、试错、修正过程。作者认为，对于拥有比

提示词工程

白海科技

AI

原创 2024-04-25 13:07:49 242 阅读

Advanced RAG 04：重排序（Re-ranking）技术探讨

编者按：重排序（Re-ranking）技术在检索增强生成（Retrieval Augmented Generation，RAG）系统中扮演着关键角色。通过对检索到的上下文进行筛选和排序，可以提高 RAG 系统的有效性和准确性，为最终的结果生成提供更精准的信息。本文介绍了两种主要的 Re-ranking 方法，并演示了如何将其融入到 RAG

RAG

检索增强生成

LLM

AIGC

AI

原创精选 2024-04-20 10:20:49 1587 阅读

Advanced RAG 03：运用 RAGAs 与 LlamaIndex 评估 RAG 应用

编者按：目前，检索增强生成（Retrieval Augmented Generation，RAG）技术已经广泛使用于各种大模型应用场景。然而，如何准确评估 RAG 系统的性能和效果，一直是业界和学界共同关注的重点问题。若无法对 RAG 系统进行全面、客观的评估，也难以针对性地优化和改进它。因此，开发一套科学、可靠的 RAG 系统评估指标体系，对于推动RAG技术的进一步发展具有重

LLM

RAG

AI

人工智能

原创精选 2024-04-17 11:37:22 582 阅读 yyds干货盘点

Advanced RAG 02：揭开 PDF 文档解析的神秘面纱

编者按：自 2023 年以来，RAG 已成为基于 LLM 的人工智能系统中应用最为广泛的架构之一。由于诸多产品的关键功能（如：领域智能问答、知识库构建等）严重依赖RAG，优化其性能、提高检索效率和准确性迫在眉睫，成为当前 RAG 相关研究的核心问题。如何高效准确地从PDF等非结构化数据中提取信息并加以利用，是其中一个亟待解决的重要问题。本文比较分析了多种解决方案的优缺点，着重探讨了这一问题的应对

RAG

LLM

GenAI

白海科技

原创 2024-04-07 10:36:36 460 阅读

LoRA 及其衍生技术总览：An Overview of the LoRA Family

编者按：对于大语言模型的微调训练来说，传统的全参数微调方法需要处理数百万甚至数十亿级别的参数，计算量和显存占用都非常大。而 LoRA 这种技术方案，通过引入少量的可训练矩阵来调整预训练模型的行为，极大降低了训练所需的计算资源，是近年来大语言模型微调的一个重大突破。我们今天为大家带来的文章，介绍了众多具有代表性的 LoRA 改进方法：LoRA+ 通过为两个矩阵引入不同的学习率提高训练效率

LLM

人工智能

AI

LoRA

白海科技

原创精选 2024-03-30 09:06:44 371 阅读

发掘非结构化数据价值：AI 在文档理解领域的现状与未来

编者按：在当今这个由数据主导的时代，我们被海量多样的信息所环绕，但大部分数据都以非结构化的形式存在，诸如文档、电子邮件、合同等，这使得从中提取有价值的信息成为一大挑战。幸运的是，AI 领域正在悄然孕育一场革命性变革，它将帮助我们攻克长期以来困扰非结构化数据处理的种种困难。这篇文章首先解释了文档理解场景面临的主要挑战——需要处理文本、图像等多模态信息，并理解它们之间的逻辑关联。接着介绍了 DocL

人工智能

非结构化数据

AI

白海科技

原创 2024-03-28 10:28:40 135 阅读

LLM 模型融合实践指南：低成本构建高性能语言模型

编者按：随着大语言模型技术的快速发展，模型融合成为一种低成本但高性能的模型构建新途径。本文作者 Maxime Labonne 利用 mergekit 库探索了四种模型融合方法：SLERP、TIES、DARE和passthrough。通过配置示例和案例分析，作者详细阐释了这些算法的原理及实践操作。作者的核心观点是：相比训练全新模型，融合现有模型可以以更低计算成

模型融合

LLM

AI

白海科技

原创 2024-02-21 10:27:42 163 阅读 yyds干货盘点

如何写好大模型提示词？来自大赛冠军的经验分享（进阶篇）

编者按：近期，如何通过 Prompt Engineering 最大程度发挥大模型的潜力已成为一个热点话题。人们越来越关注如何通过 Prompt Engineering 技术低成本地用好大模型。今天我们推荐的这篇文章，作者认为 Prompt Engineering 需要结合艺术与科学，需要在理解技术背景的同时，发挥创造力和战略思维。本系列文章详细介绍了作者在新加坡首届 GPT-4 Prompt En

AI

LLM

Prompt

白海科技

程序员

原创 2024-01-22 11:55:01 1009 阅读

如何写好大模型提示词？来自大赛冠军的经验分享（基础篇）

编者按：近期，如何通过 Prompt Engineering 最大程度发挥大模型的潜力已成为一个热点话题。人们越来越关注如何通过 Prompt Engineering 技术低成本地用好大模型。今天我们推荐的这篇文章，作者认为 Prompt Engineering 是一门融合了艺术和科学的学科，需要在理解技术背景的同时，发挥创造力和战略思维。本系列文章详细介绍了作者在新加坡首届

白海科技

LLM

Prompt

AI

人工智能

原创 2024-01-17 11:47:48 216 阅读

LLM评估：通过7大指标监测并评估大语言模型的表现

深度学习

人工智能

AI

LLM

白海科技

原创精选 2023-12-29 10:22:08 732 阅读 yyds干货盘点

生成式 AI 的下一阶段将走向何方？

编者按：最近，随着 ChatGPT 的出现，很多人认为人工智能领域进入了大探索时代。然而这仅仅只是生成式 AI 发展的第一幕。我们今天要给大家带来的这篇文章认为，生成式 AI 已经进入第二幕，即整合时代，不同系统和企业之间将出现广泛合作，以定制解决方案将 AI 能力深度嵌入各行各业。文章详细阐述了第二幕的几个特征：(1)科技巨头纷纷与 AI 初创公司建立合作伙伴关系；(2)将

人工智能

GenAI

深度学习

AI

白海科技

原创 2023-12-25 10:50:01 117 阅读 yyds干货盘点

如何优化 RAG 系统的性能表现？10 条实用策略

编者按：检索增强生成(RAG)系统最近备受关注，ChatGPT的火爆更让这类系统成为广泛讨论的热点。我们今天为大家带来的这篇文章，作者Matt Ambrogi的核心观点是：构建一个基本可用的RAG系统非常简单，但要使其达到实际生产可用的程度则异常困难，需要我们投入大量精力。为此，作者详细介绍了10种策略，包括清洗数据、尝试不同索引类型、优化分块策略、使用 Base Prompt、使用元数据过滤、

白海科技

AI

深度学习

人工智能

RAG

原创 2023-12-20 11:02:03 271 阅读

AI分布式训练：DDP (数据并行）技术详解与实战

编者按：如今传统的单机单卡模式已经无法满足超大模型进行训练的要求，如何更好地、更轻松地利用多个 GPU 资源进行模型训练成为了人工智能领域的热门话题。我们今天为大家带来的这篇文章详细介绍了一种名为 DDP(Distributed Data Parallel)的并行训练技术，作者认为这项技术既高效又易于实现。文章要点如下：(1)DDP 的核心思想是将模型和数

AI

深度学习

人工智能

白海科技

原创 2023-12-18 09:55:18 358 阅读

Q-learning 入门：以 Frozen Lake 游戏环境为例

编者按：近年来，强化学习在游戏和机器人控制等领域取得了较大的进步。如何设计一种强化学习算法，使机器人或 Agent 能够在复杂环境中学习最优策略（Optimal Policy ）并作出最优的决策，这成为一个重要课题。我们今天为大家带来的这篇文章，作者指出可以通过设计并训练 Q-learning 算法来解决强化学习中的决策问题。作者首先以 Frozen Lake 游戏为例导入问题。然后详细介绍 Q-

强化学习

深度学习

游戏AI

白海科技

Q-Learning

原创 2023-12-11 11:45:21 250 阅读

GPU深度学习性能的三驾马车：Tensor Core、内存带宽与内存层次结构

编者按：近年来，深度学习应用日益广泛，其需求也在快速增长。那么，我们该如何选择合适的 GPU 来获得最优的训练和推理性能呢？今天，我们为大家带来的这篇文章，作者的核心观点是：Tensor Core、内存带宽和内存层次结构是影响 GPU 深度学习性能的几个最关键因素。作者详细解析了矩阵乘法运算在深度学习中的重要性，以及 Tensor Core 如何通过特有的矩阵乘法计算单元极大地提升计算性能。同时，

GPU

深度学习

人工智能

白海科技

LLM

原创 2023-12-04 10:08:34 484 阅读

语言模型文本处理基石：Tokenizer简明概述

编者按：近年来，人工智能技术飞速发展，尤其是大型语言模型的问世，让 AI 写作、聊天等能力有了质的飞跃。如何更好地理解和利用这些生成式 AI，成为许多开发者和用户关心的问题。今天，我们推出的这篇文章有助于读者深入了解大语言模型的工作原理。作者指出，大语言模型的核心在于将文本转化为数字表征，这就需要介绍 tokenizer 的概念。通过 tokenizer ，文本被分词并映射为 token id，这

AI

深度学习

人工智能

自然语言处理

白海科技

原创 2023-11-29 10:29:50 215 阅读 yyds干货盘点

企业级应用场景中，LLM 的数据特性剖析及处理对策

编者按：今年以来，大语言模型（LLM）在消费者(2C)市场崭露头角，同时也吸引了大量企业的关注。但是直接将这些面向消费者的模型引入企业环境，可能会面临一些风险。今天我们为大家带来的这篇文章，作者认为企业环境与消费者环境在数据方面存在着重要的差异，如果不认识到这些差异，面向企业环境的 LLM 项目就可能面临拖延甚至失败的风险。具体来说，作者指出企业数据相比消费者数据，更多是封闭领域的数据、存量数据，

LLM

AI

人工智能

白海科技

AIGC

原创精选 2023-11-27 10:30:16 342 阅读 1评论

用好语言模型：temperature、top-p等核心参数解析

编者按：我们如何才能更好地控制大模型的输出?本文将介绍几个关键参数，帮助读者更好地理解和运用 temperature、top-p、top-k、frequency penalty 和 presence penalty 等常见参数，以优化语言模型的生成效果。文章详细解释了这些参数的作用机制以及如何在质量与多样性之间进行权衡。提高 temperature 可以增加多样性但会降低质量。top-p 和 to

语言模型

LLM

深度学习

AI

白海科技

原创 2023-11-23 14:06:12 1165 阅读

Embedding技术与应用(4): Embedding应用工程探析

编者按：随着互联网内容数量的急剧增长，个性化推荐已成为各大科技公司的核心竞争力之一。那么，如何构建一个可靠、高效的基于嵌入技术的推荐系统，使其能够在实际生产环境中正常运行呢？这是所有从业者都关心的问题。本文是Embedding技术与应用的最后一篇，探析 Embedding 应用工程的文章。作者认为，要让一个推荐系统项目取得成功，不能仅仅停留在算法层面，更需要从工程实现的角度进行全面的考量和设计。文

机器学习

白海科技

深度学习

原创 2023-11-20 10:35:22 141 阅读

轻松理解 Transformers (4) ：Decoder 和 Output 部分

编者按：Transformers凭借其卓越的性能，已经成为自然语言处理领域的代表性模型架构。但是Transformers的内在机制却比较复杂，对许多读者来说可能还存在一定的难度。本系列对 Transformer各组件进行逐一剖析，我们可以更直观地理解这个模型架构的整体运行逻辑。本篇文章是《轻松理解Transformers》系列的最后一篇，主要介绍Transformer的Decoder和Output

语言模型

深度学习

白海科技

人工智能

transformer

原创 2023-11-13 10:12:05 259 阅读 yyds干货盘点

Embedding技术与应用(3)：Embeddings技术的实践应用

编者按： IDP开启Embedding系列专栏，力图详细介绍Embedding的发展史、主要技术和应用。本文是《Embedding技术与应用系列》的第三篇，重点介绍嵌入技术在生产环境中的应用效果到底如何。文章作者认为，嵌入技术可以有效地表示用户兴趣偏好，帮助推荐系统进行个性化内容推荐。作者详细分析了Pinterest、YouTube、Google Play、Twitter等平台在推荐系统中应用嵌

推荐系统

深度学习

人工智能

白海科技

AI

原创精选 2023-11-08 10:26:50 339 阅读

轻松理解 Transformers (3): Feed-Forward Layer部分

编者按：随着人工智能技术的不断发展Transformer架构已经成为了当今最为热门的话题之一。前馈层作为Transformer架构中的重要组成部分，其作用和特点备受关注。本文通过浅显易懂的语言和生活中的例子，帮助读者逐步理解Transformers中的前馈层。本文是Transformers系列的第三篇。作者的观点是：前馈层在Transformer架构中扮演着至关重要的角色，它能够有效地提高计算效率

深度学习

人工智能

机器学习

transformer

白海科技

原创精选 2023-11-06 10:07:25 365 阅读

轻松理解 Transformers（2）：Attention部分

编者按：随着人工智能技术的不断发展，Transformers 模型架构已成为自然语言处理领域的重要基石。然而，许多人对其内部工作机制仍然感到困惑。本文通过浅显易懂的语言和生活中的例子，帮助读者逐步理解 Transformers 中最核心的 Attention 机制。本文是Transformers系列的第二篇。作者的核心观点是：Attention 机制是 Transformers 模型区分关键信息的

白海科技

深度学习

人工智能

transformer

注意力机制

原创精选 2023-10-30 15:30:40 280 阅读

轻松理解 Transformers（1）：Input部分

编者按：Transformers 是人工智能领域近年来最引人瞩目的技术之一，它为语言生成模型的发展做出了巨大的贡献。随着大语言模型（LLM）的兴起，公众对其背后的技术原理也越来越感兴趣。但是由于Transformers本身具有一定的复杂性，想要真正理解其中的原理并不容易。今天，我们开始为大家带来了一系列以通俗易懂的语言解释Transformers的好文章。作者Chen Margalit希望通过本系

人工智能

transformers

白海科技

深度学习

原创 2023-10-24 15:42:49 157 阅读 yyds干货盘点

大模型的幻觉 (Hallucination) 因何而来？如何解决幻觉问题？

编者按：目前大模型仍然存在一个非常致命的缺陷——大模型的“幻觉”（Hallucination）问题。为什么 LLM 会出现幻觉？如何缓解这种情况？使用的数据集对此现象的影响几何？今天为大家带来的这篇文章将一一解答。作者首先分析了LLM中出现幻觉的原因，主要是由于训练数据的压缩以及信息的不一致、受限或过时造成的。之后，作者通过对TruthfulQA数据集进行多次实验，比较了多种减少幻觉的方法：降低temperature值限制模型的创造力；使用逐步推理的prompt提高回答的准确性；融合外部知识库增强模型效果。作者发现prompt工程技术尤其关键，必要时可以链接外部知识库。

白海科技

人工智能

大模型

深度学习

LLM

原创精选 2023-10-23 10:44:02 1339 阅读 yyds干货盘点

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Baihai_IDP的博客

一种人机协作新范式？为每个人准备的 AI Agents “羊皮卷”

让 LLMs 学会使用工具 | 函数调用（Function Calling）技术实例探索

Advanced RAG 07：在 RAG 系统中进行表格数据处理的新思路

解构复合人工智能系统（Compound AI Systems）：关键术语、理论、思路、实践经验

Advanced RAG 06：生成结果的相关性低？快用 Query Rewriting 优化技术

提示词优化的自动化探索：Automated Prompt Engineering

Advanced RAG 04：重排序（Re-ranking）技术探讨

Advanced RAG 03：运用 RAGAs 与 LlamaIndex 评估 RAG 应用

Advanced RAG 02：揭开 PDF 文档解析的神秘面纱

LoRA 及其衍生技术总览：An Overview of the LoRA Family

发掘非结构化数据价值：AI 在文档理解领域的现状与未来

LLM 模型融合实践指南：低成本构建高性能语言模型

如何写好大模型提示词？来自大赛冠军的经验分享（进阶篇）

如何写好大模型提示词？来自大赛冠军的经验分享（基础篇）

LLM评估：通过7大指标监测并评估大语言模型的表现

生成式 AI 的下一阶段将走向何方？

如何优化 RAG 系统的性能表现？10 条实用策略

AI分布式训练：DDP (数据并行）技术详解与实战

Q-learning 入门：以 Frozen Lake 游戏环境为例

GPU深度学习性能的三驾马车：Tensor Core、内存带宽与内存层次结构

语言模型文本处理基石：Tokenizer简明概述

企业级应用场景中，LLM 的数据特性剖析及处理对策

用好语言模型：temperature、top-p等核心参数解析

Embedding技术与应用(4): Embedding应用工程探析

轻松理解 Transformers (4) ：Decoder 和 Output 部分

Embedding技术与应用(3)：Embeddings技术的实践应用

轻松理解 Transformers (3): Feed-Forward Layer部分

轻松理解 Transformers（2）：Attention部分

轻松理解 Transformers（1）：Input部分

大模型的幻觉 (Hallucination) 因何而来？如何解决幻觉问题？

欢迎