Baihai_IDP的博客_IDP Meetup,技术干货,IDP(2)

实践出真知：Agents 领域“一年打怪升级”的经验分享

编者按：在你构建 AI Agents 时，是否曾遇到这些困扰：总是在简单任务上出错，从而让你有时会怀疑自己的技术水平？面对客户的需求，AI Agent 表现得像个“笨蛋”，无法准确理解和执行指令？随着底层模型的更新，AI Agents 的性能不升反降，让人手足无措？这些问题不仅影响了 AI Agents 的性能，甚至可能导致项目延期、成本超支，甚至失去客户的信任。在 AI 技术飞速?发展

AI

LLMs

AI Agents

原创 2024-08-05 10:08:54 97 阅读

汽车长翅膀：GPU 是如何加速深度学习模型的训练和推理过程的？

编者按：深度学习的飞速发展离不开硬件技术的突破，而 GPU 的崛起无疑是其中最大的推力之一。但你是否曾好奇过，为何一行简单的“.to('cuda')”代码就能让模型的训练速度突飞猛进？本文正是为解答这个疑问而作。作者以独特的视角，将复杂的 GPU 并行计算原理转化为通俗易懂的概念。从 CPU 与 GPU 的设计哲学对比，到 CUDA 编程的核心要素，再到具体的代码实现，文章循序渐进地引领读者把握

AI

GPU

原创 2024-07-24 10:10:17 58 阅读

哪些基于 LLMs 的产品值得开发？从用户体验和市场接受度的角度探讨

AI

GenAI

原创 2024-07-17 10:52:35 112 阅读

给｢大模型初学者｣的 LLaMA 3 核心技术剖析

编者按：本文旨在带领读者深入了解 LLaMA 3 的核心技术 —— 使用 RMSNorm 进行预归一化、SwiGLU 激活函数、旋转编码（RoPE）和字节对编码（BPE）算法。RMSNorm 技术让模型能够识别文本中的重点，SwiGLU 激活函数则如同“神笔”，让模型生成的文本更加突出重点且易于理解；RoPE 赋予了模型处理序列中词语位置的灵活性，而 BPE 算法则有效提升了模型处理长文本的能力

Llama 3

AI

LLMs

原创精选 2024-07-13 11:12:22 647 阅读

Advanced RAG 10：引入检索评估、知识精练的 CRAG 技术详解

编者按：本文介绍的 CRAG 技术通过引入轻量级检索评估机制和知识精炼算法，试图解决传统检索增强生成（RAG）方法在处理复杂查询语句时存在的问题（包括检索结果不够精确、引入无关信息等），这些问题会影响模型回答的质量。CRAG 技术如何评估检索文档与用户查询之间的相关性？检索评估器的具体工作原理是什么？CRAG的知识精炼算法是如何工作的？它如何确保在“细分再整合”的过程中不会丢失重要信息？如若您现在

LLMs

AI

RAG

白海科技

原创精选 2024-07-10 10:14:15 354 阅读 1评论 yyds干货盘点

「多模态大模型」解读 | 突破单一文本模态局限

编者按：理想状况下，世界上的万事万物都能以文字的形式呈现，如此一来，我们似乎仅凭大语言模型（LLMs）就能完成所有任务。然而，理想很丰满，现实很骨感——数据形态远不止文字一种，大多数数据也不是以文本的形式呈现的，我们日常接触到的数据涵盖了图像、视频、音频、语音（images or video, audio, speech）等多种形态，形式丰富多元。因此，能够同时理解和处理多种数据形式的多模态大语言

多模态大语言模型

LLMs

AI

原创精选 2024-07-05 10:24:05 315 阅读

Llama-2 vs. Llama-3：利用微型基准测试（井字游戏）评估大模型

编者按：如何更好地评估和比较不同版本的大语言模型？传统的学术基准测试固然重要，但往往难以全面反映模型在实际应用场景中的表现。在此背景下，本文作者别出心裁，通过让 Llama-2 和 Llama-3 模型进行井字游戏对决，为我们提供了一个新颖而有趣的模型评估视角。此文不仅展示了一种创新的模型比较方法，更揭示了当前大语言模型在处理看似简单的空间逻辑任务时所面临的挑战。让我们得以一窥不同参数规模模型的

LLMs

AI

大模型评估

原创精选 2024-07-04 13:41:34 303 阅读 yyds干货盘点

检索生成(RAG) vs 长文本大模型：实际应用中如何选择？

编者按：大模型的上下文理解能力直接影响到 LLMs 在复杂任务和长对话中的表现。本期内容聚焦于两种主流技术：长上下文(Large Context Windows)和检索增强生成(RAG)。这两种技术各有何优势？在实际应用中，我们又该如何权衡选择？文章不仅详细阐述了这两种技术的工作原理，还深入分析了它们在效率、准确性和实施成本等方面的差异。文章特别提到了在执行重复性任务时使用 Context Cac

AI

LLMs

RAG

长上下文

Context Caching

原创精选 2024-07-03 10:47:53 238 阅读 yyds干货盘点

Advanced RAG 09：『提示词压缩』技术综述

编者按：如何最大限度地发挥 LLMs 的强大能力，同时还能控制其推理成本？这是当前业界研究的一个热点课题。针对这一问题，本期精心选取了一篇关于"提示词压缩"(Prompt Compression)技术的综述文章。正如作者所说，提示词压缩技术的核心目标是压缩向 LLMs 输入的上下文信息，删减非关键内容，保留语义核心，从而在不影响模型表现的前提下，降低推理成本。文中全面介绍了多种提示词压缩算法的原

LLMs

RAG

白海科技

AI

原创 2024-06-29 11:04:32 390 阅读

高质量数据不够用，合成数据是打开 AGI 大门的金钥匙吗？

编者按：人工智能技术的发展离不开高质量数据的支持。然而，现有可用的高质量数据资源已日渐接近枯竭边缘。如何解决训练数据短缺的问题，是当前人工智能领域亟待解决的一个较为棘手的问题。本期文章探讨了一种经实践可行的解决方案 —— 合成数据（Synthetic Data）。如 AlphaZero、Sora 等已初步证实了合成数据具备的巨大潜力。对于语言模型来说，虽然要生成高质量的合成文本存在一定难度，但通

AI

LLMs

人工智能

原创 2024-06-26 10:27:22 63 阅读 yyds干货盘点

Advanced RAG 08：使用 Self-RAG 打造高质量、可追溯的 RAG System

编者按：RAG 技术通过检索并利用外部知识源，能够较为有效地提升生成内容的准确性和多样性。然而，经典 RAG 流程也存在一些不足，例如不必要的检索会浪费计算资源，并可能引入无关内容或错误信息，影响生成质量。本文介绍了 Self-RAG 这一技术，通过引入 Reflection Tokens，语言模型能够根据具体需求动态决定是否检索外部知识

AI

RAG

原创 2024-06-19 12:25:31 172 阅读

Netflix 机器学习科学家的提示词优化经验分享

编者按：如何充分发挥大模型的潜能，用好大模型，关键在于如何优化向它们发送的提示词（prompt），是为提示词工程（prompt engineering）。本文Netflix 机器学习科学家Cameron R. Wolfe的提示词优化经验分享，阐述了目前提示词的主要构成要素，介绍了与提示词相关的上下文窗口相关信息，并总结了一些行之有效的优化策略，如实事求是，实证为本、先从简单着手、若无必要，尽

LLMs

Prompt

原创 2024-06-15 10:06:43 82 阅读 1点赞 1收藏

提升 LLMs 效率，降低使用成本：一种减少 Tokens 消耗的实战策略

编者按： LLMs 被视为 AI 领域的一个里程碑式的突破，但要将其应用于实际生产环境，并且还能用对、用好并非易事。模型的使用成本和响应延迟是目前将大语言模型（LLMs）应用于生产环境中的核心难题之一。在本期刊载的这篇文章中，作者从自身项目的实践经验出发，分享了一系列实用技巧，帮助优化 LLM Prompt ，能够一定程度上降低大模型的使用成本和响应延迟。文章首先解析了导致高成本和

AI

LLMs

Agents

RAG

白海科技

原创 2024-06-12 10:29:02 187 阅读

Next-Level Agents：释放动态上下文（Dynamic Context）的巨大潜力

编者按：本文深入探讨了如何通过优化动态上下文信息（Dynamic Context）来提升 AI Agents 的工作效率和准确性。文章首先概述了五种常见的技术策略，包括信息标识(Message Labeling)、针对不同需求设定不同上下文、优化系统提示词(System Prompts)、精简 RAG 系统中冗余信息，以及其他处理上下文的高级策略。随后，作者分享了一些技术实施细节和经验教训，这些

AI

LLMs

人工智能

白海科技

原创 2024-06-05 10:25:31 201 阅读 yyds干货盘点

LLMs 能否胜任「数据标注」？机遇与挑战并存

编者按：目前，LLMs 在机器翻译、文本生成、多轮问答等任务上已表现得非常出色了。人们开始思考它们是否也可以用于数据标注工作。数据标注是训练和评估各种机器学习模型的基础，一直是一项昂贵且耗时的工作。是否能够借助 LLMs 的强大能力来为数据标注流程降本增效呢？本文深入探讨了这一问题。本文作者从业界最新研究入手，全面评估了 LLMs 在数据标注领域的应用前景。文章指出，在某些场景下使用 LLMs

AI

LLMs

原创精选 2024-05-31 10:33:13 406 阅读 yyds干货盘点

一种人机协作新范式？为每个人准备的 AI Agents “羊皮卷”

编者按：当前大热的大语言模型和检索增强生成模型，虽然在语言理解和内容生成方面取得了突破性的进展，但仍然存在诸多限制。它们缺乏根据目标导引行为、持续学习和与环境交互的能力，难以应对复杂多变的现实场景需求。今天为大家带来的这篇文章，作者的观点是人工智能领域正朝着开发更智能、更自主的 AI Agent 系统迈进，这将彻底改变我们使用人工智能的方式。作者相信人工智能的未来必将呈现出更智能、更自主的 AI

人工智能

语言模型

LLMs

白海科技

原创精选 2024-05-29 10:37:42 244 阅读 1点赞 yyds干货盘点

让 LLMs 学会使用工具 | 函数调用（Function Calling）技术实例探索

编者按：大语言模型拥有令人惊叹的语言理解和生成能力，却也存在自主决策、与外部系统交互等方面的不足。函数调用（Function Calling）技术的出现，正是为解决这一难题而生的创新方案，它赋予了大语言模型更强的自主能力和与外部世界连接的能力，成为实现真正智能自主 Agent 的关键一环。本期我们精心为各位读者伙伴呈现一篇详实的搭建技术教程，全面介绍了如何利用函数调用技术构建

函数调用

Agent

白海科技

原创 2024-05-23 10:36:17 996 阅读 yyds干货盘点

Advanced RAG 07：在 RAG 系统中进行表格数据处理的新思路

编者按：目前，检索增强生成（RAG）系统成为了将海量知识赋能于大模型的关键技术之一。然而,如何高效地处理半结构化和非结构化数据，尤其是文档中的表格数据，仍然是 RAG 系统面临的一大难题。本文作者针对这一痛点，提出了一种处理表格数据的新颖解决方案。作者首先系统性地梳理了RAG系统中表格处理的核心技术，包括表格解析、索引结构设计等，并评述了现有的一些开源解决方案。在此基础上，作

AI

RAG

原创 2024-05-15 10:25:54 615 阅读 yyds干货盘点

计算器对于数学的处理方式来说是一次重大的改变，那么 LLMs 对于语言来说呢？

编者按：当前，大语言模型已经成为自然语言处理领域的热点。LLMs 是否真的“智能”？它们又为我们带来了哪些启发？针对这些问题，Darveen Vijayan 为我们带来了这篇引人深思的文章。作者主要阐释了两个观点：第一，LLMs应被视为一种文字计算器，它通过预测下一个词来工作，当前阶段还不应被归为“智能”。第二，尽管LLMs 目前存在局限，但它们为我们提供了反思人类智能本质的契机。我们应保持开放的

语言模型

自然语言处理

LLMs

人工智能

AI

原创 2024-05-11 11:21:50 119 阅读

解构复合人工智能系统（Compound AI Systems）：关键术语、理论、思路、实践经验

编者按：大模型的出现为构建更智能、更复杂的人工智能系统带来了新的契机。然而，单一的大模型难以应对现实世界中错综复杂的问题，需要与其他模块相结合，构建出复合人工智能系统（Compound AI Systems）。本文作者深耕人工智能领域多年，洞见独到。文中系统性地介绍了四种常见的 Compound AI Systems 部署模式：RAG 系统、Conversational AI 系统、Multi-

LLM

原创 2024-05-10 11:29:25 461 阅读

Advanced RAG 06：生成结果的相关性低？快用 Query Rewriting 优化技术

编者按：在现实生活中，普通用户很难编写合适的提示词（prompt）来指示 LLM 完成期望任务。用户提出的 queries 往往存在词汇不准确、缺乏语义信息等问题，导致 LLM 难以理解并生成相关的模型响应。因此，如何优化 queries ，增强 LLM 对各类 query 信息

RAG

白海科技

原创 2024-05-07 11:23:47 286 阅读

Advanced RAG 05：探讨基于文本内在语义信息的数据分块方法

编者按：在 RAG (Retrieval Augmented Generation) 系统中，将文本数据高效地划分成相对独立且富有语义信息的数据块（chunks）是一项较为关键的任务。基于规则的传统数据分块方法存在一些问题，因此探讨基于文本内在语义信息的数据分块方法非常必要。在这篇文章中，作者深入探讨了三种基于文本内在语义信息的数据分块方法：基于嵌入的方法、基于模型的

RAG

LLM

原创 2024-04-30 10:46:08 314 阅读 yyds干货盘点

提示词优化的自动化探索：Automated Prompt Engineering

编者按：作者在尝试教授母亲使用 LLM 完成工作任务时，意识到提示词的优化并不像想象中简单。提示词的自动优化对于经验并不丰富的提示词撰写者很有价值，他们没有足够的经验去调整和改进提供给模型的提示词，这引发了对自动化提示词优化工具的进一步探索。本文作者从两个角度分析了提示词工程的本质 —— 可将其视为超参数优化的一部分，也可将其视为一个需要不断尝试和调整的摸索、试错、修正过程。作者认为，对于拥有比

提示词工程

白海科技

AI

原创 2024-04-25 13:07:49 242 阅读

Advanced RAG 04：重排序（Re-ranking）技术探讨

编者按：重排序（Re-ranking）技术在检索增强生成（Retrieval Augmented Generation，RAG）系统中扮演着关键角色。通过对检索到的上下文进行筛选和排序，可以提高 RAG 系统的有效性和准确性，为最终的结果生成提供更精准的信息。本文介绍了两种主要的 Re-ranking 方法，并演示了如何将其融入到 RAG

RAG

检索增强生成

LLM

AIGC

AI

原创精选 2024-04-20 10:20:49 1587 阅读

Advanced RAG 03：运用 RAGAs 与 LlamaIndex 评估 RAG 应用

编者按：目前，检索增强生成（Retrieval Augmented Generation，RAG）技术已经广泛使用于各种大模型应用场景。然而，如何准确评估 RAG 系统的性能和效果，一直是业界和学界共同关注的重点问题。若无法对 RAG 系统进行全面、客观的评估，也难以针对性地优化和改进它。因此，开发一套科学、可靠的 RAG 系统评估指标体系，对于推动RAG技术的进一步发展具有重

LLM

RAG

AI

人工智能

原创精选 2024-04-17 11:37:22 578 阅读 yyds干货盘点

LLM 推理优化探微 (4) ：模型性能瓶颈分类及优化策略

编者按：在人工智能浪潮袭卷全球的大背景下，进一步提升人工智能模型性能，满足更多应用需求已经刻不容缓。如何优化模型延迟和吞吐量，成为了业界亟待解决的重要。我们今天为大家带来的这篇文章，其观点为：不同的性能瓶颈需要采取不同的优化策略，识别并解决主要的性能瓶颈是提升模型性能的关键。文章指出，主要有 4 种影响模型性能的瓶颈：计算能力受限、内存带宽受限、通信受限和开销受限。作者分别介绍了针对这 4

LLM

AI

人工智能

白海科技

原创 2024-04-11 11:10:46 190 阅读

Advanced RAG 02：揭开 PDF 文档解析的神秘面纱

编者按：自 2023 年以来，RAG 已成为基于 LLM 的人工智能系统中应用最为广泛的架构之一。由于诸多产品的关键功能（如：领域智能问答、知识库构建等）严重依赖RAG，优化其性能、提高检索效率和准确性迫在眉睫，成为当前 RAG 相关研究的核心问题。如何高效准确地从PDF等非结构化数据中提取信息并加以利用，是其中一个亟待解决的重要问题。本文比较分析了多种解决方案的优缺点，着重探讨了这一问题的应对

RAG

LLM

GenAI

白海科技

原创 2024-04-07 10:36:36 460 阅读

Advanced RAG 01：讨论未经优化的 RAG 系统存在的问题与挑战

编者按：自 2023 年以来，RAG 已成为基于 LLM 的人工智能系统中应用最为广泛的架构之一。由于诸多产品的关键功能严重依赖RAG，优化其性能、提高检索效率和准确性迫在眉睫，成为当前 RAG 相关研究的核心问题。我们今天为大家带来的这篇文章指出，Naive RAG 在编制索引、检索和内容生成这三个核心步骤中都存在诸多问题：a) 编制索引时，信息提取不完整、分块策略简单、索引结构未优

RAG

AI

LLM

白海科技

原创 2024-04-03 11:22:42 344 阅读

LoRA 及其衍生技术总览：An Overview of the LoRA Family

编者按：对于大语言模型的微调训练来说，传统的全参数微调方法需要处理数百万甚至数十亿级别的参数，计算量和显存占用都非常大。而 LoRA 这种技术方案，通过引入少量的可训练矩阵来调整预训练模型的行为，极大降低了训练所需的计算资源，是近年来大语言模型微调的一个重大突破。我们今天为大家带来的文章，介绍了众多具有代表性的 LoRA 改进方法：LoRA+ 通过为两个矩阵引入不同的学习率提高训练效率

LLM

人工智能

AI

LoRA

白海科技

原创精选 2024-03-30 09:06:44 371 阅读

发掘非结构化数据价值：AI 在文档理解领域的现状与未来

编者按：在当今这个由数据主导的时代，我们被海量多样的信息所环绕，但大部分数据都以非结构化的形式存在，诸如文档、电子邮件、合同等，这使得从中提取有价值的信息成为一大挑战。幸运的是，AI 领域正在悄然孕育一场革命性变革，它将帮助我们攻克长期以来困扰非结构化数据处理的种种困难。这篇文章首先解释了文档理解场景面临的主要挑战——需要处理文本、图像等多模态信息，并理解它们之间的逻辑关联。接着介绍了 DocL

人工智能

非结构化数据

AI

白海科技

原创 2024-03-28 10:28:40 135 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Baihai_IDP的博客

实践出真知：Agents 领域“一年打怪升级”的经验分享

汽车长翅膀：GPU 是如何加速深度学习模型的训练和推理过程的？

哪些基于 LLMs 的产品值得开发？从用户体验和市场接受度的角度探讨

给｢大模型初学者｣的 LLaMA 3 核心技术剖析

Advanced RAG 10：引入检索评估、知识精练的 CRAG 技术详解

「多模态大模型」解读 | 突破单一文本模态局限

Llama-2 vs. Llama-3：利用微型基准测试（井字游戏）评估大模型

检索生成(RAG) vs 长文本大模型：实际应用中如何选择？

Advanced RAG 09：『提示词压缩』技术综述

高质量数据不够用，合成数据是打开 AGI 大门的金钥匙吗？

Advanced RAG 08：使用 Self-RAG 打造高质量、可追溯的 RAG System

Netflix 机器学习科学家的提示词优化经验分享

提升 LLMs 效率，降低使用成本：一种减少 Tokens 消耗的实战策略

Next-Level Agents：释放动态上下文（Dynamic Context）的巨大潜力

LLMs 能否胜任「数据标注」？机遇与挑战并存

一种人机协作新范式？为每个人准备的 AI Agents “羊皮卷”

让 LLMs 学会使用工具 | 函数调用（Function Calling）技术实例探索

Advanced RAG 07：在 RAG 系统中进行表格数据处理的新思路

计算器对于数学的处理方式来说是一次重大的改变，那么 LLMs 对于语言来说呢？

解构复合人工智能系统（Compound AI Systems）：关键术语、理论、思路、实践经验

Advanced RAG 06：生成结果的相关性低？快用 Query Rewriting 优化技术

Advanced RAG 05：探讨基于文本内在语义信息的数据分块方法

提示词优化的自动化探索：Automated Prompt Engineering

Advanced RAG 04：重排序（Re-ranking）技术探讨

Advanced RAG 03：运用 RAGAs 与 LlamaIndex 评估 RAG 应用

LLM 推理优化探微 (4) ：模型性能瓶颈分类及优化策略

Advanced RAG 02：揭开 PDF 文档解析的神秘面纱

Advanced RAG 01：讨论未经优化的 RAG 系统存在的问题与挑战

LoRA 及其衍生技术总览：An Overview of the LoRA Family

发掘非结构化数据价值：AI 在文档理解领域的现状与未来

欢迎