Baihai_IDP的博客_IDP Meetup,技术干货,IDP原创

模型蒸馏：“学神”老师教出“学霸”学生

编者按：近日，Qwen 3 技术报告正式发布，该系列也采用了从大参数模型中蒸馏知识来训练小参数模型的技术路线。那么，模型蒸馏技术究竟是怎么一回事呢？今天给大家分享的这篇文章深入浅出地介绍了模型蒸馏的核心原理，即通过让学生模型学习教师模型的软标签而非硬标签，从而传递更丰富的知识信息。作者还提供了一个基于 TensorFlow 和 MNIST 数据集的完整实践案例，展示了如何构建教师模型和学生模型，

模型蒸馏

原创精选 5月前 293 阅读

能否将扩散模型思想应用于 LLMs 领域？大型语言扩散模型（LLDM）详解

编者按：当你面对需要高质量逆向推理能力的应用场景时，传统大语言模型是否让你感到力不从心？在诗歌逆向补全、逻辑逆向推导等任务中，为什么即使是 GPT-4o 这样的强大模型也会表现失常？文章深入介绍了 LLaDA(Large Language Diffusion with mAsking) 这一创新模型的工作原理、训练过程与性能表现。与传统自回归模型不同，LLaDA 借鉴了计算机视觉领域的扩散模型思

AI

LLMs

原创精选 6月前 212 阅读

绕过 RAG 实时检索瓶颈，缓存增强生成（CAG）如何助力性能突破？

编者按：你是否曾经遇到过这样的困扰：在开发基于 RAG 的应用时，实时检索的延迟让用户体验大打折扣？或者在处理复杂查询时，检索结果的不准确导致回答质量不尽如人意？在当前大语言模型应用大规模落地的背景下，这些挑战正成为制约产品竞争力的关键瓶颈。传统 RAG 方案中的检索延迟、准确性波动以及系统复杂度，都在考验着开发者的耐心和智慧。缓存增强生成（CAG）技术巧妙地利用了新一代大语言模型处理长上下文的

语言模型

AI

CAG

原创精选 8月前 450 阅读

从PPO到GRPO：算力减半的大模型推理能力训练革命

编者按：还在为训练推理模型烧光算力预算而发愁？当开源小模型遇上数学题就“智商掉线”，如何低成本突破性能瓶颈？传统 RLHF 动辄百万级算力投入，让多少团队在强化学习门前望而却步；格式混乱、逻辑断层、答案偏差——这些模型推理的顽疾是否也在阻碍你的 AI 产品落地？本文深入解析 DeepSeek 团队突破性的 GRPO（群组相对策略优化）技术，这项创新将强化学习所需计算资源几乎减半，甚至可以结合 L

强化学习

语言模型

推理模型

原创精选 8月前 686 阅读 #DeepSeek技术实践#

图文详解：带你读懂 DeepSeek-R1 的核心原理

编者按： DeepSeek-R1到底有什么特别之处？它为什么能在推理任务上取得如此出色的表现？这背后的训练方法又蕴含着怎样的创新？当我们需要模型处理数学题、编程任务，或是进行逻辑分析时，高质量的推理能力显得尤为重要。然而，传统的训练方法往往需要耗费大量人力物力，这对许多研究团队和企业来说都是不小的负担。今天这篇深度解析 DeepSeek-R1 训练方法的文章，将展示一个令人耳目一新的解决方案：如何

强化学习

推理模型

原创精选 8月前 722 阅读 1点赞 #DeepSeek技术实践#

文档解析技术指南：从传统Pipeline到端到端大模型

编者按：每天我们都在与各种格式的文档打交道，如何快速准确地从这些文档中提取有价值的信息，如何让 AI 理解文档中的表格、公式和图表，成为摆在我们面前的一道难题。特别是对于从事数据分析、学术研究或法律工作的专业人士来说，手动处理和整理这些文档不仅耗时耗力，还容易出错。一份技术报告中的复杂数学公式，一篇论文中的多层嵌套表格，或是一份合同中的关键条款，都需要我们投入大量精力去理解和提取。本文深入剖析了

数据集

文档解析

模块化

原创精选 9月前 728 阅读

向量数据库真的能满足所有 AI Agent 的记忆需求吗？

编者按：当 AI Agent 执行长期任务时，如何有效管理和存储它们的"记忆"？向量数据库真的能满足所有 AI Agent 的记忆需求吗？我们今天为大家带来的文章中，作者指出当前主流的向量数据库虽然能够有效处理对话记忆，但无法完全满足 Agentic AI 系统在长期任务执行过程中的多样化记忆需求。文章首先介绍了 Agentic AI 系统的基本概念，以营销案例说明了其任务分解和执行能力。随后深

AI

LLM

原创精选 9月前 317 阅读

Agent 智能体开发框架选型指南

编者按：本文通过作者的实践对比发现，框架的选择应基于项目具体需求和团队特点，而不是简单追求某个特定框架。不同框架各有优势：无框架方案实施最为简单直接，代码结构清晰，适合理解智能体原理，但随着项目复杂度增加可能变得难以维护。LangGraph提供完整的智能体结构规范，特别适合团队协作和智能体结构新手，但框架限制较多，如不认同其理念可能面临较大调试挑战。LlamaIndex Workflows采用事

AI

Agents

原创精选 11月前 791 阅读

快速理解 GraphRAG：构建更可靠、更智能的 Chatbot

编者按：传统的检索增强生成（RAG）技术在处理需要深入理解实体关系的问题时常常力不从心，那么有什么新的技术可以突破这一限制吗？本文深入探讨了 GraphRAG 技术，这一创新方案通过将非结构化文本转化为结构化知识图谱，巧妙地解决了上述难题。GraphRAG 能显著提升 AI 系统理解和回答复杂问题的能力，尤其在跨时代、跨学科的问题上表现出色。作者也指出了实施 GraphRAG 面临的挑战，包括知识

LLMs

GraphRAG

AI

Baihai IDP

原创精选 2024-09-24 10:26:28 456 阅读

化“腐朽”为“神奇”：5 种 RAG 优化技术应对千奇百怪的 Query

编者按：您是否曾经遇到这样的情况：明明构建了一个功能强大的 RAG 系统，但用户却频繁抱怨“找不到想要的信息”或“返回的结果不够准确”？这是许多 RAG 应用开发者面临的共同挑战。这个问题不仅会导致用户体验下降，更可能直接影响 RAG 系统的使用率和实际价值。如果未能得到妥善解决，之前的辛苦工作恐将付之东流，甚至影响整个项目的成功。这篇文章并非纸上谈兵，而是源自作者在实际项目中的第一手经验。文章详

AI

检索增强生成

LLMs

原创精选 2024-09-11 10:15:49 477 阅读 1点赞

从工程师视角看 “Multi-Agent as a Service (MAaaS)”

编者按：目前 AI Agents 在各行各业的应用前景广阔，越来越多的企业开始尝试部署 AI Agents ，然而如何在企业生产环境中有效部署和管理 AI Agents，是工程师们面临的一大挑战。你是否曾面临这样的困惑：如何确保 AI Agents 在生产环境中稳定可靠地运行？如何应对突发的高并发请求？当 AI Agents 出现"幻觉"或系统崩溃时，又该如何快速恢复？本文提出了 "Multi-A

LLMs

AI Agents

AI

原创精选 2024-08-28 10:15:31 351 阅读

「模型量化技术」可视化指南：A Visual Guide to Quantization

编者按：随着大语言模型（LLMs）规模的不断扩大，如何在有限的计算资源下高效部署这些模型成为了一个迫切需要解决的问题。模型量化作为一种有效的模型压缩技术，在保持模型性能的同时大大降低了计算和存储开销，因此广受关注。但对于许多人来说，模型量化的具体原理和实现方法仍然是一个“黑盒”。我们今天为大家带来的这篇文章，通过可视化图示详细解析各种模型量化技术的原理和实现方法，为各位读者提供一个全面且直观的模型

AI

LLMs

原创精选 2024-08-22 10:22:56 555 阅读 1点赞 yyds干货盘点

相同的 LLM 在「不同 GPU 上」会产生不同输出？为什么？

编者按：在大语言模型(LLMs)的部署及其相关的算力扩容过程中，更换 GPU 是否也可能会对模型的输出产生重大影响？这个问题的答案对于确保 LLMs 在不同硬件环境下的一致性和可靠性至关重要。我们今天为大家带来的这篇文章，作者的核心观点是：即使在相同的开发环境、系统配置和随机种子下，不同的 GPU 也会导致 LLMs 产生不同的模型输出。作者通过实验证明，在使用 Nvidia Tesl

GPU

LLMs

原创精选 2024-08-09 09:43:58 292 阅读

给｢大模型初学者｣的 LLaMA 3 核心技术剖析

编者按：本文旨在带领读者深入了解 LLaMA 3 的核心技术 —— 使用 RMSNorm 进行预归一化、SwiGLU 激活函数、旋转编码（RoPE）和字节对编码（BPE）算法。RMSNorm 技术让模型能够识别文本中的重点，SwiGLU 激活函数则如同“神笔”，让模型生成的文本更加突出重点且易于理解；RoPE 赋予了模型处理序列中词语位置的灵活性，而 BPE 算法则有效提升了模型处理长文本的能力

Llama 3

AI

LLMs

原创精选 2024-07-13 11:12:22 647 阅读

Advanced RAG 10：引入检索评估、知识精练的 CRAG 技术详解

编者按：本文介绍的 CRAG 技术通过引入轻量级检索评估机制和知识精炼算法，试图解决传统检索增强生成（RAG）方法在处理复杂查询语句时存在的问题（包括检索结果不够精确、引入无关信息等），这些问题会影响模型回答的质量。CRAG 技术如何评估检索文档与用户查询之间的相关性？检索评估器的具体工作原理是什么？CRAG的知识精炼算法是如何工作的？它如何确保在“细分再整合”的过程中不会丢失重要信息？如若您现在

LLMs

AI

RAG

白海科技

原创精选 2024-07-10 10:14:15 354 阅读 1评论 yyds干货盘点

「多模态大模型」解读 | 突破单一文本模态局限

编者按：理想状况下，世界上的万事万物都能以文字的形式呈现，如此一来，我们似乎仅凭大语言模型（LLMs）就能完成所有任务。然而，理想很丰满，现实很骨感——数据形态远不止文字一种，大多数数据也不是以文本的形式呈现的，我们日常接触到的数据涵盖了图像、视频、音频、语音（images or video, audio, speech）等多种形态，形式丰富多元。因此，能够同时理解和处理多种数据形式的多模态大语言

多模态大语言模型

LLMs

AI

原创精选 2024-07-05 10:24:05 316 阅读

Llama-2 vs. Llama-3：利用微型基准测试（井字游戏）评估大模型

编者按：如何更好地评估和比较不同版本的大语言模型？传统的学术基准测试固然重要，但往往难以全面反映模型在实际应用场景中的表现。在此背景下，本文作者别出心裁，通过让 Llama-2 和 Llama-3 模型进行井字游戏对决，为我们提供了一个新颖而有趣的模型评估视角。此文不仅展示了一种创新的模型比较方法，更揭示了当前大语言模型在处理看似简单的空间逻辑任务时所面临的挑战。让我们得以一窥不同参数规模模型的

LLMs

AI

大模型评估

原创精选 2024-07-04 13:41:34 305 阅读 yyds干货盘点

检索生成(RAG) vs 长文本大模型：实际应用中如何选择？

编者按：大模型的上下文理解能力直接影响到 LLMs 在复杂任务和长对话中的表现。本期内容聚焦于两种主流技术：长上下文(Large Context Windows)和检索增强生成(RAG)。这两种技术各有何优势？在实际应用中，我们又该如何权衡选择？文章不仅详细阐述了这两种技术的工作原理，还深入分析了它们在效率、准确性和实施成本等方面的差异。文章特别提到了在执行重复性任务时使用 Context Cac

AI

LLMs

RAG

长上下文

Context Caching

原创精选 2024-07-03 10:47:53 238 阅读 yyds干货盘点

LLMs 能否胜任「数据标注」？机遇与挑战并存

编者按：目前，LLMs 在机器翻译、文本生成、多轮问答等任务上已表现得非常出色了。人们开始思考它们是否也可以用于数据标注工作。数据标注是训练和评估各种机器学习模型的基础，一直是一项昂贵且耗时的工作。是否能够借助 LLMs 的强大能力来为数据标注流程降本增效呢？本文深入探讨了这一问题。本文作者从业界最新研究入手，全面评估了 LLMs 在数据标注领域的应用前景。文章指出，在某些场景下使用 LLMs

AI

LLMs

原创精选 2024-05-31 10:33:13 408 阅读 yyds干货盘点

一种人机协作新范式？为每个人准备的 AI Agents “羊皮卷”

编者按：当前大热的大语言模型和检索增强生成模型，虽然在语言理解和内容生成方面取得了突破性的进展，但仍然存在诸多限制。它们缺乏根据目标导引行为、持续学习和与环境交互的能力，难以应对复杂多变的现实场景需求。今天为大家带来的这篇文章，作者的观点是人工智能领域正朝着开发更智能、更自主的 AI Agent 系统迈进，这将彻底改变我们使用人工智能的方式。作者相信人工智能的未来必将呈现出更智能、更自主的 AI

人工智能

语言模型

LLMs

白海科技

原创精选 2024-05-29 10:37:42 244 阅读 1点赞 yyds干货盘点

Advanced RAG 04：重排序（Re-ranking）技术探讨

编者按：重排序（Re-ranking）技术在检索增强生成（Retrieval Augmented Generation，RAG）系统中扮演着关键角色。通过对检索到的上下文进行筛选和排序，可以提高 RAG 系统的有效性和准确性，为最终的结果生成提供更精准的信息。本文介绍了两种主要的 Re-ranking 方法，并演示了如何将其融入到 RAG

RAG

检索增强生成

LLM

AIGC

AI

原创精选 2024-04-20 10:20:49 1587 阅读

Advanced RAG 03：运用 RAGAs 与 LlamaIndex 评估 RAG 应用

编者按：目前，检索增强生成（Retrieval Augmented Generation，RAG）技术已经广泛使用于各种大模型应用场景。然而，如何准确评估 RAG 系统的性能和效果，一直是业界和学界共同关注的重点问题。若无法对 RAG 系统进行全面、客观的评估，也难以针对性地优化和改进它。因此，开发一套科学、可靠的 RAG 系统评估指标体系，对于推动RAG技术的进一步发展具有重

LLM

RAG

AI

人工智能

原创精选 2024-04-17 11:37:22 582 阅读 yyds干货盘点

LoRA 及其衍生技术总览：An Overview of the LoRA Family

编者按：对于大语言模型的微调训练来说，传统的全参数微调方法需要处理数百万甚至数十亿级别的参数，计算量和显存占用都非常大。而 LoRA 这种技术方案，通过引入少量的可训练矩阵来调整预训练模型的行为，极大降低了训练所需的计算资源，是近年来大语言模型微调的一个重大突破。我们今天为大家带来的文章，介绍了众多具有代表性的 LoRA 改进方法：LoRA+ 通过为两个矩阵引入不同的学习率提高训练效率

LLM

人工智能

AI

LoRA

白海科技

原创精选 2024-03-30 09:06:44 371 阅读

LLM 推理优化探微 (3) ：如何有效控制 KV 缓存的内存占用，优化推理速度？

编者按：随着 LLM 赋能越来越多需要实时决策和响应的应用场景，以及用户体验不佳、成本过高、资源受限等问题的出现，大模型高效推理已成为一个重要的研究课题。为此，Baihai IDP 推出 Pierre Lienhart 的系列文章，从多个维度全面剖析 Transformer 大语言模型的推理过程，以期帮助读者对这个技术难点建立系统的理解，并在实践中做出正确的模型服务部署决策。本文是该系列文章的第

LLM

人工智能

AI

白海科技

原创精选 2024-03-09 14:32:44 730 阅读

MoE模型性能还能更上一层楼？一次QLoRA微调实践

Fine-Tuning Mixtral 8x7B with QLoRA：Enhancing Model Performance ?编者按：最近，混合专家(Mixture of Experts,MoE)这种模型设计策略展现出了卓越的语言理解能力，如何在此基础上进一步提升 MoE 模型的性能成

AI

深度学习

人工智能

MoE

白海科技

原创推荐 2024-01-10 16:25:04 10000+阅读

LLM评估：通过7大指标监测并评估大语言模型的表现

深度学习

人工智能

AI

LLM

白海科技

原创精选 2023-12-29 10:22:08 730 阅读 yyds干货盘点

企业级应用场景中，LLM 的数据特性剖析及处理对策

编者按：今年以来，大语言模型（LLM）在消费者(2C)市场崭露头角，同时也吸引了大量企业的关注。但是直接将这些面向消费者的模型引入企业环境，可能会面临一些风险。今天我们为大家带来的这篇文章，作者认为企业环境与消费者环境在数据方面存在着重要的差异，如果不认识到这些差异，面向企业环境的 LLM 项目就可能面临拖延甚至失败的风险。具体来说，作者指出企业数据相比消费者数据，更多是封闭领域的数据、存量数据，

LLM

AI

人工智能

白海科技

AIGC

原创精选 2023-11-27 10:30:16 342 阅读 1评论

Embedding技术与应用(3)：Embeddings技术的实践应用

编者按： IDP开启Embedding系列专栏，力图详细介绍Embedding的发展史、主要技术和应用。本文是《Embedding技术与应用系列》的第三篇，重点介绍嵌入技术在生产环境中的应用效果到底如何。文章作者认为，嵌入技术可以有效地表示用户兴趣偏好，帮助推荐系统进行个性化内容推荐。作者详细分析了Pinterest、YouTube、Google Play、Twitter等平台在推荐系统中应用嵌

推荐系统

深度学习

人工智能

白海科技

AI

原创精选 2023-11-08 10:26:50 339 阅读

轻松理解 Transformers (3): Feed-Forward Layer部分

编者按：随着人工智能技术的不断发展Transformer架构已经成为了当今最为热门的话题之一。前馈层作为Transformer架构中的重要组成部分，其作用和特点备受关注。本文通过浅显易懂的语言和生活中的例子，帮助读者逐步理解Transformers中的前馈层。本文是Transformers系列的第三篇。作者的观点是：前馈层在Transformer架构中扮演着至关重要的角色，它能够有效地提高计算效率

深度学习

人工智能

机器学习

transformer

白海科技

原创精选 2023-11-06 10:07:25 365 阅读

轻松理解 Transformers（2）：Attention部分

编者按：随着人工智能技术的不断发展，Transformers 模型架构已成为自然语言处理领域的重要基石。然而，许多人对其内部工作机制仍然感到困惑。本文通过浅显易懂的语言和生活中的例子，帮助读者逐步理解 Transformers 中最核心的 Attention 机制。本文是Transformers系列的第二篇。作者的核心观点是：Attention 机制是 Transformers 模型区分关键信息的

白海科技

深度学习

人工智能

transformer

注意力机制

原创精选 2023-10-30 15:30:40 280 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Baihai_IDP的博客

模型蒸馏：“学神”老师教出“学霸”学生

能否将扩散模型思想应用于 LLMs 领域？大型语言扩散模型（LLDM）详解

绕过 RAG 实时检索瓶颈，缓存增强生成（CAG）如何助力性能突破？

从PPO到GRPO：算力减半的大模型推理能力训练革命

图文详解：带你读懂 DeepSeek-R1 的核心原理

文档解析技术指南：从传统Pipeline到端到端大模型

向量数据库真的能满足所有 AI Agent 的记忆需求吗？

Agent 智能体开发框架选型指南

快速理解 GraphRAG：构建更可靠、更智能的 Chatbot

化“腐朽”为“神奇”：5 种 RAG 优化技术应对千奇百怪的 Query

从工程师视角看 “Multi-Agent as a Service (MAaaS)”

「模型量化技术」可视化指南：A Visual Guide to Quantization

相同的 LLM 在「不同 GPU 上」会产生不同输出？为什么？

给｢大模型初学者｣的 LLaMA 3 核心技术剖析

Advanced RAG 10：引入检索评估、知识精练的 CRAG 技术详解

「多模态大模型」解读 | 突破单一文本模态局限

Llama-2 vs. Llama-3：利用微型基准测试（井字游戏）评估大模型

检索生成(RAG) vs 长文本大模型：实际应用中如何选择？

LLMs 能否胜任「数据标注」？机遇与挑战并存

一种人机协作新范式？为每个人准备的 AI Agents “羊皮卷”

Advanced RAG 04：重排序（Re-ranking）技术探讨

Advanced RAG 03：运用 RAGAs 与 LlamaIndex 评估 RAG 应用

LoRA 及其衍生技术总览：An Overview of the LoRA Family

LLM 推理优化探微 (3) ：如何有效控制 KV 缓存的内存占用，优化推理速度？

MoE模型性能还能更上一层楼？一次QLoRA微调实践

LLM评估：通过7大指标监测并评估大语言模型的表现

企业级应用场景中，LLM 的数据特性剖析及处理对策

Embedding技术与应用(3)：Embeddings技术的实践应用

轻松理解 Transformers (3): Feed-Forward Layer部分

轻松理解 Transformers（2）：Attention部分

欢迎