Baihai_IDP的博客_技术干货(2)

深度解析 Cursor（逐行解析系统提示词、分享高效制定 Cursor Rules 的技巧...）

编者按：我们今天为大家带来的这篇文章，作者的观点是：只有深入理解 AI 编程工具的底层原理和能力边界，才能真正驾驭这些工具，让它们成为提升开发效率的“外挂神器”。本文从 LLM 的基础工作机制出发，解释了 Cursor 等工具本质上是 VSCode 的复杂封装，通过聊天界面、工具集（如 read_file、write_file 等）和精心设计的提示词来实现智能编程辅

代码库

Agent

Cursor

AI编程

原创 4月前 275 阅读

AI 智能体到底应该如何构建？分享 Github 上收获 4k stars 的 12 条原则

编者按： AI 智能体到底应该如何构建？是追求复杂的端到端解决方案，还是回归软件工程的本质思维？我们今天为大家带来的文章，作者的观点是：智能体本质上就是软件，应该用严谨的软件工程原则来构建，而非盲目追求“黑箱式”的复杂框架。文章从智能体的发展历程出发，深入剖析了从有向图到 DAG 编排工具，再到今天 AI 智能体的技术演进脉络。随后，作者系统性地提出了构建可靠 LLM 应用的12个核心原则。这篇文

AI Agent

LLMs

原创 4月前 76 阅读

“一代更比一代强”：现代 RAG 架构的演进之路

编者按：我们今天为大家带来的文章，作者的观点是：RAG 技术的演进是一个从简单到复杂、从 Naive 到 Agentic 的系统性优化过程，每一次优化都是在试图解决无数企业落地大语言模型应用时出现的痛点问题。文章首先剖析 Naive RAG 的基础架构及其核心挑战，继而深入探讨三大优化方向：查询动态优化（包括查询重写、查询扩展等策略）、语义理解增强（重点解析 Anthropic 提出的上下文检索

RAG

LLM

AI

原创 4月前 94 阅读

对 AI Agent 定义的一些探讨

编者按：当身边的人都在谈论 AI Agent 时，你是否会困惑：究竟什么才是真正的智能体？为什么 OpenAI、IBM 和各大技术领袖给出的智能体定义都不相同？我们今天为大家带来的这篇文章，作者的观点是：当前流行的智能体定义要么过于复杂，要么严重偏离核心要义，真正的智能体应该被定义为“具备自主性和行为能力，能在所处环境中实现一个或多个目标的系统”。本文系原作者观点，Baihai IDP 仅进行编

智能体

AI

原创 5月前 58 阅读

大语言模型推理优化技术综述（The Art of LLM Inference）

编者按：如何将 LLM 的推理过程从“烧钱的无底洞”转变为“高性能的生产力引擎”？本文深入剖析了提升 LLM 推理效率的五大核心技术：巧妙的 KV 缓存管理、Query-sparsity attention（QUEST）、推测解码（使用 draft model 加速生成过程）、权重调度（通过 Flexgen 实现跨设备资源分配）以及系统级优化（FastServe 解决队头阻塞问题）。此外，作者还

LLM

LLM 推理优化

原创 5月前 117 阅读

模型蒸馏：“学神”老师教出“学霸”学生

编者按：近日，Qwen 3 技术报告正式发布，该系列也采用了从大参数模型中蒸馏知识来训练小参数模型的技术路线。那么，模型蒸馏技术究竟是怎么一回事呢？今天给大家分享的这篇文章深入浅出地介绍了模型蒸馏的核心原理，即通过让学生模型学习教师模型的软标签而非硬标签，从而传递更丰富的知识信息。作者还提供了一个基于 TensorFlow 和 MNIST 数据集的完整实践案例，展示了如何构建教师模型和学生模型，

模型蒸馏

原创精选 5月前 293 阅读

MCP 协议为何不如你想象的安全？从技术专家视角解读

编者按：模型上下文协议（MCP）究竟安全可靠吗？当你通过 MCP 插件让 AI Agent 访问公司文档、员工聊天记录或客户信息时，你真的了解潜在的安全风险吗？文章详细剖析了 MCP 存在的四大问题：协议自身的安全性不足，包括缺乏标准化的身份认证机制及存在可能执行恶意代码的风险；用户体验方面的局限，如缺乏工具风险分级和成本控制；大语言模型安全方面的挑战，特别是提示词注入和敏感数据泄露的风险；以及

MCP

MCP安全

原创 5月前 121 阅读

能否将扩散模型思想应用于 LLMs 领域？大型语言扩散模型（LLDM）详解

编者按：当你面对需要高质量逆向推理能力的应用场景时，传统大语言模型是否让你感到力不从心？在诗歌逆向补全、逻辑逆向推导等任务中，为什么即使是 GPT-4o 这样的强大模型也会表现失常？文章深入介绍了 LLaDA(Large Language Diffusion with mAsking) 这一创新模型的工作原理、训练过程与性能表现。与传统自回归模型不同，LLaDA 借鉴了计算机视觉领域的扩散模型思

AI

LLMs

原创精选 6月前 212 阅读

LLMs.txt：让大模型更懂你的 Web 文档

编者按：当你向 AI 助手询问 API 细节时，它是否经常被文档中的导航栏、样式表等无关内容干扰，给出模棱两可的答案？AI 助手已成为开发者不可或缺的得力助手。然而，它们在处理网站内容时往往受限于有限的上下文窗口，加上 HTML 页面中大量非核心内容的干扰，导致理解效率低下。本文深入剖析了新兴的 LLMs.txt 标准如何巧妙解决这一问题。这个由 Answer.AI 联合创始人 Jeremy H

AI

LLMs

原创 6月前 103 阅读

「DeepSeek-V3 技术解析」：多词元预测技术（Multi-Token Prediction, MTP）

编者按：在实时人工智能应用场景中，大语言模型的推理速度直接影响用户体验。传统模型通过逐词元预测（next-token prediction）生成文本，每次仅预测一个词元的方式导致长文本生成耗时较长。这种延迟在对话系统和内容创作平台中尤为明显，已成为阻碍用户沉浸体验的主要障碍。本文深入探讨了 DeepSeek-V3 模型的多词元预测技术（Multi-Token Prediction, MTP）。与

语言模型

MTP

原创 6月前 119 阅读 #DeepSeek技术实践#

「DeepSeek-V3 技术解析」：无辅助损失函数的负载均衡

编者按：在混合专家模型（MoE）的实践中，负载不均衡俨然已成为制约模型性能提升的关键瓶颈之一。传统的均衡策略往往需要引入复杂的辅助损失函数，不仅增加了训练的复杂度，还可能干扰模型的核心学习目标。工程师们在提升模型效率的道路上，一直苦苦追寻着一个优雅而高效的平衡解决方案。DeepSeek 团队的这项研究，为这一长期困扰业界的技术难题提供了令人耳目一新的解决思路：通过在门控分数中直接添加专家层面的偏

负载均衡

LLMs

DeepSeek

原创 6月前 164 阅读 yyds干货盘点

为什么大模型在 OCR 任务上表现不佳？

编者按：你是否曾经用最先进的大语言模型处理企业文档，却发现它把财务报表中的“$1,234.56”读成了“123456”？或者在处理医疗记录时，将“0.5mg”误读为“5mg”？对于依赖数据准确性的运营和采购团队来说，这些问题不仅影响工作效率，更可能导致财务损失、法律风险甚至造成医疗事故。本文深入揭示了大语言模型在 OCR 任务上的根本局限，不只是指出问题，更从技术原理层面详细分析了出现这些问题的

语言模型

OCR

原创 7月前 127 阅读

「DeepSeek-V3 技术解析」：DeepSeekMoE

编者按：为什么说 DeepSeekMoE 的“共享专家隔离”设计，既能保留通用知识又能减少冗余？传统 MoE 的专家真的“专精”吗？传统 MoE 专家易“崩溃”，DeepSeekMoE 如何通过“更细粒度的专家分割”让每个专家专注更小领域，解决负载不均衡问题？作者巧妙地用餐厅厨师的比喻，将抽象的技术概念形象化 —— 是聘用一位熟悉多种菜系的厨师，还是聘用多位各有专长的厨师更明智？随后，文章深入剖

LLMs

DeepSeek

MoE

原创 7月前 270 阅读 #DeepSeek技术实践#

为什么说JSON不一定是LLM结构化输出的最佳选择？

编者按：在使用大语言模型时，如何在保证输出质量的同时降低成本？在众多数据输出格式中，究竟应该如何选择？我们今天为大家带来的文章中，作者通过实际测试给出建议：在某些场景下，相比广泛使用的 JSON 格式，不妨考虑一下其他数据格式，做一些测试，挑选出既能控制成本又能保证稳定性和速度的最佳选项。文章通过对比 TSV、CSV、Columnar JSON、YAML、TOML 和 JSON 六种格式，从 t

JSON

数据

YAML

原创 7月前 233 阅读

如何正确看待 AI 的推理能力？走出人类中心主义

编者按：人工智能真的能“推理”吗？我们是否正在用过于狭隘的人类思维，限制了对 AI 推理能力的认知？我们今天为大家带来的文章，作者的观点是：AI 的推理能力不应被简单地用“人类中心主义”的标准来否定。文章重点揭示了三个关键内容：推理能力的定义应更加开放，不应局限于传统人类思维模式通过多个标准化测试（如 HellaSwag、WinoGrande），AI 在推理任务中已展现出显著能力我们需要以更开放

人工智能

语言模型

AI

LLMs

原创 8月前 200 阅读

LLM Agent 协作评估难？这 3 款评估监控工具来帮忙

编者按：在构建基于大语言模型的应用时，你是否遇到过这样的困扰：多个 AI Agent 协同工作时，如何确保它们的表现符合预期？如何有效监控它们之间的互动质量？这些问题不仅影响着产品的性能，更直接关系到用户体验的好坏。本文作者基于实际项目经验，深入剖析了 Agentneo、Arize Phoenix 和 TruLens 这三款主流评估工具的特点和应用场景。通过具体的代码示例和实践建议，展示了如何从

AI

Agents

原创 8月前 214 阅读

到底选谁？五大多智能体 ( Multi-AI Agent) 框架对比

编者按：当前 AI 技术发展日新月异，多智能体框架如雨后春笋般涌现。如何在 AutoGen、LangGraph、CrewAI 等众多框架中做出正确选择，找出那一个真正适合你需求的多智能体框架？本文作者通过对五大多智能体 AI 框架的比较，提出了一个关键观点：不同的 AI 框架适用于不同的场景和需求，选择的关键在于精准匹配项目特点和技术路线。作者 | Mehul Gupta编译 | 岳扬

Multi-AI Agent

LLMs

原创 10月前 1182 阅读 1点赞 1收藏

AI像人一样操控电脑：多模态AI Agents和屏幕交互新范式

编者按：未来我们与计算机的交互方式将发生怎样的变革？当 AI 能像人类一样自如地操控电脑和手机，我们的工作方式会有什么改变？本文深入剖析了 Anthropic、微软和苹果三大科技巨头在突破这一瓶颈上的最新进展。通过解读他们各自独特的技术路线 —— 从 Anthropic 采用像素计数方式实现精准导航，到微软将界面解析为结构化数据，再到苹果专注于移动端的多模态交互方案，文章为我们展现了 AI 驱动

AI

LLM

Agents

原创 11月前 445 阅读

Llama 3.2 Vision & Molmo：多模态开源生态系统基础

编者按：视觉功能的融入对模型能力和推理方式的影响如何？当我们需要一个既能看懂图像、又能生成文本的 AI 助手时，是否只能依赖于 GPT-4V 这样的闭源解决方案？我们今天为大家分享的这篇文章，作者的核心观点是：多模态语言模型领域正处于快速发展阶段，Llama 3.2 Vision 和 Molmo 等开源模型的出现为构建开放的多模态生态系统奠定了重要基础。本文分享了来自 Meta 的 Llama

Llama 3.2 Vison

Molmo

AI

Baihai IDP

原创 2024-11-01 10:14:59 218 阅读

怎样在 10k 个 H100 GPU 上训练模型？

编者按：怎样在 10,000 个 H100 GPU 上训练大模型？如何充分利用每一块 GPU 的算力？如何在这个复杂的 GPU 网络中高效传递数据？当不可避免的硬件故障发生时，又该如何快速恢复训练进度？我们今天为大家带来的文章中，作者为我们揭示了应对这些挑战的关键策略。作者 | Soumith Chintala编译 | 岳扬我的好友 Francois Fleuret 提出了上述问题。我

GPU

LLM

AI

原创 2024-10-28 10:52:13 190 阅读

NPU 与 GPU 相比，有什么差别？| 技术速览

编者按：随着2024年被业界誉为“AI PC元年”，各大笔记本电脑厂商纷纷推出搭载NPU的全新AI PC，而在介绍产品性能时，“NPU”一词频频被提及。但NPU和我们所熟知的GPU之间的区别究竟是什么？我们今天为大家分享的这篇文章将和大家一起初探NPU vs GPU。简而言之，NPU专为加速AI任务而设计，包括深度学习和推理，能够高效地处理大量数据，并利用专用存储器快速执行复杂的AI算法。与GP

GPU

NPU

AI

原创 2024-09-13 10:40:48 355 阅读

“创造神迹” -> “打造利器”：AI 从实验室走向市场的五大障碍

编者按： AI 能立即改变世界吗？为何巨额投资却难见成效？你是否也在思考：我们开发的 AI 产品真的解决了用户的需求吗？面对这些问题，许多公司陷入了困境：要么过于专注模型开发而忽视实际应用，要么盲目将 AI 融入产品而不考虑是否需要。这不仅导致资源浪费，更可能使我们错失 AI 真正的价值所在。本文深入剖析了 AI 从实验室走向市场的五大障碍，包括使用成本、产品可靠性、隐私问题、产品安全和用户界面。

LLMs

AI

大模型落地

原创 2024-09-05 10:04:12 128 阅读

理性看待、正确理解AI中的 Scaling “laws”

编者按：LLMs 规模和性能的不断提升，让人们不禁产生疑问：这种趋势是否能一直持续下去？我们是否能通过不断扩大模型规模最终实现通用人工智能（AGI）？回答这些问题对于理解 AI 的未来发展轨迹至关重要。在这篇深度分析文章中，作者提出了一个令人深思的观点：单单依靠扩大模型规模来实现 AGI 的可能性几乎为零。这篇文章为我们提供了一个清醒的视角，提醒我们在预测 AI 未来

人工智能

LLMs

原创 2024-08-17 10:26:50 305 阅读

相同的 LLM 在「不同 GPU 上」会产生不同输出？为什么？

编者按：在大语言模型(LLMs)的部署及其相关的算力扩容过程中，更换 GPU 是否也可能会对模型的输出产生重大影响？这个问题的答案对于确保 LLMs 在不同硬件环境下的一致性和可靠性至关重要。我们今天为大家带来的这篇文章，作者的核心观点是：即使在相同的开发环境、系统配置和随机种子下，不同的 GPU 也会导致 LLMs 产生不同的模型输出。作者通过实验证明，在使用 Nvidia Tesl

GPU

LLMs

原创精选 2024-08-09 09:43:58 292 阅读

汽车长翅膀：GPU 是如何加速深度学习模型的训练和推理过程的？

编者按：深度学习的飞速发展离不开硬件技术的突破，而 GPU 的崛起无疑是其中最大的推力之一。但你是否曾好奇过，为何一行简单的“.to('cuda')”代码就能让模型的训练速度突飞猛进？本文正是为解答这个疑问而作。作者以独特的视角，将复杂的 GPU 并行计算原理转化为通俗易懂的概念。从 CPU 与 GPU 的设计哲学对比，到 CUDA 编程的核心要素，再到具体的代码实现，文章循序渐进地引领读者把握

AI

GPU

原创 2024-07-24 10:10:17 58 阅读

给｢大模型初学者｣的 LLaMA 3 核心技术剖析

编者按：本文旨在带领读者深入了解 LLaMA 3 的核心技术 —— 使用 RMSNorm 进行预归一化、SwiGLU 激活函数、旋转编码（RoPE）和字节对编码（BPE）算法。RMSNorm 技术让模型能够识别文本中的重点，SwiGLU 激活函数则如同“神笔”，让模型生成的文本更加突出重点且易于理解；RoPE 赋予了模型处理序列中词语位置的灵活性，而 BPE 算法则有效提升了模型处理长文本的能力

Llama 3

AI

LLMs

原创精选 2024-07-13 11:12:22 647 阅读

Advanced RAG 10：引入检索评估、知识精练的 CRAG 技术详解

编者按：本文介绍的 CRAG 技术通过引入轻量级检索评估机制和知识精炼算法，试图解决传统检索增强生成（RAG）方法在处理复杂查询语句时存在的问题（包括检索结果不够精确、引入无关信息等），这些问题会影响模型回答的质量。CRAG 技术如何评估检索文档与用户查询之间的相关性？检索评估器的具体工作原理是什么？CRAG的知识精炼算法是如何工作的？它如何确保在“细分再整合”的过程中不会丢失重要信息？如若您现在

LLMs

AI

RAG

白海科技

原创精选 2024-07-10 10:14:15 354 阅读 1评论 yyds干货盘点

「多模态大模型」解读 | 突破单一文本模态局限

编者按：理想状况下，世界上的万事万物都能以文字的形式呈现，如此一来，我们似乎仅凭大语言模型（LLMs）就能完成所有任务。然而，理想很丰满，现实很骨感——数据形态远不止文字一种，大多数数据也不是以文本的形式呈现的，我们日常接触到的数据涵盖了图像、视频、音频、语音（images or video, audio, speech）等多种形态，形式丰富多元。因此，能够同时理解和处理多种数据形式的多模态大语言

多模态大语言模型

LLMs

AI

原创精选 2024-07-05 10:24:05 316 阅读

Llama-2 vs. Llama-3：利用微型基准测试（井字游戏）评估大模型

编者按：如何更好地评估和比较不同版本的大语言模型？传统的学术基准测试固然重要，但往往难以全面反映模型在实际应用场景中的表现。在此背景下，本文作者别出心裁，通过让 Llama-2 和 Llama-3 模型进行井字游戏对决，为我们提供了一个新颖而有趣的模型评估视角。此文不仅展示了一种创新的模型比较方法，更揭示了当前大语言模型在处理看似简单的空间逻辑任务时所面临的挑战。让我们得以一窥不同参数规模模型的

LLMs

AI

大模型评估

原创精选 2024-07-04 13:41:34 305 阅读 yyds干货盘点

Advanced RAG 09：『提示词压缩』技术综述

编者按：如何最大限度地发挥 LLMs 的强大能力，同时还能控制其推理成本？这是当前业界研究的一个热点课题。针对这一问题，本期精心选取了一篇关于"提示词压缩"(Prompt Compression)技术的综述文章。正如作者所说，提示词压缩技术的核心目标是压缩向 LLMs 输入的上下文信息，删减非关键内容，保留语义核心，从而在不影响模型表现的前提下，降低推理成本。文中全面介绍了多种提示词压缩算法的原

LLMs

RAG

白海科技

AI

原创 2024-06-29 11:04:32 392 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Baihai_IDP的博客

深度解析 Cursor（逐行解析系统提示词、分享高效制定 Cursor Rules 的技巧...）

AI 智能体到底应该如何构建？分享 Github 上收获 4k stars 的 12 条原则

“一代更比一代强”：现代 RAG 架构的演进之路

对 AI Agent 定义的一些探讨

大语言模型推理优化技术综述（The Art of LLM Inference）

模型蒸馏：“学神”老师教出“学霸”学生

MCP 协议为何不如你想象的安全？从技术专家视角解读

能否将扩散模型思想应用于 LLMs 领域？大型语言扩散模型（LLDM）详解

LLMs.txt：让大模型更懂你的 Web 文档

「DeepSeek-V3 技术解析」：多词元预测技术（Multi-Token Prediction, MTP）

「DeepSeek-V3 技术解析」：无辅助损失函数的负载均衡

为什么大模型在 OCR 任务上表现不佳？

「DeepSeek-V3 技术解析」：DeepSeekMoE

为什么说JSON不一定是LLM结构化输出的最佳选择？

如何正确看待 AI 的推理能力？走出人类中心主义

LLM Agent 协作评估难？这 3 款评估监控工具来帮忙

到底选谁？五大多智能体 ( Multi-AI Agent) 框架对比

AI像人一样操控电脑：多模态AI Agents和屏幕交互新范式

Llama 3.2 Vision & Molmo：多模态开源生态系统基础

怎样在 10k 个 H100 GPU 上训练模型？

NPU 与 GPU 相比，有什么差别？| 技术速览

“创造神迹” -> “打造利器”：AI 从实验室走向市场的五大障碍

理性看待、正确理解AI中的 Scaling “laws”

相同的 LLM 在「不同 GPU 上」会产生不同输出？为什么？

汽车长翅膀：GPU 是如何加速深度学习模型的训练和推理过程的？

给｢大模型初学者｣的 LLaMA 3 核心技术剖析

Advanced RAG 10：引入检索评估、知识精练的 CRAG 技术详解

「多模态大模型」解读 | 突破单一文本模态局限

Llama-2 vs. Llama-3：利用微型基准测试（井字游戏）评估大模型

Advanced RAG 09：『提示词压缩』技术综述

欢迎