Baihai_IDP的博客_IDP Meetup,技术干货,IDP(1)

解锁AI潜力：AI在销售领域的应用案例(非Chatbot)

编者按：在人工智能技术日益普及的今天，企业如何有效地利用 AI 创造价值，而不仅仅停留在开发 Chatbot 的层面？我们今天为大家分享的这篇文章，作者的观点是：企业应该将 AI 应用于解决具体的业务问题，而不是仅仅追随 AI Chatbot 的潮流。本文为我们揭示了 AI 在销售领域的三个创新应用场景。从特征工程到非结构化数据处理，再到精准的潜在客户评分，每一个场景都展示了 AI 如何解决实际

AI

原创 10月前 235 阅读

我从 2024 年的 LLM 应用开发实践中学到了什么？Part 1

编者按： "为什么明明选择了最先进的大语言模型，构建的 AI 产品却总是无法达到预期效果？" —— 这大概是今年众多技术团队都在苦恼的问题。从选择合适的商业场景，到组建专业团队，再到技术架构设计，每一步都充满挑战。一个错误的决策，可能导致数月的努力付诸东流，更遑论昂贵的模型调用成本。本文作者凭借近十年的 Web 应用和云原生开发经验，以及 2024 年深度参与 LLM 应用开发的第一手经历，为我们

LLM

AI

原创 10月前 160 阅读

Chatbot 不是“万金油”：企业级生成式 AI 如何真正创造价值

编者按：企业在引入生成式 AI 时，是否陷入了盲目追随聊天机器人的误区，如何真正发挥 AI 的价值潜力？本文作者提出了一个观点：企业应该首先关注业务流程，而非简单地将 AI 聊天机器人作为万能解决方案。作者认为企业需要深入分析现有业务流程，识别可以应用 AI 的具体环节，而不是为了使用 AI 而找寻应用场景。同时作者基于十余个生成式 AI 应用的实战经验，详细阐述了如何通过"流程编排"而非"对话

聊天机器人

GenAI

AI

原创 10月前 290 阅读

解码通用 AI Agent：七步构建你的智能系统

编者按：如何才能打造一个能够灵活应对多样场景、高效执行复杂任务的通用智能体系统？传统的硬编码流程已经无法满足快速变化的需求，而简单的提示词模板又显得过于僵化和脆弱。本文作者详细阐述了从零构建通用 LLM Agent 的七个关键步骤，为读者提供了一个从模型选择、控制逻辑设计到工具集构建、规划后续行动的完整路径。这套方法论不仅仅来自理论推演，更凝聚了作者在实际项目中的宝贵经验。通过对模型能力、行为模

Agent

LLMs

原创 10月前 280 阅读

机械鹦鹉与真正的智能：大语言模型推理能力的迷思

编者按：大语言模型真的具备推理能力吗？我们是否误解了"智能"的本质，将模式匹配误认为是真正的推理？本文深入探讨了大语言模型（LLMs）是否真正具备推理能力这一前沿科学问题，作者的核心观点是：LLMs 本质上是高级的模式识别机器，而非真正具备逻辑推理能力。首先，作者指出，尽管大语言模型在各类推理能力基准测试中表现出色，但其性能实际上高度依赖于训练数据中的模式识别，而非真正的逻辑推理。其次，文章质疑

AI

LLMs

原创 10月前 209 阅读

为什么某些 batch size 会突然导致性能下降？

编者按：你是否曾在优化深度学习模型时感到困惑，明明增加了 batch size，GPU 利用率却没有如预期提升？在实际项目中，这个问题可能导致资源浪费、训练效率低下，甚至影响整个 AI 产品的交付周期。本文作者深入剖析了现代 GPU 批处理的工作原理，揭示了内存带宽与计算能力之间的微妙关系。通过建立理论模型并结合实际实验，作者不仅解释了为什么某些 batch size 会突然导致性能下降，还提供了

批处理

AI

LLMs

原创 10月前 158 阅读

LLM 分布式训练六大关键技术介绍

编者按：本文聚焦于分布式去中心化神经网络训练技术，作者系统阐述了在大规模模型训练中提高硬件使用效率的创新方法。文章重点阐述了六种关键的分布式训练技术：数据并行训练：通过将数据 mini-batches 分散到多个 workers，实现并行梯度计算和高效训练。Butterfly All-Reduce：通过创新的数据分割和汇总方法，有效降低通信成本。Gossip-Based Averaging：去中

LLMs

AI

GPU

原创 10月前 123 阅读

OpenAI o1 模型到来后，谈谈提示词工程的未来

编者按：你是否也在思考：当 AI 模型越来越强大时，我们还需要花时间去学习那些复杂的提示词技巧吗？我们究竟要在提示词工程上投入多少精力？是该深入学习各种高级提示词技术，还是静观其变？本文作者基于对 OpenAI 最新 o1 模型的深入观察，为我们揭示了一个重要趋势：就像我们不再需要专门去学习"如何使用搜索引擎"一样，与 AI 交互也将变得越来越自然和直观。文章不仅分析了提示词技术的发展趋势，更提

人工智能

LLMs

AI

Prompt

原创 10月前 157 阅读

到底选谁？五大多智能体 ( Multi-AI Agent) 框架对比

编者按：当前 AI 技术发展日新月异，多智能体框架如雨后春笋般涌现。如何在 AutoGen、LangGraph、CrewAI 等众多框架中做出正确选择，找出那一个真正适合你需求的多智能体框架？本文作者通过对五大多智能体 AI 框架的比较，提出了一个关键观点：不同的 AI 框架适用于不同的场景和需求，选择的关键在于精准匹配项目特点和技术路线。作者 | Mehul Gupta编译 | 岳扬

Multi-AI Agent

LLMs

原创 10月前 1182 阅读 1点赞 1收藏

长上下文语言模型评估体系探析

编者按：如今，AI模型的上下文窗口正以惊人的速度扩大——从2018年的区区512个token到现在的200万token。这种跨越式发展不仅仅是数字的变化，更代表着全新的应用机会：律师可以让AI快速分析数千页的法律文书，医生能够基于完整的病历做出更精准的诊断，研究人员可以同时处理数百篇学术论文...但问题是，我们如何确保这些超长上下文模型真的"理解"了如此庞大的信息量？作者从三个维度详细阐述了长上

语言模型

LLMs

长上下文

AI

原创 11月前 196 阅读

从 Llama 1 到 3.1：Llama 模型架构演进详解

Llama

LLMs

原创 11月前 296 阅读 1收藏

AI像人一样操控电脑：多模态AI Agents和屏幕交互新范式

编者按：未来我们与计算机的交互方式将发生怎样的变革？当 AI 能像人类一样自如地操控电脑和手机，我们的工作方式会有什么改变？本文深入剖析了 Anthropic、微软和苹果三大科技巨头在突破这一瓶颈上的最新进展。通过解读他们各自独特的技术路线 —— 从 Anthropic 采用像素计数方式实现精准导航，到微软将界面解析为结构化数据，再到苹果专注于移动端的多模态交互方案，文章为我们展现了 AI 驱动

AI

LLM

Agents

原创 11月前 445 阅读

「混合专家模型」可视化指南：A Visual Guide to MoE

编者按：对大语言模型进行扩展的过程中，如何在保持高性能的同时有效控制计算资源消耗？混合专家模型（MoE）作为一种新兴的架构设计方案正在得到越来越多的关注，但它究竟是如何工作的？为什么越来越多的大语言模型都在采用这种架构？这篇文章通过50多张精心绘制的示意图，系统拆解了MoE的核心原理。从最基础的专家网络、路由机制，到负载均衡、容量控制等进阶话题，每个概念都配有直观的可视化讲解。作者还介绍了如何将

MoE

AI

原创 11月前 277 阅读

LLMs 如何处理相互矛盾的指令？指令遵循优先级实验

编者按：想象一下，你正在开发一个 AI 助手，突然发现 system message 和用户提示词存在冲突，这时 AI 会听谁的？这种情况不仅困扰着开发者，还可能导致 AI 系统的不稳定和不可预测，影响用户体验和系统可靠性。本文作者通过一系列精心设计的实验，深入探讨了 GPT-4o 和 Claude-3.5 等顶尖大语言模型在面对 system message、prompt 和 few-shot

prompt

LLM

AI

原创 11月前 400 阅读

Agent 智能体开发框架选型指南

编者按：本文通过作者的实践对比发现，框架的选择应基于项目具体需求和团队特点，而不是简单追求某个特定框架。不同框架各有优势：无框架方案实施最为简单直接，代码结构清晰，适合理解智能体原理，但随着项目复杂度增加可能变得难以维护。LangGraph提供完整的智能体结构规范，特别适合团队协作和智能体结构新手，但框架限制较多，如不认同其理念可能面临较大调试挑战。LlamaIndex Workflows采用事

AI

Agents

原创精选 11月前 791 阅读

Llama 3.2 Vision & Molmo：多模态开源生态系统基础

编者按：视觉功能的融入对模型能力和推理方式的影响如何？当我们需要一个既能看懂图像、又能生成文本的 AI 助手时，是否只能依赖于 GPT-4V 这样的闭源解决方案？我们今天为大家分享的这篇文章，作者的核心观点是：多模态语言模型领域正处于快速发展阶段，Llama 3.2 Vision 和 Molmo 等开源模型的出现为构建开放的多模态生态系统奠定了重要基础。本文分享了来自 Meta 的 Llama

Llama 3.2 Vison

Molmo

AI

Baihai IDP

原创 11月前 218 阅读

怎样在 10k 个 H100 GPU 上训练模型？

编者按：怎样在 10,000 个 H100 GPU 上训练大模型？如何充分利用每一块 GPU 的算力？如何在这个复杂的 GPU 网络中高效传递数据？当不可避免的硬件故障发生时，又该如何快速恢复训练进度？我们今天为大家带来的文章中，作者为我们揭示了应对这些挑战的关键策略。作者 | Soumith Chintala编译 | 岳扬我的好友 Francois Fleuret 提出了上述问题。我

GPU

LLM

AI

原创 2024-10-28 10:52:13 190 阅读

50亿美元亏损背后：解析生成式 AI 的商业模式之争

编者按：人工智能正在席卷各个行业，但你是否曾思考过：当 ChatGPT 的开发商 OpenAI 可能面临 50 亿美元亏损时，生成式 AI 的商业模式究竟还能走多远？这篇分析文章直击当前 AI 行业的痛点：巨额投资与高昂运营成本之间的矛盾，技术进步与商业化之间的鸿沟，以及研究价值与经济可持续性之间的平衡。它提醒我们，在追求技术进步的同时，也需要认真思考如何构建可持续的商业模式，以及如何平衡商业利

人工智能

AI

LLMs

Baihai IDP

白海科技

原创 2024-10-25 09:48:48 149 阅读

RAG vs 长上下文 LLMs：谁主沉浮？

编者按：随着大语言模型（LLMs）的上下文窗口不断扩大，您是否开始思考：我们还需要花费大量时间和资源来构建复杂的检索增强生成（RAG）系统吗？本文深入探讨了长上下文 LLMs 与 RAG 系统的优劣势，揭示了它们在实际应用中的表现差异。通过对最新四篇学术研究的全面分析，作者阐明了长上下文 LLMs 在某些任务中的优势，同时也指出了 RAG 系统在某些专业领域任务和成本效益方面仍具有优势。作者建议将

AI

RAG

LLMs

原创 2024-10-16 10:46:18 291 阅读

部署 LLMs 前如何计算与优化 GPU 内存需求？

编者按：想要部署大语言模型（LLMs），却不知该如何估算所需的 GPU 内存？在项目预算有限的情况下，是否曾因为 GPU 内存估算不准而导致资源浪费或性能不足？这些问题不仅影响项目进度，还可能直接导致成本超支或服务质量下降。本文作者凭借丰富的 LLM 部署经验，深入剖析了 GPU 内存需求的计算方法。从模型参数到 KV 缓存，从激活值到系统开销，文章全面而详细地讲解了各个组成部分的内存占用。文章还

GPU

AI

LLMs

原创 2024-10-10 09:52:26 204 阅读

对 AI 产品定价模式的新思考：基于人数 or 工作量？

编者按：传统的基于用户数量的定价模式是否还适用于AI产品？我们今天为大家带来的这篇文章中，作者提出：AI 产品应该采用基于工作量的定价模式，而非传统的基于用户数量的定价方式。传统的基于用户数量的定价模式在 AI 产品中往往会导致资源浪费和成本分配不均。一些员工可能每天都在大量使用 AI 工具，而另一些人可能几乎不碰。这不仅会增加企业的不必要开支，还可能阻碍 AI 工具在整个组织中的广泛应用和创新。

人工智能

LLMs

Baihai IDP

定价模式

原创 2024-09-26 10:16:09 218 阅读

快速理解 GraphRAG：构建更可靠、更智能的 Chatbot

编者按：传统的检索增强生成（RAG）技术在处理需要深入理解实体关系的问题时常常力不从心，那么有什么新的技术可以突破这一限制吗？本文深入探讨了 GraphRAG 技术，这一创新方案通过将非结构化文本转化为结构化知识图谱，巧妙地解决了上述难题。GraphRAG 能显著提升 AI 系统理解和回答复杂问题的能力，尤其在跨时代、跨学科的问题上表现出色。作者也指出了实施 GraphRAG 面临的挑战，包括知识

LLMs

GraphRAG

AI

Baihai IDP

原创精选 2024-09-24 10:26:28 456 阅读

NPU 与 GPU 相比，有什么差别？| 技术速览

编者按：随着2024年被业界誉为“AI PC元年”，各大笔记本电脑厂商纷纷推出搭载NPU的全新AI PC，而在介绍产品性能时，“NPU”一词频频被提及。但NPU和我们所熟知的GPU之间的区别究竟是什么？我们今天为大家分享的这篇文章将和大家一起初探NPU vs GPU。简而言之，NPU专为加速AI任务而设计，包括深度学习和推理，能够高效地处理大量数据，并利用专用存储器快速执行复杂的AI算法。与GP

GPU

NPU

AI

原创 2024-09-13 10:40:48 355 阅读

化“腐朽”为“神奇”：5 种 RAG 优化技术应对千奇百怪的 Query

编者按：您是否曾经遇到这样的情况：明明构建了一个功能强大的 RAG 系统，但用户却频繁抱怨“找不到想要的信息”或“返回的结果不够准确”？这是许多 RAG 应用开发者面临的共同挑战。这个问题不仅会导致用户体验下降，更可能直接影响 RAG 系统的使用率和实际价值。如果未能得到妥善解决，之前的辛苦工作恐将付之东流，甚至影响整个项目的成功。这篇文章并非纸上谈兵，而是源自作者在实际项目中的第一手经验。文章详

AI

检索增强生成

LLMs

原创精选 2024-09-11 10:15:49 476 阅读 1点赞

“创造神迹” -> “打造利器”：AI 从实验室走向市场的五大障碍

编者按： AI 能立即改变世界吗？为何巨额投资却难见成效？你是否也在思考：我们开发的 AI 产品真的解决了用户的需求吗？面对这些问题，许多公司陷入了困境：要么过于专注模型开发而忽视实际应用，要么盲目将 AI 融入产品而不考虑是否需要。这不仅导致资源浪费，更可能使我们错失 AI 真正的价值所在。本文深入剖析了 AI 从实验室走向市场的五大障碍，包括使用成本、产品可靠性、隐私问题、产品安全和用户界面。

LLMs

AI

大模型落地

原创 2024-09-05 10:04:12 128 阅读

从工程师视角看 “Multi-Agent as a Service (MAaaS)”

编者按：目前 AI Agents 在各行各业的应用前景广阔，越来越多的企业开始尝试部署 AI Agents ，然而如何在企业生产环境中有效部署和管理 AI Agents，是工程师们面临的一大挑战。你是否曾面临这样的困惑：如何确保 AI Agents 在生产环境中稳定可靠地运行？如何应对突发的高并发请求？当 AI Agents 出现"幻觉"或系统崩溃时，又该如何快速恢复？本文提出了 "Multi-A

LLMs

AI Agents

AI

原创精选 2024-08-28 10:15:31 348 阅读

「模型量化技术」可视化指南：A Visual Guide to Quantization

编者按：随着大语言模型（LLMs）规模的不断扩大，如何在有限的计算资源下高效部署这些模型成为了一个迫切需要解决的问题。模型量化作为一种有效的模型压缩技术，在保持模型性能的同时大大降低了计算和存储开销，因此广受关注。但对于许多人来说，模型量化的具体原理和实现方法仍然是一个“黑盒”。我们今天为大家带来的这篇文章，通过可视化图示详细解析各种模型量化技术的原理和实现方法，为各位读者提供一个全面且直观的模型

AI

LLMs

原创精选 2024-08-22 10:22:56 553 阅读 1点赞 yyds干货盘点

理性看待、正确理解AI中的 Scaling “laws”

编者按：LLMs 规模和性能的不断提升，让人们不禁产生疑问：这种趋势是否能一直持续下去？我们是否能通过不断扩大模型规模最终实现通用人工智能（AGI）？回答这些问题对于理解 AI 的未来发展轨迹至关重要。在这篇深度分析文章中，作者提出了一个令人深思的观点：单单依靠扩大模型规模来实现 AGI 的可能性几乎为零。这篇文章为我们提供了一个清醒的视角，提醒我们在预测 AI 未来

人工智能

LLMs

原创 2024-08-17 10:26:50 305 阅读

Advanced RAG 11：对用户输入的内容进行「分类处理」和「再优化」

编者按：你是否曾经遇到过这些情况：你向 AI 助手提出了一个比较复杂的问题，但它给出的回答却比较浅显，甚至完全偏离了你的意图?？或者，你询问了一个非常简单的问题， AI 助手却给出了一大堆不必要的信息，让你感到烦恼?？传统的 RAG 技术虽然能有效减少 AI 回答内容中的错误，但并不能改进用户最初提交的 query 内容，因此可能会出现以下这些问题：对于用户提交的简单 query ，系统可能会消

LLMs

AI

原创 2024-08-12 09:54:36 224 阅读

相同的 LLM 在「不同 GPU 上」会产生不同输出？为什么？

编者按：在大语言模型(LLMs)的部署及其相关的算力扩容过程中，更换 GPU 是否也可能会对模型的输出产生重大影响？这个问题的答案对于确保 LLMs 在不同硬件环境下的一致性和可靠性至关重要。我们今天为大家带来的这篇文章，作者的核心观点是：即使在相同的开发环境、系统配置和随机种子下，不同的 GPU 也会导致 LLMs 产生不同的模型输出。作者通过实验证明，在使用 Nvidia Tesl

GPU

LLMs

原创精选 2024-08-09 09:43:58 292 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Baihai_IDP的博客

解锁AI潜力：AI在销售领域的应用案例(非Chatbot)

我从 2024 年的 LLM 应用开发实践中学到了什么？Part 1

Chatbot 不是“万金油”：企业级生成式 AI 如何真正创造价值

解码通用 AI Agent：七步构建你的智能系统

机械鹦鹉与真正的智能：大语言模型推理能力的迷思

为什么某些 batch size 会突然导致性能下降？

LLM 分布式训练六大关键技术介绍

OpenAI o1 模型到来后，谈谈提示词工程的未来

到底选谁？五大多智能体 ( Multi-AI Agent) 框架对比

长上下文语言模型评估体系探析

从 Llama 1 到 3.1：Llama 模型架构演进详解

AI像人一样操控电脑：多模态AI Agents和屏幕交互新范式

「混合专家模型」可视化指南：A Visual Guide to MoE

LLMs 如何处理相互矛盾的指令？指令遵循优先级实验

Agent 智能体开发框架选型指南

Llama 3.2 Vision & Molmo：多模态开源生态系统基础

怎样在 10k 个 H100 GPU 上训练模型？

50亿美元亏损背后：解析生成式 AI 的商业模式之争

RAG vs 长上下文 LLMs：谁主沉浮？

部署 LLMs 前如何计算与优化 GPU 内存需求？

对 AI 产品定价模式的新思考：基于人数 or 工作量？

快速理解 GraphRAG：构建更可靠、更智能的 Chatbot

NPU 与 GPU 相比，有什么差别？| 技术速览

化“腐朽”为“神奇”：5 种 RAG 优化技术应对千奇百怪的 Query

“创造神迹” -> “打造利器”：AI 从实验室走向市场的五大障碍

从工程师视角看 “Multi-Agent as a Service (MAaaS)”

「模型量化技术」可视化指南：A Visual Guide to Quantization

理性看待、正确理解AI中的 Scaling “laws”

Advanced RAG 11：对用户输入的内容进行「分类处理」和「再优化」

相同的 LLM 在「不同 GPU 上」会产生不同输出？为什么？

欢迎