Baihai_IDP的博客_技术干货

模型蒸馏：“学神”老师教出“学霸”学生

编者按：近日，Qwen 3 技术报告正式发布，该系列也采用了从大参数模型中蒸馏知识来训练小参数模型的技术路线。那么，模型蒸馏技术究竟是怎么一回事呢？今天给大家分享的这篇文章深入浅出地介绍了模型蒸馏的核心原理，即通过让学生模型学习教师模型的软标签而非硬标签，从而传递更丰富的知识信息。作者还提供了一个基于 TensorFlow 和 MNIST 数据集的完整实践案例，展示了如何构建教师模型和学生模型，

模型蒸馏

原创精选 4月前 292 阅读

能否将扩散模型思想应用于 LLMs 领域？大型语言扩散模型（LLDM）详解

编者按：当你面对需要高质量逆向推理能力的应用场景时，传统大语言模型是否让你感到力不从心？在诗歌逆向补全、逻辑逆向推导等任务中，为什么即使是 GPT-4o 这样的强大模型也会表现失常？文章深入介绍了 LLaDA(Large Language Diffusion with mAsking) 这一创新模型的工作原理、训练过程与性能表现。与传统自回归模型不同，LLaDA 借鉴了计算机视觉领域的扩散模型思

AI

LLMs

原创精选 5月前 210 阅读

相同的 LLM 在「不同 GPU 上」会产生不同输出？为什么？

编者按：在大语言模型(LLMs)的部署及其相关的算力扩容过程中，更换 GPU 是否也可能会对模型的输出产生重大影响？这个问题的答案对于确保 LLMs 在不同硬件环境下的一致性和可靠性至关重要。我们今天为大家带来的这篇文章，作者的核心观点是：即使在相同的开发环境、系统配置和随机种子下，不同的 GPU 也会导致 LLMs 产生不同的模型输出。作者通过实验证明，在使用 Nvidia Tesl

GPU

LLMs

原创精选 2024-08-09 09:43:58 290 阅读

给｢大模型初学者｣的 LLaMA 3 核心技术剖析

编者按：本文旨在带领读者深入了解 LLaMA 3 的核心技术 —— 使用 RMSNorm 进行预归一化、SwiGLU 激活函数、旋转编码（RoPE）和字节对编码（BPE）算法。RMSNorm 技术让模型能够识别文本中的重点，SwiGLU 激活函数则如同“神笔”，让模型生成的文本更加突出重点且易于理解；RoPE 赋予了模型处理序列中词语位置的灵活性，而 BPE 算法则有效提升了模型处理长文本的能力

Llama 3

AI

LLMs

原创精选 2024-07-13 11:12:22 648 阅读

Advanced RAG 10：引入检索评估、知识精练的 CRAG 技术详解

编者按：本文介绍的 CRAG 技术通过引入轻量级检索评估机制和知识精炼算法，试图解决传统检索增强生成（RAG）方法在处理复杂查询语句时存在的问题（包括检索结果不够精确、引入无关信息等），这些问题会影响模型回答的质量。CRAG 技术如何评估检索文档与用户查询之间的相关性？检索评估器的具体工作原理是什么？CRAG的知识精炼算法是如何工作的？它如何确保在“细分再整合”的过程中不会丢失重要信息？如若您现在

LLMs

AI

RAG

白海科技

原创精选 2024-07-10 10:14:15 355 阅读 1评论 yyds干货盘点

「多模态大模型」解读 | 突破单一文本模态局限

编者按：理想状况下，世界上的万事万物都能以文字的形式呈现，如此一来，我们似乎仅凭大语言模型（LLMs）就能完成所有任务。然而，理想很丰满，现实很骨感——数据形态远不止文字一种，大多数数据也不是以文本的形式呈现的，我们日常接触到的数据涵盖了图像、视频、音频、语音（images or video, audio, speech）等多种形态，形式丰富多元。因此，能够同时理解和处理多种数据形式的多模态大语言

多模态大语言模型

LLMs

AI

原创精选 2024-07-05 10:24:05 315 阅读

Llama-2 vs. Llama-3：利用微型基准测试（井字游戏）评估大模型

编者按：如何更好地评估和比较不同版本的大语言模型？传统的学术基准测试固然重要，但往往难以全面反映模型在实际应用场景中的表现。在此背景下，本文作者别出心裁，通过让 Llama-2 和 Llama-3 模型进行井字游戏对决，为我们提供了一个新颖而有趣的模型评估视角。此文不仅展示了一种创新的模型比较方法，更揭示了当前大语言模型在处理看似简单的空间逻辑任务时所面临的挑战。让我们得以一窥不同参数规模模型的

LLMs

AI

大模型评估

原创精选 2024-07-04 13:41:34 303 阅读 yyds干货盘点

一种人机协作新范式？为每个人准备的 AI Agents “羊皮卷”

编者按：当前大热的大语言模型和检索增强生成模型，虽然在语言理解和内容生成方面取得了突破性的进展，但仍然存在诸多限制。它们缺乏根据目标导引行为、持续学习和与环境交互的能力，难以应对复杂多变的现实场景需求。今天为大家带来的这篇文章，作者的观点是人工智能领域正朝着开发更智能、更自主的 AI Agent 系统迈进，这将彻底改变我们使用人工智能的方式。作者相信人工智能的未来必将呈现出更智能、更自主的 AI

人工智能

语言模型

LLMs

白海科技

原创精选 2024-05-29 10:37:42 244 阅读 1点赞 yyds干货盘点

Advanced RAG 04：重排序（Re-ranking）技术探讨

编者按：重排序（Re-ranking）技术在检索增强生成（Retrieval Augmented Generation，RAG）系统中扮演着关键角色。通过对检索到的上下文进行筛选和排序，可以提高 RAG 系统的有效性和准确性，为最终的结果生成提供更精准的信息。本文介绍了两种主要的 Re-ranking 方法，并演示了如何将其融入到 RAG

RAG

检索增强生成

LLM

AIGC

AI

原创精选 2024-04-20 10:20:49 1587 阅读

Advanced RAG 03：运用 RAGAs 与 LlamaIndex 评估 RAG 应用

编者按：目前，检索增强生成（Retrieval Augmented Generation，RAG）技术已经广泛使用于各种大模型应用场景。然而，如何准确评估 RAG 系统的性能和效果，一直是业界和学界共同关注的重点问题。若无法对 RAG 系统进行全面、客观的评估，也难以针对性地优化和改进它。因此，开发一套科学、可靠的 RAG 系统评估指标体系，对于推动RAG技术的进一步发展具有重

LLM

RAG

AI

人工智能

原创精选 2024-04-17 11:37:22 576 阅读 yyds干货盘点

LoRA 及其衍生技术总览：An Overview of the LoRA Family

编者按：对于大语言模型的微调训练来说，传统的全参数微调方法需要处理数百万甚至数十亿级别的参数，计算量和显存占用都非常大。而 LoRA 这种技术方案，通过引入少量的可训练矩阵来调整预训练模型的行为，极大降低了训练所需的计算资源，是近年来大语言模型微调的一个重大突破。我们今天为大家带来的文章，介绍了众多具有代表性的 LoRA 改进方法：LoRA+ 通过为两个矩阵引入不同的学习率提高训练效率

LLM

人工智能

AI

LoRA

白海科技

原创精选 2024-03-30 09:06:44 370 阅读

LLM评估：通过7大指标监测并评估大语言模型的表现

深度学习

人工智能

AI

LLM

白海科技

原创精选 2023-12-29 10:22:08 730 阅读 yyds干货盘点

企业级应用场景中，LLM 的数据特性剖析及处理对策

编者按：今年以来，大语言模型（LLM）在消费者(2C)市场崭露头角，同时也吸引了大量企业的关注。但是直接将这些面向消费者的模型引入企业环境，可能会面临一些风险。今天我们为大家带来的这篇文章，作者认为企业环境与消费者环境在数据方面存在着重要的差异，如果不认识到这些差异，面向企业环境的 LLM 项目就可能面临拖延甚至失败的风险。具体来说，作者指出企业数据相比消费者数据，更多是封闭领域的数据、存量数据，

LLM

AI

人工智能

白海科技

AIGC

原创精选 2023-11-27 10:30:16 340 阅读 1评论

Embedding技术与应用(3)：Embeddings技术的实践应用

编者按： IDP开启Embedding系列专栏，力图详细介绍Embedding的发展史、主要技术和应用。本文是《Embedding技术与应用系列》的第三篇，重点介绍嵌入技术在生产环境中的应用效果到底如何。文章作者认为，嵌入技术可以有效地表示用户兴趣偏好，帮助推荐系统进行个性化内容推荐。作者详细分析了Pinterest、YouTube、Google Play、Twitter等平台在推荐系统中应用嵌

推荐系统

深度学习

人工智能

白海科技

AI

原创精选 2023-11-08 10:26:50 339 阅读

轻松理解 Transformers (3): Feed-Forward Layer部分

编者按：随着人工智能技术的不断发展Transformer架构已经成为了当今最为热门的话题之一。前馈层作为Transformer架构中的重要组成部分，其作用和特点备受关注。本文通过浅显易懂的语言和生活中的例子，帮助读者逐步理解Transformers中的前馈层。本文是Transformers系列的第三篇。作者的观点是：前馈层在Transformer架构中扮演着至关重要的角色，它能够有效地提高计算效率

深度学习

人工智能

机器学习

transformer

白海科技

原创精选 2023-11-06 10:07:25 365 阅读

轻松理解 Transformers（2）：Attention部分

编者按：随着人工智能技术的不断发展，Transformers 模型架构已成为自然语言处理领域的重要基石。然而，许多人对其内部工作机制仍然感到困惑。本文通过浅显易懂的语言和生活中的例子，帮助读者逐步理解 Transformers 中最核心的 Attention 机制。本文是Transformers系列的第二篇。作者的核心观点是：Attention 机制是 Transformers 模型区分关键信息的

白海科技

深度学习

人工智能

transformer

注意力机制

原创精选 2023-10-30 15:30:40 280 阅读

大模型的幻觉 (Hallucination) 因何而来？如何解决幻觉问题？

编者按：目前大模型仍然存在一个非常致命的缺陷——大模型的“幻觉”（Hallucination）问题。为什么 LLM 会出现幻觉？如何缓解这种情况？使用的数据集对此现象的影响几何？今天为大家带来的这篇文章将一一解答。作者首先分析了LLM中出现幻觉的原因，主要是由于训练数据的压缩以及信息的不一致、受限或过时造成的。之后，作者通过对TruthfulQA数据集进行多次实验，比较了多种减少幻觉的方法：降低temperature值限制模型的创造力；使用逐步推理的prompt提高回答的准确性；融合外部知识库增强模型效果。作者发现prompt工程技术尤其关键，必要时可以链接外部知识库。

白海科技

人工智能

大模型

深度学习

LLM

原创精选 2023-10-23 10:44:02 1334 阅读 yyds干货盘点

落地领域大模型应知必会 (1) ：主要微调方法总览

编者按：随着大规模预训练模型的发展和应用，大模型微调技术已经在很多领域都有了突破性的进展，并推动了人工智能技术的发展与应用。本文会简要介绍上下文学习（in-context learning）的含义，并介绍对LLMs进行微调的各种可行方式。还能够帮助我们了解如何选择大语言模型的微调方法。快快阅读此文，开启一趟大模型微调学习之旅吧！以下是译文，Enjoy!本文经原作者授权，由Baihai IDP编译。

语言模型

白海科技

大模型微调

人工智能

深度学习

原创精选 2023-07-03 10:07:16 415 阅读

落地领域大模型应知必会 (1) ：主要微调方法总览

编者按：随着大规模预训练模型的发展和应用，大模型微调技术已经在很多领域都有了突破性的进展，并推动了人工智能技术的发展与应用。本文会简要介绍上下文学习（in-context learning）的含义，并介绍对LLMs进行微调的各种可行方式。还能够帮助我们了解如何选择大语言模型的微调方法。快快阅读此文，开启一趟大模型微调学习之旅吧！以下是译文，Enjoy!本文经原作者授权，由Baihai IDP编译。

语言模型

白海科技

大模型微调

人工智能

深度学习

原创精选 2023-07-03 10:07:16 350 阅读

AI大模型已经出现不可预测的能力

编者按：日前，非盈利组织生命未来研究所发布了一封《暂停大型人工智能研究》的公开信，马斯克等千名科技人士进行了签名。虽然部分签署人的真实性存疑，但是大型语言模型（LLMs）的“涌现”能力确实可能会导致突然产生偏见、歧视和其他不可预测的风险。本文讨论了大型语言模型（LLMs）的“涌现”能力，并讨论LLMs的风险及减小风险的方法。想要更好地利用LLMs的“涌现”能力并尽可能的减小风险，就需要我们更深入的

语言模型

NLP

大模型

人工智能

深度学习

原创精选 2023-04-03 15:04:13 482 阅读 ChatGPT初体验

万字详解AI开发中的数据预处理(清洗)

在现实生活中，大多数数据都需要进行清洗和预处理，以便在使用数据时达到最佳效果。机器学习流程只能处理数字，因此需要找到一种方法将非数字特征转化为数字表示。本文还介绍了三种缺失值类型：完全缺失、随机缺失和非随机缺失，并教授如何使用Python来检测和处理缺失值。通过阅读本文，我相信你将了解什么是数据清洗，还能掌握数据清洗的步骤以及如何进行实操。

缺失值

数据

数据清洗

翻译精选 2023-03-27 11:04:15 599 阅读 yyds干货盘点

基于高效采样算法的时序图神经网络系统（一）

时序图是包含时间属性的图数据。在金融交易领域，时间属性是反欺诈、反套现等众多应用场景的重要属性。因此如何对时序图神经网络进行高效的训练和推理成为了非常重要的问题。基于以上问题，本文提出了一种基于高效采样算法的时序图神经网络系统。

神经网络

图数据

人工智能

高效采样

原创精选 2022-08-22 10:32:00 965 阅读 yyds干货盘点

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Baihai_IDP的博客

模型蒸馏：“学神”老师教出“学霸”学生

能否将扩散模型思想应用于 LLMs 领域？大型语言扩散模型（LLDM）详解

相同的 LLM 在「不同 GPU 上」会产生不同输出？为什么？

给｢大模型初学者｣的 LLaMA 3 核心技术剖析

Advanced RAG 10：引入检索评估、知识精练的 CRAG 技术详解

「多模态大模型」解读 | 突破单一文本模态局限

Llama-2 vs. Llama-3：利用微型基准测试（井字游戏）评估大模型

一种人机协作新范式？为每个人准备的 AI Agents “羊皮卷”

Advanced RAG 04：重排序（Re-ranking）技术探讨

Advanced RAG 03：运用 RAGAs 与 LlamaIndex 评估 RAG 应用

LoRA 及其衍生技术总览：An Overview of the LoRA Family

LLM评估：通过7大指标监测并评估大语言模型的表现

企业级应用场景中，LLM 的数据特性剖析及处理对策

Embedding技术与应用(3)：Embeddings技术的实践应用

轻松理解 Transformers (3): Feed-Forward Layer部分

轻松理解 Transformers（2）：Attention部分

大模型的幻觉 (Hallucination) 因何而来？如何解决幻觉问题？

落地领域大模型应知必会 (1) ：主要微调方法总览

落地领域大模型应知必会 (1) ：主要微调方法总览

AI大模型已经出现不可预测的能力

万字详解AI开发中的数据预处理(清洗)

基于高效采样算法的时序图神经网络系统（一）

欢迎