Baihai_IDP的博客_IDP Meetup,技术干货,IDP(1)

AI近十年盘点：纵览AI发展历程，探寻AI未来走向

编者按：当我们回顾过去十年的人工智能发展历程时，可以看到一场现在还正在进行的变革，对我们的工作方式、商业运营模式和人际交往行为都产生了深远的影响。从2013年的AlexNet到变分自编码器，再到最近的生成式大模型，人工智能技术不断出现的突破性进展推动着整个领域的蓬勃发展。本文将为您深度解读这些关键性技术突破，并且对人工智能未来的发展趋势进行展望。不论您是从事AI行业的开发者或研究人员，还是对最新A

人工智能

白海科技

AI十年盘点

置顶原创 2023-06-25 10:51:53 700 阅读 yyds干货盘点

LLM评估：通过7大指标监测并评估大语言模型的表现

深度学习

人工智能

AI

LLM

白海科技

原创精选 2023-12-29 10:22:08 730 阅读 yyds干货盘点

生成式 AI 的下一阶段将走向何方？

编者按：最近，随着 ChatGPT 的出现，很多人认为人工智能领域进入了大探索时代。然而这仅仅只是生成式 AI 发展的第一幕。我们今天要给大家带来的这篇文章认为，生成式 AI 已经进入第二幕，即整合时代，不同系统和企业之间将出现广泛合作，以定制解决方案将 AI 能力深度嵌入各行各业。文章详细阐述了第二幕的几个特征：(1)科技巨头纷纷与 AI 初创公司建立合作伙伴关系；(2)将

人工智能

GenAI

深度学习

AI

白海科技

原创 2023-12-25 10:50:01 119 阅读 yyds干货盘点

如何优化 RAG 系统的性能表现？10 条实用策略

编者按：检索增强生成(RAG)系统最近备受关注，ChatGPT的火爆更让这类系统成为广泛讨论的热点。我们今天为大家带来的这篇文章，作者Matt Ambrogi的核心观点是：构建一个基本可用的RAG系统非常简单，但要使其达到实际生产可用的程度则异常困难，需要我们投入大量精力。为此，作者详细介绍了10种策略，包括清洗数据、尝试不同索引类型、优化分块策略、使用 Base Prompt、使用元数据过滤、

白海科技

AI

深度学习

人工智能

RAG

原创 2023-12-20 11:02:03 269 阅读

AI分布式训练：DDP (数据并行）技术详解与实战

编者按：如今传统的单机单卡模式已经无法满足超大模型进行训练的要求，如何更好地、更轻松地利用多个 GPU 资源进行模型训练成为了人工智能领域的热门话题。我们今天为大家带来的这篇文章详细介绍了一种名为 DDP(Distributed Data Parallel)的并行训练技术，作者认为这项技术既高效又易于实现。文章要点如下：(1)DDP 的核心思想是将模型和数

AI

深度学习

人工智能

白海科技

原创 2023-12-18 09:55:18 357 阅读

从信息量角度看人类智能与机器智能

编者按：近日，美国科技巨头 Google 宣布推出其认为规模最大、功能最强大的人工智能模型 Gemini，这种技术能够处理视频、音频和文本等不同内容形式的信息。那么机器学习模型与人类智能相比，谁的学习效率高？许多人认为，人类大脑在学习效率上要远远优于我们目前训练的任何机器学习模型。面对这样的观点，本文作者进行了一番有趣的计算与思考。今天为大家带来的这篇文章，作者的核心观点是：从接受的原始训练数

语言模型

人工智能

白海科技

AI

LLM

原创 2023-12-15 12:15:03 103 阅读

Q-learning 入门：以 Frozen Lake 游戏环境为例

编者按：近年来，强化学习在游戏和机器人控制等领域取得了较大的进步。如何设计一种强化学习算法，使机器人或 Agent 能够在复杂环境中学习最优策略（Optimal Policy ）并作出最优的决策，这成为一个重要课题。我们今天为大家带来的这篇文章，作者指出可以通过设计并训练 Q-learning 算法来解决强化学习中的决策问题。作者首先以 Frozen Lake 游戏为例导入问题。然后详细介绍 Q-

强化学习

深度学习

游戏AI

白海科技

Q-Learning

原创 2023-12-11 11:45:21 250 阅读

GPU深度学习性能的三驾马车：Tensor Core、内存带宽与内存层次结构

编者按：近年来，深度学习应用日益广泛，其需求也在快速增长。那么，我们该如何选择合适的 GPU 来获得最优的训练和推理性能呢？今天，我们为大家带来的这篇文章，作者的核心观点是：Tensor Core、内存带宽和内存层次结构是影响 GPU 深度学习性能的几个最关键因素。作者详细解析了矩阵乘法运算在深度学习中的重要性，以及 Tensor Core 如何通过特有的矩阵乘法计算单元极大地提升计算性能。同时，

GPU

深度学习

人工智能

白海科技

LLM

原创 2023-12-04 10:08:34 486 阅读

语言模型文本处理基石：Tokenizer简明概述

编者按：近年来，人工智能技术飞速发展，尤其是大型语言模型的问世，让 AI 写作、聊天等能力有了质的飞跃。如何更好地理解和利用这些生成式 AI，成为许多开发者和用户关心的问题。今天，我们推出的这篇文章有助于读者深入了解大语言模型的工作原理。作者指出，大语言模型的核心在于将文本转化为数字表征，这就需要介绍 tokenizer 的概念。通过 tokenizer ，文本被分词并映射为 token id，这

AI

深度学习

人工智能

自然语言处理

白海科技

原创 2023-11-29 10:29:50 215 阅读 yyds干货盘点

企业级应用场景中，LLM 的数据特性剖析及处理对策

编者按：今年以来，大语言模型（LLM）在消费者(2C)市场崭露头角，同时也吸引了大量企业的关注。但是直接将这些面向消费者的模型引入企业环境，可能会面临一些风险。今天我们为大家带来的这篇文章，作者认为企业环境与消费者环境在数据方面存在着重要的差异，如果不认识到这些差异，面向企业环境的 LLM 项目就可能面临拖延甚至失败的风险。具体来说，作者指出企业数据相比消费者数据，更多是封闭领域的数据、存量数据，

LLM

AI

人工智能

白海科技

AIGC

原创精选 2023-11-27 10:30:16 342 阅读 1评论

用好语言模型：temperature、top-p等核心参数解析

编者按：我们如何才能更好地控制大模型的输出?本文将介绍几个关键参数，帮助读者更好地理解和运用 temperature、top-p、top-k、frequency penalty 和 presence penalty 等常见参数，以优化语言模型的生成效果。文章详细解释了这些参数的作用机制以及如何在质量与多样性之间进行权衡。提高 temperature 可以增加多样性但会降低质量。top-p 和 to

语言模型

LLM

深度学习

AI

白海科技

原创 2023-11-23 14:06:12 1165 阅读

Embedding技术与应用(4): Embedding应用工程探析

编者按：随着互联网内容数量的急剧增长，个性化推荐已成为各大科技公司的核心竞争力之一。那么，如何构建一个可靠、高效的基于嵌入技术的推荐系统，使其能够在实际生产环境中正常运行呢？这是所有从业者都关心的问题。本文是Embedding技术与应用的最后一篇，探析 Embedding 应用工程的文章。作者认为，要让一个推荐系统项目取得成功，不能仅仅停留在算法层面，更需要从工程实现的角度进行全面的考量和设计。文

机器学习

白海科技

深度学习

原创 2023-11-20 10:35:22 144 阅读

轻松理解 Transformers (4) ：Decoder 和 Output 部分

编者按：Transformers凭借其卓越的性能，已经成为自然语言处理领域的代表性模型架构。但是Transformers的内在机制却比较复杂，对许多读者来说可能还存在一定的难度。本系列对 Transformer各组件进行逐一剖析，我们可以更直观地理解这个模型架构的整体运行逻辑。本篇文章是《轻松理解Transformers》系列的最后一篇，主要介绍Transformer的Decoder和Output

语言模型

深度学习

白海科技

人工智能

transformer

原创 2023-11-13 10:12:05 261 阅读 yyds干货盘点

Embedding技术与应用(3)：Embeddings技术的实践应用

编者按： IDP开启Embedding系列专栏，力图详细介绍Embedding的发展史、主要技术和应用。本文是《Embedding技术与应用系列》的第三篇，重点介绍嵌入技术在生产环境中的应用效果到底如何。文章作者认为，嵌入技术可以有效地表示用户兴趣偏好，帮助推荐系统进行个性化内容推荐。作者详细分析了Pinterest、YouTube、Google Play、Twitter等平台在推荐系统中应用嵌

推荐系统

深度学习

人工智能

白海科技

AI

原创精选 2023-11-08 10:26:50 342 阅读

轻松理解 Transformers (3): Feed-Forward Layer部分

编者按：随着人工智能技术的不断发展Transformer架构已经成为了当今最为热门的话题之一。前馈层作为Transformer架构中的重要组成部分，其作用和特点备受关注。本文通过浅显易懂的语言和生活中的例子，帮助读者逐步理解Transformers中的前馈层。本文是Transformers系列的第三篇。作者的观点是：前馈层在Transformer架构中扮演着至关重要的角色，它能够有效地提高计算效率

深度学习

人工智能

机器学习

transformer

白海科技

原创精选 2023-11-06 10:07:25 365 阅读

轻松理解 Transformers（2）：Attention部分

编者按：随着人工智能技术的不断发展，Transformers 模型架构已成为自然语言处理领域的重要基石。然而，许多人对其内部工作机制仍然感到困惑。本文通过浅显易懂的语言和生活中的例子，帮助读者逐步理解 Transformers 中最核心的 Attention 机制。本文是Transformers系列的第二篇。作者的核心观点是：Attention 机制是 Transformers 模型区分关键信息的

白海科技

深度学习

人工智能

transformer

注意力机制

原创精选 2023-10-30 15:30:40 282 阅读

轻松理解 Transformers（1）：Input部分

编者按：Transformers 是人工智能领域近年来最引人瞩目的技术之一，它为语言生成模型的发展做出了巨大的贡献。随着大语言模型（LLM）的兴起，公众对其背后的技术原理也越来越感兴趣。但是由于Transformers本身具有一定的复杂性，想要真正理解其中的原理并不容易。今天，我们开始为大家带来了一系列以通俗易懂的语言解释Transformers的好文章。作者Chen Margalit希望通过本系

人工智能

transformers

白海科技

深度学习

原创 2023-10-24 15:42:49 160 阅读 yyds干货盘点

大模型的幻觉 (Hallucination) 因何而来？如何解决幻觉问题？

编者按：目前大模型仍然存在一个非常致命的缺陷——大模型的“幻觉”（Hallucination）问题。为什么 LLM 会出现幻觉？如何缓解这种情况？使用的数据集对此现象的影响几何？今天为大家带来的这篇文章将一一解答。作者首先分析了LLM中出现幻觉的原因，主要是由于训练数据的压缩以及信息的不一致、受限或过时造成的。之后，作者通过对TruthfulQA数据集进行多次实验，比较了多种减少幻觉的方法：降低temperature值限制模型的创造力；使用逐步推理的prompt提高回答的准确性；融合外部知识库增强模型效果。作者发现prompt工程技术尤其关键，必要时可以链接外部知识库。

白海科技

人工智能

大模型

深度学习

LLM

原创精选 2023-10-23 10:44:02 1340 阅读 yyds干货盘点

RAG (检索增强生成)技术详解：揭秘基于垂直领域专有数据的Chatbots是如何实现的

编者按：相信很多人都对Chatbots背后的技术原理很感兴趣，其实Chatbots并非通过“魔法”与我们交流，而是依靠一种被称为检索增强生成（RAG）的技术。文章详细梳理了 RAG 技术的具体实现原理。首先，RAG 将用户输入的问题与知识库中的私有数据进行匹配，获取相关知识片段。然后，通过预训练的大语言模型，用提取到的知识片段来增强对问题的回答生成过程。在知识提取步骤，借助词向量的相似度找到与用户

人工智能

RAG

白海科技

LLM

原创 2023-10-16 10:55:29 370 阅读 yyds干货盘点

Embedding技术与应用 (2) ：神经网络的发展及现代Embedding方法简介

编者按：IDP开启Embedding系列专栏，详细介绍Embedding的发展史、主要技术和应用。本文是《Embedding技术与应用系列》的第二篇，重点介绍神经网络的发展历程及其技术架构，剖析了嵌入技术与这些神经网络（Transformer、BERT和GPT等）的关系。正如OpenAI去年年底推出的ChatGPT在对话领域的重要地位，嵌入技术正在成为人工智能进步的重要基石。本文作者认为,嵌入技术

神经网络

人工智能

嵌入

AI

白海科技

原创 2023-10-07 10:43:26 136 阅读 yyds干货盘点

Embeddig技术与应用 (1) ：Embedding技术发展概述及Word2Vec

编者按：嵌入(Embedding)是机器学习中一种将高维稀疏向量转换为低维稠密向量的技术。其通常用于处理自然语言、图像等高维离散数据。嵌入能够有效地解决维度灾难问题，减少存储和计算成本，同时提高模型的表达能力。我们还可以通过得到的嵌入向量进行语义相似度计算、推荐系统、分类任务等多种应用。嵌入还可以用于处理非结构化数据，如文本、图像、音频等，帮助机器理解和处理人类的语言和其他感知信息。IDP开启Em

词向量

Embeddig

深度学习

白海科技

人工智能

原创 2023-09-25 10:21:53 236 阅读 yyds干货盘点

基于Falcon-7B模型的QLoRA微调实操：构建面向心理健康领域的Chatbot

编者按：在之前的系列文章中，我们介绍了大模型的原理和微调落地的理论方法。本期文章，我们将以实际场景为例，详细介绍微调的实践流程和相关代码。作者详细介绍了如何使用 QLoRA 技术针对 Falcon-7B 大语言模型进行微调，使之在消费级 GPU 上进行微调而不会出现out of memory（内存不足错误），从而创造一个能够准确、连贯的回答心理健康问题的 AI 助手。以下是译文，Enjoy!???

白海科技

Baihai IDP

LLM

人工智能

大模型微调

原创 2023-09-18 14:49:28 334 阅读私藏项目实操分享

微调语言模型前，需要考虑这三个关键方面

编者按：随着大语言模型(LLM)的迅速发展，越来越多团队希望针对特定领域进行模型微调。但是实践运用中总是存在一些困难，直接应用并不总是能达到理想效果。本文着重探讨了三个关键问题:利用强大模型(如ChatGPT)的输出结果来微调较弱模型是否有效？如何选择是采用低成本的上下文学习还是对模型进行微调？如何处理超过模型上下文限制的长文本，让模型理解并回答关于长文本的复杂问题？此篇文章探讨了构建特定垂直领域

人工智能

白海科技

大模型微调

LLM

深度学习

原创 2023-09-18 11:40:52 184 阅读 yyds干货盘点

当红语言模型利器：深度解析向量数据库技术及其应用

编者按：随着大语言模型的广泛应用，如何存储和高效检索这些模型产生的大量向量表示成为一个较为关键的问题。本文深入探讨了向量数据库在提升语言模型应用性能方面的作用，并介绍了不同类型向量数据库的特点。本文以简明扼要的方式全面概述了向量数据库的工作机制、应用场景和评估方法，对于在生产环境中应用语言模型的从业者具有重要的参考价值。作者首先阐述了向量表示在语言模型中的重要性，以及向量数据库如何通过语义缓存、长期记忆等机制增强语言模型的能力。然后，文章详细介绍了基于图的、基于文档的和键值型三种主流向量数据库，分析它们各自的应用场景和优缺点。在生产环境部署语言模型应用时，作者建议从多个维度评估不同数据库的适用性。文章还提供了向量数据库基准测试和集成的最佳实践，帮助读者做出正确选择。以下是译文，enjoy！

数据库

语言模型

数据

原创 2023-09-11 10:15:41 159 阅读 yyds干货盘点

为什么企业需要私有化专属大模型

编者按：8月29日凌晨，OpenAI在官网宣布，推出企业版ChatGPT（ChatGPT Enterprise）。前不久，OpenAI又刚刚发布了针对企业的GPT-3.5 Turbo微调功能。因而引发了一场热烈的讨论——是否仍需要私有化的大模型？我们今天为大家带来的文章，作者探讨了与仅通过 OpenAI 等公司的 API 使用 LLM 相比，私有化部署大模型的优势。有力地说明了私有化的大模型仍然是

LLM

白海科技

私有化大模型

垂直领域大模型

人工智能

原创 2023-09-04 10:35:17 415 阅读 yyds干货盘点

如何有效进行RLHF的数据标注？

编者按：随着大语言模型在自然语言处理领域的广泛应用，如何从人类反馈进行强化学习（RLHF）已成为一个重要的技术挑战。并且RLHF需要大量高质量的人工数据标注，这是一个非常费力的过程。本文作者在数据标注领域具有丰富经验，他在本文深入探讨了RLHF过程中有关数据标注的关键问题。作者首先介绍了数据标注的基本要素，如任务分解、质量控制等，然后具体对比了有监督微调和人类偏好反馈这两类标注的关键差异，包括数据

AI

人工智能

LLM

RLHF

白海科技

原创 2023-08-28 10:58:02 313 阅读 yyds干货盘点

中型敏捷GenAI模型：面向企业垂直领域应用的实用型AI

编者按：人工智能领域近年来模型规模不断增大，参数规模爆炸式增长。从 GPT-3 的 1,750 亿，再到传闻中的 GPT-4 可能高达惊人的 18,000 亿参数。然而，随着模型规模的不断膨胀，也出现了训练成本高昂、环境影响大、应用部署困难等问题。因此，业内开始反思超大模型的发展方向和意义。在这样的背景下，“敏捷人工智能”(Nimble AI)应运而生。敏捷AI 指参数量级在百亿级甚至十几亿级的较

人工智能

白海科技

敏捷GenAI

LLM

原创 2023-08-21 10:58:16 172 阅读 yyds干货盘点

落地大模型应知必会(3): 如何构建多任务的LLM应用

编者按：今年以来，大语言模型(LLM)已被广泛应用于各种自然语言处理任务，也越来越多地被用于构建复杂的语言应用。但是构建多任务的 LLM 应用仍面临一定的挑战，需要解决任务组合和调控等问题。本文内容介绍了构建多任务 LLM 应用可能涉及的方方面面，包括如何设计并使用控制流程，如何测试代理等，对于那些希望设计出好用、功能强大的 LLM 应用的读者而言，本文将是非常有价值的学习资料，读者可以通过本文对

人工智能

AI

大模型

白海科技

落地大模型应用

原创 2023-08-14 10:22:45 249 阅读 yyds干货盘点

大语言模型推理性能优化之七策

编者按：随着大语言模型在自然语言处理中的广泛应用，如何提高其在实际部署中的推理速度成为一个非常关键的问题。本文详细介绍了当前提高大语言模型推理速度的七大策略，包括使用低精度计算、模型量化、使用适配器微调、采用模型剪枝、批量推理、多 GPU 并行和采用其他推理优化工具等方法。这些方法各有利弊，作者通过具体的实例说明它们的使用效果，让读者比较清晰地了解当前这一领域的技术发展情况。本文内容丰富全面，对那

大模型

人工智能

ChatGPT

白海科技

模型推理

原创 2023-08-07 10:54:11 1712 阅读 yyds干货盘点

RLHF 技术：如何能更有效？又有何局限性？

编者按：自ChatGPT推出后，基于人类反馈的强化学习(RLHF)技术便成为大模型构建和应用人员关注的热点。但该方法一些情况下效果却差强人意，有些基础模型经RLHF调优后反而表现更差。RLHF技术的适用性和具体操作细节似乎成谜。这篇文章探讨了基于人类反馈的强化学习(RLHF)的工作机制，分析了RLHF的三个关键组成部分：基础模型、偏好模型和强化学习。并总结了RLHF的局限性：无法纠正事实错误或添加

白海科技

大语言模型

人工智能

RLHF

深度学习

原创 2023-07-31 09:54:43 209 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Baihai_IDP的博客

AI近十年盘点：纵览AI发展历程，探寻AI未来走向

LLM评估：通过7大指标监测并评估大语言模型的表现

生成式 AI 的下一阶段将走向何方？

如何优化 RAG 系统的性能表现？10 条实用策略

AI分布式训练：DDP (数据并行）技术详解与实战

从信息量角度看人类智能与机器智能

Q-learning 入门：以 Frozen Lake 游戏环境为例

GPU深度学习性能的三驾马车：Tensor Core、内存带宽与内存层次结构

语言模型文本处理基石：Tokenizer简明概述

企业级应用场景中，LLM 的数据特性剖析及处理对策

用好语言模型：temperature、top-p等核心参数解析

Embedding技术与应用(4): Embedding应用工程探析

轻松理解 Transformers (4) ：Decoder 和 Output 部分

Embedding技术与应用(3)：Embeddings技术的实践应用

轻松理解 Transformers (3): Feed-Forward Layer部分

轻松理解 Transformers（2）：Attention部分

轻松理解 Transformers（1）：Input部分

大模型的幻觉 (Hallucination) 因何而来？如何解决幻觉问题？

RAG (检索增强生成)技术详解：揭秘基于垂直领域专有数据的Chatbots是如何实现的

Embedding技术与应用 (2) ：神经网络的发展及现代Embedding方法简介

Embeddig技术与应用 (1) ：Embedding技术发展概述及Word2Vec

基于Falcon-7B模型的QLoRA微调实操：构建面向心理健康领域的Chatbot

微调语言模型前，需要考虑这三个关键方面

当红语言模型利器：深度解析向量数据库技术及其应用

为什么企业需要私有化专属大模型

如何有效进行RLHF的数据标注？

中型敏捷GenAI模型：面向企业垂直领域应用的实用型AI

落地大模型应知必会(3): 如何构建多任务的LLM应用

大语言模型推理性能优化之七策

RLHF 技术：如何能更有效？又有何局限性？

欢迎