编者按：相信很多人都对Chatbots背后的技术原理很感兴趣，其实Chatbots并非通过“魔法”与我们交流，而是依靠一种被称为检索增强生成（RAG）的技术。文章详细梳理了 RAG 技术的具体实现原理。首先，RAG 将用户输入的问题与知识库中的私有数据进行匹配，获取相关知识片段。然后，通过预训练的大语言模型，用提取到的知识片段来增强对问题的回答生成过程。在知识提取步骤，借助词向量的相似度找到与用户
编者按：IDP开启Embedding系列专栏，详细介绍Embedding的发展史、主要技术和应用。本文是《Embedding技术与应用系列》的第二篇，重点介绍神经网络的发展历程及其技术架构，剖析了嵌入技术与这些神经网络（Transformer、BERT和GPT等）的关系。正如OpenAI去年年底推出的ChatGPT在对话领域的重要地位，嵌入技术正在成为人工智能进步的重要基石。本文作者认为,嵌入技术
编者按：嵌入(Embedding)是机器学习中一种将高维稀疏向量转换为低维稠密向量的技术。其通常用于处理自然语言、图像等高维离散数据。嵌入能够有效地解决维度灾难问题，减少存储和计算成本，同时提高模型的表达能力。我们还可以通过得到的嵌入向量进行语义相似度计算、推荐系统、分类任务等多种应用。嵌入还可以用于处理非结构化数据，如文本、图像、音频等，帮助机器理解和处理人类的语言和其他感知信息。IDP开启Em
编者按：在之前的系列文章中，我们介绍了大模型的原理和微调落地的理论方法。本期文章，我们将以实际场景为例，详细介绍微调的实践流程和相关代码。作者详细介绍了如何使用 QLoRA 技术针对 Falcon-7B 大语言模型进行微调，使之在消费级 GPU 上进行微调而不会出现out of memory（内存不足错误），从而创造一个能够准确、连贯的回答心理健康问题的 AI 助手。以下是译文，Enjoy!???
编者按：随着大语言模型的广泛应用，如何存储和高效检索这些模型产生的大量向量表示成为一个较为关键的问题。本文深入探讨了向量数据库在提升语言模型应用性能方面的作用，并介绍了不同类型向量数据库的特点。 本文以简明扼要的方式全面概述了向量数据库的工作机制、应用场景和评估方法，对于在生产环境中应用语言模型的从业者具有重要的参考价值。作者首先阐述了向量表示在语言模型中的重要性，以及向量数据库如何通过语义缓存、长期记忆等机制增强语言模型的能力。然后，文章详细介绍了基于图的、基于文档的和键值型三种主流向量数据库，分析它们各自的应用场景和优缺点。 在生产环境部署语言模型应用时，作者建议从多个维度评估不同数据库的适用性。文章还提供了向量数据库基准测试和集成的最佳实践，帮助读者做出正确选择。 以下是译文，enjoy！
编者按：8月29日凌晨，OpenAI在官网宣布，推出企业版ChatGPT（ChatGPT Enterprise）。前不久，OpenAI又刚刚发布了针对企业的GPT-3.5 Turbo微调功能。因而引发了一场热烈的讨论——是否仍需要私有化的大模型？我们今天为大家带来的文章，作者探讨了与仅通过 OpenAI 等公司的 API 使用 LLM 相比，私有化部署大模型的优势。有力地说明了私有化的大模型仍然是
编者按：随着大语言模型在自然语言处理领域的广泛应用，如何从人类反馈进行强化学习（RLHF）已成为一个重要的技术挑战。并且RLHF需要大量高质量的人工数据标注，这是一个非常费力的过程。本文作者在数据标注领域具有丰富经验，他在本文深入探讨了RLHF过程中有关数据标注的关键问题。作者首先介绍了数据标注的基本要素，如任务分解、质量控制等，然后具体对比了有监督微调和人类偏好反馈这两类标注的关键差异，包括数据
编者按：人工智能领域近年来模型规模不断增大，参数规模爆炸式增长。从 GPT-3 的 1,750 亿，再到传闻中的 GPT-4 可能高达惊人的 18,000 亿参数。然而，随着模型规模的不断膨胀，也出现了训练成本高昂、环境影响大、应用部署困难等问题。因此，业内开始反思超大模型的发展方向和意义。在这样的背景下，“敏捷人工智能”(Nimble AI)应运而生。敏捷AI 指参数量级在百亿级甚至十几亿级的较
编者按：今年以来，大语言模型(LLM)已被广泛应用于各种自然语言处理任务，也越来越多地被用于构建复杂的语言应用。但是构建多任务的 LLM 应用仍面临一定的挑战，需要解决任务组合和调控等问题。本文内容介绍了构建多任务 LLM 应用可能涉及的方方面面，包括如何设计并使用控制流程，如何测试代理等，对于那些希望设计出好用、功能强大的 LLM 应用的读者而言，本文将是非常有价值的学习资料，读者可以通过本文对
自GPT-3以来，大语言
编者按：随着对大语言模型（LLM）评估领域的深入研究，我们更加清楚地认识到全面理解评估过程中的问题对于有效评估LLM至关重要。本文探讨了机器学习模型评估中出现的常见问题，并深入研究了LLM对模型评估领域带来的重大挑战。在评估方法方面，我们将其划分为直接评估指标、基于辅助模型的评估和基于模型的评估。本文还强调了审慎观察复杂评估指标和注意细节的重要性。以下是译文，Enjoy!作者 |&nbs
编者按：随着大规模预训练模型的发展和应用，大模型微调技术已经在很多领域都有了突破性的进展，并推动了人工智能技术的发展与应用。本文会简要介绍上下文学习（in-context learning）的含义，并介绍对LLMs进行微调的各种可行方式。还能够帮助我们了解如何选择大语言模型的微调方法。快快阅读此文，开启一趟大模型微调学习之旅吧！以下是译文，Enjoy!本文经原作者授权，由Baihai IDP编译。
编者按：当我们回顾过去十年的人工智能发展历程时，可以看到一场现在还正在进行的变革，对我们的工作方式、商业运营模式和人际交往行为都产生了深远的影响。从2013年的AlexNet到变分自编码器，再到最近的生成式大模型，人工智能技术不断出现的突破性进展推动着整个领域的蓬勃发展。本文将为您深度解读这些关键性技术突破，并且对人工智能未来的发展趋势进行展望。不论您是从事AI行业的开发者或研究人员，还是对最新A
编者按：近期几乎每隔一段时间，就有新的大语言模型发布，但是当下仍然没有一个通用的标准来评估这些大型语言模型的质量，我们急需一个可靠的、综合的LLM评估框架。本文说明了为什么我们需要一个全面的大模型评估框架，并介绍了市面上这些现有的评估框架，同时指出这些框架存在的问题，最后说明如何评估大型语言模型（LLM），评估时应该考虑哪些因素。以下是译文，Enjoy!作者 | Gyan Prakash
编者按：大语言模型可以提供许多创意性内容，如写诗、写小说等。那么到底应该如何评估大语言模型生成的创意性内容的水平呢？本文探讨了GPT-2到GPT-4的创造性，并分析了这些模型在不同创造性测试中的表现。作者使用了三种测试来衡量模型的创造性：Remote Associates Test、Alternate Uses Task和Divergent Association Task，并发现越新的模型在所有
编者按：在仅仅五年的时间里，大语言模型、transformers几乎完全改变了自然语言处理领域。为了便于快速、扎实、深入地学习大语言模型，本文整理一个简单的经典学术资料列表，供正在入门中的机器学习研究人员和开发者参考。以下是译文，Enjoy!本文经原作者授权，由Baihai IDP编译。如需转载译文，请联系获取授权。原文链接：<https://magazine.sebastianraschk
编者按：目前大语言模型主要问答、对话等场景，进行被动回答。是否可以将大模型应用于推荐系统，进行主动推送呢？这篇文章回顾了可以将大模型作为推荐系统的理论基础，并重点描述了基于英文和阿拉伯语的购物数据集微调T5-large模型，探索将LLMs用作推荐系统的实践。同时本文还介绍了LLMs作为推荐系统的优点和缺点，并提出建议和可行的方向。以下是译文，Enjoy!作者 | Mohamad Abou
编者按：大模型的成本问题一直以来是大家重点关注的问题，本文重点讨论了训练大型语言模型（LLMs）需要的成本，并简要介绍什么是LLM以及一些用于优化大模型推理表现的技术。虽然很难准确预测LLMs未来会怎么发展，但可以肯定，如果成本问题得到解决，LLM会成为我们生活中不可或缺的一部分！以下是译文，Enjoy!作者 | Dmytro Nikolaiev (Dimid)编译 | 岳扬在
其具体要求的兼容性。
编者按：基于基础通用模型构建领域或企业特有模型是目前趋势。本文简明介绍了最大化挖掘语言模型潜力的三大法宝——Finetune, Prompt Engineering和RLHF——的基本概念，并指出了大模型微调面临的工具层面的挑战。以下是译文，Enjoy!作者 | Ben Lorica编译 | 岳扬随着语言模型越来越流行，采用一套通用的方法和工具来充分释放语言
本文主要介绍了科学的演变历史，从笛卡尔到生成式人工智能。文章探讨了数学在验证
本文主要介绍了科学的演变历史，从笛卡尔到生成式人工智能。文章探讨了数学在验证科学原理中的作用，并介绍了新机器学习工具如何验证新的科学。 文中提到，将生成式人工智能与Excel或iPhone进行比较是低估了这一新技术的潜在影响。生成型人工智能的效果很可能相当于电学（electricity）或香农的信息论（Shannon’s Information Theory）。 Generative AI will be a Superpower!
编者按：日前，非盈利组织生命未来研究所发布了一封《暂停大型人工智能研究》的公开信，马斯克等千名科技人士进行了签名。虽然部分签署人的真实性存疑，但是大型语言模型（LLMs）的“涌现”能力确实可能会导致突然产生偏见、歧视和其他不可预测的风险。本文讨论了大型语言模型（LLMs）的“涌现”能力，并讨论LLMs的风险及减小风险的方法。想要更好地利用LLMs的“涌现”能力并尽可能的减小风险，就需要我们更深入的
在现实生活中，大多数数据都需要进行清洗和预处理，以便在使用数据时达到最佳效果。机器学习流程只能处理数字，因此需要找到一种方法将非数字特征转化为数字表示。本文还介绍了三种缺失值类型：完全缺失、随机缺失和非随机缺失，并教授如何使用Python来检测和处理缺失值。 通过阅读本文，我相信你将了解什么是数据清洗，还能掌握数据清洗的步骤以及如何进行实操。
近期，随着AI绘画，AI生成视频的走红，AIGC（AI-Generated Content 人工智能生成内容）再度站在了聚光灯下，成为行业热门话题。AIGC的发展离不开大模型底层技术的支撑，而其中最为出圈的，当属“万能语言模型”GTP-3。本文中，我们将和大家一同走进GPT-3的发展史，了解GPT-3产生巨大飞跃的原因，探索GPT-3的商业化价值。
编者按：ChatGPT以近乎狂热之势席卷了全网。在沉浸于“ChatGPT潮”的同时，让我
AIGC(AI生成内容)目前正处于爆发前夜。在前几期的IDP Inspirtation，我们曾经介绍过
这篇文章是为那些想了解ML模型如何在生产中部署以及在部署
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
