Baihai_IDP的博客_IDP Meetup,技术干货,IDP(2)

LLM Data Pipelines: 解析大语言模型训练数据集处理的复杂流程

编者按：在训练大语言模型的过程中,构建高质量的训练数据集是非常关键的一步，但关于构建大模型训练所需数据集的通用数据处理流程（Data pipelines)的相关资料极为稀少。本文主要介绍了基于Common Crawl数据集的数据处理流程。首先,文章概述了Common Crawl的不同数据格式WARC、WAT和WET的区别及应用场景。然后,文章详细阐述了数据处理流程的几个关键步骤,包括从数据源获取数

语言模型

大模型

白海科技

数据集处理

人工智能

原创 2023-07-25 09:52:25 412 阅读

Prompt Learning: ChatGPT 也在用的 NLP 新范式

自GPT-3以来，大语言

人工智能

自然语言处理

ChatGPT

深度学习

nlp

翻译 2023-07-24 20:56:05 163 阅读

大语言模型评估全解：评估流程、评估方法及常见问题

编者按：随着对大语言模型（LLM）评估领域的深入研究，我们更加清楚地认识到全面理解评估过程中的问题对于有效评估LLM至关重要。本文探讨了机器学习模型评估中出现的常见问题，并深入研究了LLM对模型评估领域带来的重大挑战。在评估方法方面，我们将其划分为直接评估指标、基于辅助模型的评估和基于模型的评估。本文还强调了审慎观察复杂评估指标和注意细节的重要性。以下是译文，Enjoy!作者 |&nbs

大模型

大模型评估

LLMOps

白海科技

人工智能

原创 2023-07-17 10:41:17 769 阅读

AIGC神器CLIP：技术详解及应用示例

上一期，我们介绍了Diffusion模型的发展历程、核心原理及其对AIGC发展的推动

stable diffusion

深度学习

人工智能

算法

ai

原创精选 2023-07-12 15:09:30 890 阅读

落地领域大模型应知必会(2): 轻量化微调

编者按：在实际部署大模型的过程中可能会面临资源限制的问题。通过轻量化大模型微调技术，可以将大型预训练语言模型适配到特定领域、特定任务，并减小其模型尺寸和计算量需求，提高性能和效率。在上一篇文章中，我们分享了大语言模型的主要微调技术总览。接下来，本文将介绍轻量化大模型微调技术，重点关注Prompt Tuning和Prefix Tuning。以下是译文，Enjoy!本文经原作者授权，由Baihai I

大模型微调

ChatGPT

人工智能

白海科技

深度学习

原创 2023-07-10 10:07:52 340 阅读 yyds干货盘点

落地领域大模型应知必会 (1) ：主要微调方法总览

编者按：随着大规模预训练模型的发展和应用，大模型微调技术已经在很多领域都有了突破性的进展，并推动了人工智能技术的发展与应用。本文会简要介绍上下文学习（in-context learning）的含义，并介绍对LLMs进行微调的各种可行方式。还能够帮助我们了解如何选择大语言模型的微调方法。快快阅读此文，开启一趟大模型微调学习之旅吧！以下是译文，Enjoy!本文经原作者授权，由Baihai IDP编译。

语言模型

白海科技

大模型微调

人工智能

深度学习

原创精选 2023-07-03 10:07:16 415 阅读

落地领域大模型应知必会 (1) ：主要微调方法总览

编者按：随着大规模预训练模型的发展和应用，大模型微调技术已经在很多领域都有了突破性的进展，并推动了人工智能技术的发展与应用。本文会简要介绍上下文学习（in-context learning）的含义，并介绍对LLMs进行微调的各种可行方式。还能够帮助我们了解如何选择大语言模型的微调方法。快快阅读此文，开启一趟大模型微调学习之旅吧！以下是译文，Enjoy!本文经原作者授权，由Baihai IDP编译。

语言模型

白海科技

大模型微调

人工智能

深度学习

原创精选 2023-07-03 10:07:16 350 阅读

如何评估大型语言模型（LLM）？

编者按：近期几乎每隔一段时间，就有新的大语言模型发布，但是当下仍然没有一个通用的标准来评估这些大型语言模型的质量，我们急需一个可靠的、综合的LLM评估框架。本文说明了为什么我们需要一个全面的大模型评估框架，并介绍了市面上这些现有的评估框架，同时指出这些框架存在的问题，最后说明如何评估大型语言模型（LLM），评估时应该考虑哪些因素。以下是译文，Enjoy!作者 | Gyan Prakash

语言模型

白海科技

人工智能

深度学习

大模型评估

原创 2023-06-19 10:05:38 1177 阅读 1点赞 3评论 yyds干货盘点

想要更好地理解大模型架构？从计算参数量快速入手

编者按：要理解一种新的机器学习架构（以及其他任何新技术），最有效的方法就是从头开始实现它。然而，还有一种更简单的方法——计算参数数量。通过计算参数数量，读者可以更好地理解模型架构，并检查其解决方案中是否存在未被发现的错误。该文章提供了精确的Transformers模型的参数量计算公式和不太准确的简略公式版本，使读者能够快速估算基于Transformer的任何模型中参数的数量。以下是译文，Enjoy

大模型

ChatGPT

transformer

白海科技

人工智能

原创 2023-06-12 09:52:20 231 阅读

大语言模型的创意能力到底几何？探索从GPT-2到GPT-4的演进

编者按：大语言模型可以提供许多创意性内容，如写诗、写小说等。那么到底应该如何评估大语言模型生成的创意性内容的水平呢？本文探讨了GPT-2到GPT-4的创造性，并分析了这些模型在不同创造性测试中的表现。作者使用了三种测试来衡量模型的创造性：Remote Associates Test、Alternate Uses Task和Divergent Association Task，并发现越新的模型在所有

深度学习

白海科技

大模型

GPT

原创 2023-06-05 11:05:45 412 阅读

究诸经典，探寻大模型演变之踪迹

编者按：在仅仅五年的时间里，大语言模型、transformers几乎完全改变了自然语言处理领域。为了便于快速、扎实、深入地学习大语言模型，本文整理一个简单的经典学术资料列表，供正在入门中的机器学习研究人员和开发者参考。以下是译文，Enjoy!本文经原作者授权，由Baihai IDP编译。如需转载译文，请联系获取授权。原文链接：<https://magazine.sebastianraschk

大语言模型

白海科技

深度学习

人工智能

原创 2023-05-29 10:18:43 306 阅读 yyds干货盘点

为什么我们拥有庞大的语言模型，而Vision Transformers的规模却很小？

编者按：本文探讨了语言模型为何会比视觉模型的参数数量大得多的原因，并详细介绍了传统ViT训练方法在扩展时出现不稳定性的问题。为此，本文介绍了如何改进架构以实现扩展，并讨论了实现模型最优状态的方法。同时，如何在扩展模型时不产生“偏见”，也是本文重点关注的问题。很可能，我们很快就可以看到更大型的ViT（单独或作为多模态模型的组成部分）出现。以下是译文，Enjoy!作者 | Salvatore Raie

深度学习

大语言模型

人工智能

transformer

白海科技

原创 2023-05-22 11:18:03 278 阅读

IDP LM - 助力企业快速构建专属大模型

近期，我们正式推出了IDP LM ——专属大模型构建应用加速平台，IDP LM 将带您踏上自有可控AI大模型构建和应用的新篇章。01 IDP LM是什么IDP LM旨在为企业提供高效易用的大模型微调工具和服务，帮助企业更轻松地应对复杂的大模型微调和应用挑战。随着大模型技术的蓬勃发展，可控的领域垂直大模型的构建是未来大模型落地的主要趋势。为帮助企业解决降低大模型微调和应用门槛，我们基于AI基础平台I

数据科学家

大模型

微调

人工智能

深度学习

原创 2023-05-16 16:41:42 397 阅读

推荐系统

人工智能

大语言模型

白海科技

原创 2023-05-15 10:38:09 439 阅读 yyds干货盘点

All in AI，现在开始算不算太晚？

编者按：目前大模型近乎可以帮助人类处理方方面面的事情，如对话、写文章、写代码等等。在大模型“狂飙”趋势下，想要从事AI领域的小伙伴可能会犹疑：现在进入AI领域会不会已经太晚了？本文作者结合自身转型经历和对AI市场的研判，阐述了进入人工智能领域从来都不会太晚，There's no time like the present。本文还详述了，在“AI关联一切”的时代，如何快速掌握必要的AI知识，以及如何

人工智能

前端

后端

转行

程序员

原创 2023-05-08 10:10:27 177 阅读

Zero-ETL、大模型和数据工程的未来

编者按：本文探讨了数据工程领域的未来趋势和挑战，以及其不断变化、甚至经常出现“重塑”的特点。在数据工程领域，大数据的性能、容量提升总是有一定的上限，每一次进步都会带来一定的技术提升，从而提高上限。但是很快我们就能到达这个上限，直到下一次技术跃升。以下是译文，Enjoy!作者 | Barr Moses编译 | 岳扬图片由作者提供如果你不喜欢拥抱变化，那么数据工程应该不适合你。在这个领域里，

数据仓库

数据工程

大模型

Zero-ETL

原创 2023-05-04 11:06:07 250 阅读

人人看得懂的ChatGPT技术原理解析

自ChatGPT面世以来，我们在热切挖掘其丰富应用的同时，也在孜孜探求其背后的工作

机器学习

人工智能

深度学习

ChatGPT

nlp

翻译 2023-05-01 17:03:53 579 阅读

“烧钱”的大模型：初探成本拆解与推理优化方法

编者按：大模型的成本问题一直以来是大家重点关注的问题，本文重点讨论了训练大型语言模型（LLMs）需要的成本，并简要介绍什么是LLM以及一些用于优化大模型推理表现的技术。虽然很难准确预测LLMs未来会怎么发展，但可以肯定，如果成本问题得到解决，LLM会成为我们生活中不可或缺的一部分！以下是译文，Enjoy!作者 | Dmytro Nikolaiev (Dimid)编译 | 岳扬在

语言模型

人工智能

大模型

深度学习

翻译 2023-04-23 10:49:21 320 阅读

大模型的三大法宝：Finetune, Prompt Engineering, Reward

其具体要求的兼容性。

人工智能

深度学习

自然语言处理

ai

nlp

原创 2023-04-22 09:04:08 990 阅读

IDPChat：探索基于LLaMA和Stable Diffusion的「开源」中文多模态AI大模型

中文多模态模型 IDPChat 和大家见面了。随着GPT4、文心一言等的发布，预训练大模型正式

人工智能

深度学习

计算机视觉

模态

github

原创 2023-04-22 07:33:45 770 阅读

大模型的三大法宝：Finetune, Prompt Engineering, Reward

编者按：基于基础通用模型构建领域或企业特有模型是目前趋势。本文简明介绍了最大化挖掘语言模型潜力的三大法宝——Finetune, Prompt Engineering和RLHF——的基本概念，并指出了大模型微调面临的工具层面的挑战。以下是译文，Enjoy!作者 | Ben Lorica编译 | 岳扬随着语言模型越来越流行，采用一套通用的方法和工具来充分释放语言

语言模型

大语言模型

RLHF

ChatGPT

微调大模型

原创 2023-04-17 10:04:58 1422 阅读 ChatGPT初体验

科学的演变：从笛卡尔到生成式人工智能

本文主要介绍了科学的演变历史，从笛卡尔到生成式人工智能。文章探讨了数学在验证

人工智能

ML

机器学习

原创 2023-04-16 08:33:57 411 阅读

科学的演变：从笛卡尔到生成式人工智能

本文主要介绍了科学的演变历史，从笛卡尔到生成式人工智能。文章探讨了数学在验证科学原理中的作用，并介绍了新机器学习工具如何验证新的科学。文中提到，将生成式人工智能与Excel或iPhone进行比较是低估了这一新技术的潜在影响。生成型人工智能的效果很可能相当于电学（electricity）或香农的信息论（Shannon’s Information Theory）。 Generative AI will be a Superpower!

ML

机器学习

人工智能

AIGC

原创 2023-04-10 10:45:51 360 阅读 yyds干货盘点

AI大模型已经出现不可预测的能力

编者按：日前，非盈利组织生命未来研究所发布了一封《暂停大型人工智能研究》的公开信，马斯克等千名科技人士进行了签名。虽然部分签署人的真实性存疑，但是大型语言模型（LLMs）的“涌现”能力确实可能会导致突然产生偏见、歧视和其他不可预测的风险。本文讨论了大型语言模型（LLMs）的“涌现”能力，并讨论LLMs的风险及减小风险的方法。想要更好地利用LLMs的“涌现”能力并尽可能的减小风险，就需要我们更深入的

语言模型

NLP

大模型

人工智能

深度学习

原创精选 2023-04-03 15:04:13 482 阅读 ChatGPT初体验

万字详解AI开发中的数据预处理(清洗)

在现实生活中，大多数数据都需要进行清洗和预处理，以便在使用数据时达到最佳效果。机器学习流程只能处理数字，因此需要找到一种方法将非数字特征转化为数字表示。本文还介绍了三种缺失值类型：完全缺失、随机缺失和非随机缺失，并教授如何使用Python来检测和处理缺失值。通过阅读本文，我相信你将了解什么是数据清洗，还能掌握数据清洗的步骤以及如何进行实操。

缺失值

数据

数据清洗

翻译精选 2023-03-27 11:04:15 599 阅读 yyds干货盘点

大语言模型(LLMs)和新兴机器学习技术栈

过去，NLP开发人员依赖于文本分类、命名实体识别和命名实体消歧等技术栈来优化N的意义

人工智能

自然语言处理

深度学习

nlp

ChatGPT

原创精选 2023-03-26 17:56:40 511 阅读

大语言模型(LLMs)和新兴机器学习技术栈

编者按：过去，NLP开发人员依赖于文本分类、命名实体识别和命名实体消歧等技术栈来优化NLP任务。然而，随着大语言模型(LLM)的快速发展，新的技术栈开始出现，以支持和加速这些大型语言模型的实现和应用。让我们一起跟随Langchain的开发者，共同探讨LLM及NLP技术栈正在发生的变化，以及这一系列变化对开发者的意义。以下是译文，Enjoy! 作者 | Harrison Chase &am

技术栈

数据

语言模型

原创精选 2023-03-20 10:44:49 713 阅读

快速上手Meta大语言模型LLaMA，构建“本地化ChatGPT”

深度学习

LLM

大语言模型

ChatGPT

原创精选 2023-03-14 16:07:06 6916 阅读 1点赞 yyds干货盘点

Foundation model的发展仍不够快?

人工智能

大模型

aigc

原创 2023-03-07 09:57:59 425 阅读 yyds干货盘点

用ChatGPT优化AI绘画提示词的探索

这是一篇关于如何使用ChatGPT优化文生图提示词的简短经验说明。自C

chatgpt

AI作画

Powered by 金山文档

c#

ci

原创精选 2023-03-01 16:27:28 698 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Baihai_IDP的博客

LLM Data Pipelines: 解析大语言模型训练数据集处理的复杂流程

Prompt Learning: ChatGPT 也在用的 NLP 新范式

大语言模型评估全解：评估流程、评估方法及常见问题

AIGC神器CLIP：技术详解及应用示例

落地领域大模型应知必会(2): 轻量化微调

落地领域大模型应知必会 (1) ：主要微调方法总览

落地领域大模型应知必会 (1) ：主要微调方法总览

如何评估大型语言模型（LLM）？

想要更好地理解大模型架构？从计算参数量快速入手

大语言模型的创意能力到底几何？探索从GPT-2到GPT-4的演进

究诸经典，探寻大模型演变之踪迹

为什么我们拥有庞大的语言模型，而Vision Transformers的规模却很小？

IDP LM - 助力企业快速构建专属大模型

探索将大语言模型用作推荐系统

All in AI，现在开始算不算太晚？

Zero-ETL、大模型和数据工程的未来

人人看得懂的ChatGPT技术原理解析

“烧钱”的大模型：初探成本拆解与推理优化方法

大模型的三大法宝：Finetune, Prompt Engineering, Reward

IDPChat：探索基于LLaMA和Stable Diffusion的「开源」中文多模态AI大模型

大模型的三大法宝：Finetune, Prompt Engineering, Reward

科学的演变：从笛卡尔到生成式人工智能

科学的演变：从笛卡尔到生成式人工智能

AI大模型已经出现不可预测的能力

万字详解AI开发中的数据预处理(清洗)

大语言模型(LLMs)和新兴机器学习技术栈

大语言模型(LLMs)和新兴机器学习技术栈

快速上手Meta大语言模型LLaMA，构建“本地化ChatGPT”

Foundation model的发展仍不够快?

用ChatGPT优化AI绘画提示词的探索

欢迎