编辑：杜伟NLP 领域的小伙伴应该都非常熟悉大名鼎鼎的 Hugging Face，这家专注于解决各种 NLP 问题的初创公司为社区带来了很多有益的技术成果。去年，该团队的 Transformers 代码库论文获得了 EMNLP 2020 最佳 demo 奖。今年 4 月，该团队发布了适用于多 GPU、TPU 和混合精度训练的 PyTorch 新库「Accelerate」。近日，Huggi
1.文本处理的一般流程 pipeline 分词主要是中文，英语使用空格区分不涉及，清洗包括无用的标签(例如从网上爬取的文本中可能包含html标签)、特殊的符号(！感叹号、省略号等)、停用词、大写转小写标准化包括stemming、lemmazatic(就是对英文词汇中的名词、动词转换化标准形态)，这个主要是英语，中文不涉及。特征提取：常见的TF-IDF（ES就是这个打分机制），word2v
转载
2024-04-19 19:06:41
87阅读
内容简介?手把手带你学 ：快速入门Huggingface Transformers《Huggingface Transformers实战教程 》是专门针对HuggingFace开源的transformers库开发的实战教程，适合从事自然语言处理研究的学生、研究人员以及工程师等相关人员的学习与参考
原创
2023-05-17 12:58:20
402阅读
什么是知识问答基于知识的问答是以知识库为认知源，在知识库的基础上回答自然语言问题。知识库（KB）是一个结构化数据库，其中包含形式<主题，关系，对象>的事实集合，每个事实都可以随附所谓的属性。例如，“Barack Obama got married to Michelle Obama on 3 October 1992 at Trinity United Church”，会被解析为以下的
本文可作为dataset库的入门，详细介绍了数据集的各种操作，这样方便后续进行模型训练。
原创
2023-09-10 10:02:55
656阅读
Hugging Face 是一个开源模型社区。目前已经共享 300k+ 模型，100k+ 应用，50k+ 数据集（截至 231114 数据），可视为 AI 界的 github。
原创
2023-12-11 10:23:06
741阅读
# Hugging Face中的中文实体识别预训练模型使用指南
自然语言处理（NLP）是计算机科学与人工智能领域的重要分支。实体识别（NER, Named Entity Recognition）是NLP中的一个关键任务，旨在从文本中识别出特定的实体（如人名、地名、组织名等）。Hugging Face是一个广受欢迎的开源库，提供了多种预训练的模型，可以方便地用于NLP任务，包括中文实体识别。
#
1.Albert简介Alber相对于原始BERT模型主要有三点改进：embedding 层参数因式分解跨层参数共享将 NSP 任务改为 SOP 任务1.1 embedding 层参数因式分解（Factorized Embedding Parameterization）原始的 BERT 模型以及各种依据 Transformer 的预训连语言模型都有一个共同特点，即 ，其中 E 指的是 Embeddi
转载
2024-04-19 12:47:06
84阅读
文章目录课程介绍1. [Transformer models](https://huggingface.co/course/chapter1?fw=pt)什么是自然语言处理？pipeline(不常用 ）TransformersTransformer 模型由两部分组成：语言模型：Architectures vs. checkpoints2. [Using ? Transformers](https
转载
2024-03-25 15:04:43
275阅读
huggingface NLP工具包教程2：使用Transformers引言Transformer 模型通常非常大，由于有数百万到数百亿个参数，训练和部署这些模型是一项复杂的任务。此外，由于几乎每天都有新模型发布，而且每个模型都有自己的实现，所以使用所有这些模型比较麻烦。transformers 库就是为了解决这个问题而创建的。目标是提供一个 API，通过它可以加载、训练和保存任何 Transfo
转载
2023-11-12 08:27:12
484阅读
本章介绍使用Transformers库时最常见的用例。可用的模型允许许多不同的配置，并且在用例中具有很强的通用性。这里介绍了最简单的方法，展示了诸如问答、序列分类、命名实体识别等任务的用法。这些示例利用Auto Model，这些类将根据给定的checkpoint实例化模型，并自动选择正确的模型体系结构。有关详细信息，请查看：AutoModel文档。请随意修改代码，使其更具体，并使其适应你的特定用例
转载
2024-06-06 16:31:19
184阅读
内容介绍这篇博客主要面向对Bert系列在Pytorch上应用感兴趣的同学，将涵盖的主要内容是：Bert系列有关的论文，Huggingface的实现，以及如何在不同下游任务中使用预训练模型。看过这篇博客，你将了解：Transformers实现的介绍，不同的Tokenizer和Model如何使用。如何利用HuggingFace的实现自定义你的模型，如果你想利用这个库实现自己的下游任务，而不想过多关注其
转载
2024-07-02 23:01:42
93阅读
本文是作者在使用huggingface的datasets包时，出现无法加载数据集和指标的问题，故撰写此博文以记录并分享这一问题的解决方式。以下将依次介绍我的代码和环境、报错信息、错误原理和解决方案。首先介绍数据集的，后面介绍指标的。系统环境： 操作系统：Linux Python版本：3.8.12 代码编辑器：VSCode+Jupyter Notebook datasets版本：2.0.0数据集的：
转载
2024-07-24 14:34:01
689阅读
背景使用Hugging Face提供的transformer工具有一段时间了。使用Bert等一些预训练模型的友友应该对此不陌生，懂得都懂，嘿嘿，但是网上也没有一些详细的教程。当急着用这个工具的包的时候，又没有时间去详细看官方文档，于是乎在网上或者github download一个demo，再结合官方文档完成相关的任务。这似乎有些虎头蛇尾。于是乎，趁周末时间准备对这个工具进行总结，以备自己后期查阅，
转载
2024-08-05 10:15:21
221阅读
1.Huggingface 的简介
Huggingface 即是网站名也是其公司名 ，随着 transformer 浪潮 ，Huggingface 逐步收纳了众多最前沿的模型和数据集等有趣的工 作 ，与 transformers 库结合 ，可以快速使用学习这些模型。 目前提到 NLP 必然绕不开 Huggingface。
Huggingface 的具体介绍
进入 Huggingface 网站,
# 使用 PyTorch 和 Hugging Face 的指南
在机器学习领域，PyTorch 和 Hugging Face 是两个非常流行的工具。PyTorch 是一个开源的深度学习框架，而 Hugging Face 提供了一个简化自然语言处理（NLP）模型的使用和从事的库。本文将逐步指导你如何将这两个技术结合在一起，完成一个基础的 NLP 任务。
## 过程概述
首先，让我们概述一下实现
原创
2024-08-15 09:32:18
99阅读
对于NLP 爱好者来说HuggingFace肯定不会陌生，因为现在几乎一提到NLP就会有HuggingFace的名字出现，HuggingFace为NLP任务提供
原创
2024-05-20 09:54:37
202阅读
内容介绍这篇博客主要面向对Bert系列在Pytorch上应用感兴趣的同学，将涵盖的主要内容是：Bert系列有关的论文，Huggingface的实现，以及如何在不同下游任务中使用预训练模型。看过这篇博客，你将了解：Transformers实现的介绍，不同的Tokenizer和Model如何使用。如何利用HuggingFace的实现自定义你的模型，如果你想利用这个库实现自己的下游任务，而不想过多关注其
转载
2024-08-22 12:54:19
627阅读
TP格式转HF 指令 python3 scripts/convert_llama_from_tencentpretrain_to_hf.py \ --tp
原创
2023-07-02 07:45:41
372阅读
在最近的工作中，我遇到了一些关于如何从 Hugging Face 下载 CodeLlama 的问题。为了确保我的经验得到有效记录，我决定将解决此问题的过程详细整理下来。这篇博文将涵盖备份策略、恢复流程、灾难场景、工具链集成、日志分析和预防措施，并配合相应的图表和代码示例。
## 备份策略
在开始进行任何下载之前，我确保设置一个清晰的备份策略，以防万一出现下载失败或数据损失的情况。我的备份流程如
