一、概述随着自己学习NLP知识的深入，觉得应该把自己所学的知识给记录下来，一是为了保存和归纳自己的知识，二是为做一下分享。看了网上很多博客、知乎以及论坛等，觉得大家把NLP的知识讲的都很散，没有系统性的从轮子开始造车，所以想尽自己所知道的知识,写出一系列的由浅入深的NLP知识，希望对于那些想要从轮子开始造车的人给与一定的帮助和理解。下面就开始我们的NLP的教程吧二、自然语言处理介绍自然语言处理又简
转载
2023-08-31 21:08:25
94阅读
一、自然语言（NLP）处理概述1、什么是自然语言（NLP） 自然语言就是人类所了解到的语言，与计算机语言相比本质上两者是同义的。2、自然语言处理（NLP）的基础概念 （1）横跨了计算机科学、语言学、以及人工智能学科； &nbs
转载
2023-09-05 14:44:57
121阅读
本文介绍了Python线程的基本概念和使用方法。主要内容包括：1) P
# NLP 面试必知指南
在快速发展的人工智能领域，自然语言处理（NLP）是一个极其重要的分支。生动的技术应用，如聊天机器人、语音识别和文本分析，正是NLP的典型示例。如果你是一名新入行的开发者，准备在NLP面试中展现你的技能，以下是你需要掌握的流程和知识。
## 流程概述
实现“NLP 面试必知”可以分为以下几个步骤：
| 步骤名称 | 描述
原创
2024-09-29 04:17:57
36阅读
GLUE数据集合1、 CoLA数据集 CoLA(The Corpus of Linguistic Acceptability，语言可接受性语料库)，单句子分类任务，语料来自语言理论的书籍和期刊，每个句子被标注为是否合乎语法的单词序列。本任务是一个二分类任务，标签共两个，分别是0和1，其中0表示不合乎语法，1表示合乎语法。样本个数：训练集8, 551个，开发集1, 043个，测试集1, 063个。
转载
2023-08-14 10:28:50
0阅读
2月25日第一次作业作业奖励： 3月2日中午12点之前完成，会从中挑选10位回答优秀的同学获得飞桨定制数据线+本作业1-1（1）下载飞桨本地并安装成功,将截图发给班主任（2）学习使用PaddleNLP下面的LAC模型或Jieba分词 LAC模型地址：https://github.com/PaddlePaddle/models/tree/release/1.6/PaddleNLP/lexical_a
转载
2024-01-16 19:04:28
39阅读
数据集下载a. IMDB 电影评论数据集下载源：http://ai.stanford.edu/~amaas/data/sentiment数据集下载解压花费了很长时间，或许是因为tar.gz文件格式在windows进行解压本身就相对麻烦数据集获取之后有Readme文档说明，可以大致了解数据集基本情况：Large Movie Review Dataset v1.01. 核心数据集包括50k条有情感标签
转载
2023-11-16 19:19:55
159阅读
GLUE通常来说，NLP可以分为自然语言理解（NLU）和自然语言生成（NLG）。在NLU方面，我们拿时下最流行的GLUE(General Language Understanding Evaluation)排行榜举例，其上集合了九项NLU的任务，分别是CoLA(The Corpus of Linguistic Acceptability):纽约大学发布的有关语法的数据集，该任务主要是对一个给定句子
转载
2023-11-27 16:50:29
89阅读
一、线性回归与逻辑回归的联系与区别什么是机器学习利用大量的数据样本，使得计算机通过不断的学习获得一个模型，用来对新的未知数据做预测。- 有监督学习（分类、回归）同时将数据样本和标签输入给模型，模型学习到数据和标签的映射关系，从而对新数据进行预测。- 无监督学习（聚类）只有数据，没有标签，模型通过总结规律，从数据中挖掘出信息强化学习强化学习会在没有任何标签的情况下，通过先尝试做出一些行为得到一个结果
转载
2023-12-29 17:00:27
45阅读
自然语言处理——小小科普与遐想什么是NLP？人与计算机沟通的桥梁。 让机器具备像人一样的理解能力。“语言理解是人工智能领域皇冠上的明珠” ——比尔·盖茨桥梁：自然语言理解(NLU)及自然语言生成(NLG)。 人工智能：随便说一句话，机器都有相应切正确的操作NLP运用场景搜索、问答、风控、信息提取、推理、预测 https://www.zhihu.com/question/264459321Text2
转载
2024-02-04 14:27:40
354阅读
目录NLP 中任务无关的数据增强NLP 中的少量学习NLP 中的迁移学习多任务学习跨语言学习任务无关的架构优化当你开始进入新的研究领域时，很难找到有价值的选题，也很难知道哪些问题是有趣的。如今，机器学习研究进展如此之快，就更难找到新的选题了。写这篇文章是为初级研究人员或希望从事研究工作的人员提供灵感和研究方向。文章中收集了我认为有趣的研究课题，主要关注 NLP 和迁移学习。当然，这些课题可能并不是
# NLP入门书籍推荐
自然语言处理（Natural Language Processing，NLP）是人工智能领域的重要分支之一，它研究如何使计算机能够理解和处理人类语言。而要学习NLP，一本好的入门书籍是非常有必要的。在知乎上，有许多用户对NLP入门书籍进行了评价和推荐，本文将介绍几本知乎用户普遍认为优秀的NLP入门书籍，并提供相关的代码示例供读者参考。
## 1. 《自然语言处理入门》
原创
2023-09-18 18:38:15
474阅读
最近在学习bert，想下载一些数据集练练手，官网给出GLUE的数据集需要外网下载。翻阅多个博客后发现了一下下载路径。还有一种方式就是下面的方式，可以下载对应任务的数据集。通常来说，NLP可以分为自然语言理解（NLU）和自然语言生成（NLG）。在NLU方面，我们拿时下最流行的GLUE(General Language Understanding Evaluation)排行榜举例，其上集合了九项NLU
转载
2024-08-28 20:04:46
35阅读
中文常用词停用词数据集 该数据集主要包括中文停用词表、哈工大停用词表、百度停用词表、四川大学机器智能实验室停用词库四个部分。词表名词表文件中文停用词表cn_stopwords.txt哈工大停用词表hit_stopwords.txt百度停用词表baidu_stopwords.txt四川大学机器智能实验室停用词库scu_stopwords.txt汉语拆字词表 该词表主要用以提供字旁和部首查
转载
2024-03-14 12:18:00
204阅读
??【自然语言处理NLP】简介 ??自然语言处理(Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。
转载
2024-05-22 16:43:56
58阅读
引言此部分分享的工作为**词袋模型**，代码和数据集均来自Kaggle的Bag of Words Meets Bags of Popcorn入门级竞赛。本人对其做了复现，并对每部分的工作进行介绍。准备工作1.数据集下载： 链接：https://pan.baidu.com/s/1ZV1IY8O1ypJDig06sWedIw 提取码：ghck 2.环境安装，需要用到的包如下：pandasnumpysc
转载
2023-10-18 18:16:13
110阅读
# 如何实现NLP数据集
## 一、整体流程
首先，我们来看一下实现NLP数据集的整体流程。以下是整个过程的步骤：
| 步骤 | 描述 |
|-----|-------------------|
| 1 | 收集文本数据 |
| 2 | 预处理文本数据 |
| 3 | 划分训练集和测试集 |
| 4 | 构建词
原创
2024-06-02 03:33:27
29阅读
# NLP 数据集简介
自然语言处理（Natural Language Processing, NLP）是人工智能领域的一个重要分支，旨在使计算机能够理解、分析和生成人类语言。为了实现这些目标，研究人员通常需要建立和使用各种各样的数据集。本文将介绍NLP数据集的重要性，常见类型，并给出一些代码示例，帮助您更好地理解如何处理这些数据集。
## 什么是 NLP 数据集？
NLP 数据集通常由文本
原创
2024-09-12 05:42:25
203阅读
LSTM1. LSTM-hidden1.1 调试过程1.2 结果1.3 全部代码2. LSTM-output3. Attention4. Transformer5. 全部代码6. 小结 1. LSTM-hidden训练集、测试集、训练集格式如下：什么破烂反派，毫无戏剧冲突能消耗两个多小时生命，还强加爱情戏。脑残片好圈钱倒是真的。 NEG
机甲之战超超好看，比变形金刚强；人，神，变异人，人工智能互
转载
2024-01-21 09:09:40
77阅读
一.imdb数据集下载和探索我们将使用 IMDB 数据集，其中包含来自互联网电影数据库的 50000 条影评文本。我们将这些影评拆分为训练集（25000 条影评）和测试集（25000 条影评）。训练集和测试集之间达成了平衡，意味着它们包含相同数量的正面和负面影评。 1.数据集下载及可能出现的问题(train_data, train_labels), (test_data, test_labels)
转载
2023-11-23 21:45:18
80阅读
