当前，自然语言处理（Natural Language Processing，NLP）技术的发展可谓日新月异，尤其是近些年来层出不穷的预训练模型及其变体更是让人眼花缭乱。对于想要踏入这一领域并想深入了解的人——比如我——来说，可能会想要搞清楚这门技术是如何发展成现在这个样子的，这其中又经历了怎样的波折。 前一段时间，我把NLP技术的发展史做了简略的梳理，并在内部做了分享，现将分享的内容以图文方式整理
转载
2023-12-26 18:09:16
92阅读
最新的一个kaggle nlp比赛 和大家分享一下baseline和基本的kaggle操作 主要由以下这几个部分构成：1.赛题分析2.数据EDA3.模型选择及训练代码构建4.成绩提交 # 一篇应该讲不完 后面会继续更新1.赛题分析目标：在病人的病例中，找出各个疾病对应的临床表现 简单来说就是QA问题 但是根据实际情况 同一病症会有多个临床表现 所以也可以看成是一个token分类问题&nb
转载
2024-06-30 12:54:10
39阅读
文章目录词向量One-Hot Encoding学习资料要点缺点Word2Vec学习资料要点负采样（negative sampling）与分层softmax（hierarchical softmax）FastText学习资料要点Glove学习资料要点Glove对比Word2VecELMo、GPT、BERT学习资料要点难题一难题二句子、文章的表示BoW、TF-IDF学习资料要点BoWTF-IDFLS
转载
2023-11-03 18:23:13
0阅读
目的：为了更系统的学习，在这里总结了NLP文本表示的若干方法代码文本表示离散表示：代表：词袋模型，one-hot，TF-IDF, N-gram。分布式表示：词嵌入(word embedding)，经典模型：词向量（word2vec）、Glove、ELMo、GPT、BERT。一. 离散表示One-hot encodedone-hot向量不是一个好的选择，one-hot词向量无法表达不同词之间的相似度
转载
2023-11-22 18:49:35
58阅读
语料库(corpus)语料库(corpus)就是存放语言材料的仓库(语言数据库)，基于语料库进行语言学研究–语料库语言学(corpus linguistics)。语料库语言学研究的内容语料库的建设与编纂语料库的加工和管理技术语料库的使用语料库的类型平衡语料库平衡语料库着重考虑语料的代表性与平衡性。语料采集的七项原则:语料的真实性、可靠性、科学性、代表性、权威性、分布性和流通性。其中，语料的分布性还
转载
2023-09-22 17:03:46
98阅读
# 深入理解 NLP 中的词嵌入（Embedding）
自然语言处理（NLP）技术近年来发展迅速，其中一个关键的概念就是词嵌入（Word Embedding）。词嵌入是将词语映射到一个连续的向量空间中，使得具有相似意义的词在向量空间中也较为接近。本文将深入探讨词嵌入的原理、实现方式，以及相关示例代码，最后我们还会用序列图和类图来帮助理解。
## 词嵌入的原理
词嵌入的基本思想是使用向量表示词
原创
2024-10-23 06:47:12
67阅读
DenseNet，全称为Densely Connected Convolutional Networks，中文名为密集连接卷积网络，是由李沐等人在2017年提出的一种深度神经网络架构。 DenseNet旨在解决深度神经网络中的梯度消失问题和参数数量过多的问题，通过构建密集连接的方式，使得网络能够更好地利用之前的特征，从而获得更好的性能。DenseNet的核心思想是：把网络中前面的层与后面
摘要: Word2Vec和其衍生出的Item2Vec类模型是Embedding技术的基础性方法，二者都是建立在“序列”样本（比如句子、用户行为序列）的基础上的。在互联网场景下，数据对象之间更多呈现的是图结构，所以Item2Vec在处理大量的 ...人工智能学习离不开实践的验证，推荐大家可以多在FlyAI-AI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。FlyAI是为AI开发者提
1.来源及定义embedding的出现是为了弥补one-hot在表示物品时的不足，当物品的数量变的很多时用one-hot表示的物品的向量就会变的很长，而且很稀疏，这不仅不利于存储而且对于神经网络的输入来说也是不适合的，另一个缺点就是one-hot向量不能很好的表示出两个物品之间的联系，因为任意两个向量的内积为0。embedding的出现就弥补了这种不足，他将one-hot的高维稀疏向量转换成低维稠
转载
2024-05-27 16:28:03
113阅读
1. 图像领域的预训练我们设计好网络结构以后，对于图像来说一般是 CNN 的多层叠加网络结构，可以先用某个训练集合比如训练集合 A 或者训练集合 B 对这个网络进行预先训练，在 A 任务上或者 B 任务上学会网络参数，然后存起来以备后用。假设我们面临第三个任务 C，网络结构采取相同的网络结构，在比较浅的几层 CNN 结构，网络参数初始化的时候可以加载 A 任务或者 B 任务学习好的参数，
转载
2023-07-31 17:24:47
136阅读
(3) 越来越给人一种“雍肿的”感觉
Office 97是一个里程碑式的产品，增加了很多新的功能，但随之也给用户界面增加了复杂性，使人开始觉得Office是“雍肿的”。实际上，应用程序本身并不是“雍肿的”，至少，用户所需求的大量功能表明人们希望UI团队在这个空间做更多的事情。然而，菜单和工具栏开始显得与产品的丰富功能不太相称，这使用户界面开始感到雍肿。这样，在Office 2000中引入了新的
转载
2024-07-15 23:20:18
32阅读
# NLP的发展脉络
自然语言处理（NLP）是计算机科学、人工智能和语言学交叉的一个领域，其目的是使计算机能够理解、分析和生成自然语言。随着技术的发展，NLP经历了多个阶段。本文将帮助你了解NLP的发展脉络。
## NLP发展脉络流程表
| 阶段 | 关键技术/方法 | 主要成就与应用 |
|-------
Word Embedding(字嵌入)：把一个单词转化为向量表示。 最经典的做法是使用one-hot表示法。向量中只有一个1，其余全是0.字典有多少单词，向量就有多少维。它的特点是单词之间没有关联。
转载
2023-11-28 13:01:55
76阅读
在现代科技的浪潮中，自然语言处理（NLP）逐渐崭露头角。作为一个 IT 技术类的专家，我决定整理一下关于“NLP发展的历史”。本文将涵盖从环境准备到生态扩展的全过程，帮助大家理解 NLP 的发展轨迹。
### 环境准备
为确保系统的兼容性，我们先搭建一个合适的环境。以下是所需工具和其兼容性矩阵：
| 工具 | 版本 | 兼容性说明
什么是自然语言自然语言处理（Natural Language Processing，NLP）是研究人与计算机交互语言问题的一门学科。其任务大致分为两类——自然语言理解和自然语言生成。研究方法分类20 世纪 50 年代到 70 年代自然语言处理主要采用基于规则的方法（符号派），研究人员们认为自然语言处理的过程和人类学习认知一门语言的过程是类似的，所以大量的研究员基于这个观点来进行研究，这时的自然语言
转载
2023-11-07 13:30:51
164阅读
接文章《NLP系列文章（一）——按照学习思路整理发展史》《NLP系列文章（二）——NLP领域任务分类、NNLM语言模型》继续讲述NLP预训练的那些事word embedding在互联网中，每天都海量的文本信息。而NLP就是使用计算机处理自然语言的过程。众所周知，computer只能处理数值，因此自然语言需要以一定的形式转化为数值，以供computer处理。 word embedding就是将词语（
转载
2023-12-30 11:42:13
99阅读
一、引入在我们完成基本的句子分词后，我们要把它们输入计算机中，最好要转化成数字形式，即我们可以创建一个数组（矩阵），数组由多个向量组成，每个向量中有一个数字为1，其余数字为0，1在向量所在的位置代表的是单词出现的位置，这个叫做one-hot向量。接下来研究一下如何把语句进行分词并且转为onehot向量：import numpy as np
sentence_example = "I miss yo
转载
2023-10-28 19:29:08
74阅读
根据MarketsandMarkets的研究，自然语言处理（NLP）市场规模预计将从2019年的102亿美元增长到2024年的264亿美元。即使在全球Covid-19大流行之后，企业组织也比以往任何时候都更加了解NLP，并且正在向NLP投资。事实上，最近的一项研究显示，尽管在整体IT今年消费低迷，NLP预算提高整个组织的行业，公司规模和位置（需要下载）的任何地方从10％至30％。显然，2020年是
转载
2023-07-08 11:32:43
186阅读
一、文本分类简介在nlp中，文本分类是一个非常常见的任务，它将一个文本归结于特定的标签。目标：基于训练数据，训练分类模型。使用训练好的模型，预测新数据类型。典型应用场景：垃圾邮件识别情感分析意图识别技术演化：规则机器学习：lr，svm，集成学习传统深度学习：fastrnn、textcnn、bilistm前沿：transformer、bert任务拓展序列标注任务句子对分类任务多标签任务二、机器学习技
转载
2024-01-28 07:42:13
69阅读
引言自然语言处理（NLP）主要是研究实现人与计算机之间用自然语言进行有效通信的各种理论和方法。基于神经网络的深度学习技术具有强大的表达能力、端到端解决问题的能力，因而在NLP任务的应用上越来越广泛和有效。近日，百度PaddlePaddle开源了语义表示模型ERNIE，在多个中文NLP任务上表现超越了谷歌的BERT（请参考链接），展示了百度在NLP技术的领先能力，同时也表明PaddlePaddle作
转载
2023-10-17 16:21:20
96阅读
