以下是我的学习笔记，以及总结，如有错误之处请不吝赐教。自然语言处理发展：在网上看了很多文章都没有屡清楚LDA、n-gram、one-hot、word embeding、word2vec等等的关系，直到看到这篇文章：参考1要分清楚两个概念：语言模型和词的表示语言模型：分为文法语言和统计语言，我们现在常说的语言模型就是统计语言，就是把语言（词的序列）看作一个随机事件，并赋予相应的概率来描述其属于某种语
深度强化学习实验室官网：http://www.neurondance.com/编辑：DeepRL值分布强化学习（Distributional Reinforcement Learning）是一类基于价值的强化学习算法，也是一类新兴的强化学习方法。该方法达到了非分布式强化学习方法上新的基准性能，也与神经科学有着内在联系，因此具有很高的研究价值。本文将带大家一起选读多个近期值分布强化学习相关的研究工作
1.概述序列标注包括自然语言处理中的分词，词性标注，命名实体识别，关键词抽取，词义角色标注等。解决方案是NN模型（神经网络模型）+CRF命名实体识别（Named Entity Recognition，简称NER）是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、日期、时间、百分数、货币等。这里就需要理解句子的词性。词性是词汇的语法属性，是连接词汇到句法的桥梁，一个词的词性与它在句子中的
转载
2023-11-06 18:45:10
135阅读
( 一） Grep函数grep有2种表达方式：
grep BLOCK LIST grep EXPR, LISTBLOCK表示一个code块，通常用{}表示；EXPR表示一个表达式，通常是正则表达式。原文说EXPR可是任何东西，包括一个或多个变量，操作符，文字，函数，或子函数调用。
LIST是要匹配的列表。
grep对列表里的每个元素进行
转载
2024-05-06 09:41:12
91阅读
作者 | Nesrine Sfar编译 | VK来源 | Towards Data Science如果你点开这篇文章，这意味着你有足够的
转载
2022-07-30 00:49:10
294阅读
文章目录transformer整体模型Self-Attention传统的word2vecself-attentionself-attention如何计算self-attention的multi-headed机制Transformer多层堆叠位置信息的表达Add & Normalize transformer整体模型transformer做了一件什么事情呢？ 为什么要提出transform
转载
2024-01-02 13:07:52
50阅读
词向量SDK【中文】词向量/词嵌入（Word embedding）是自然语言处理（NLP）中语言模型与表征学习技术的统称。 概念上而言，它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中， 每个单词或词组被映射为实数域上的向量。词向量SDK功能：词向量提取相似度计算:余弦相似度内积SDK包含9个模型数据：WordEncoderExample1 （w2v_wiki_dim3
转载
2024-01-17 09:03:54
24阅读
【火炉炼AI】机器学习037-NLP文本分块(本文所使用的Python库和版本号: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2， NLTK 3.3)文本分块是将一大段文本分割成几段小文本，其目的是比如想获取一段文本中的一小部分，或分割得到固定单词数目的小部分等，经常用于非常大的文本。注意文本分块和分词不一样，分词的目的是把一段
转载
2023-10-05 16:39:42
145阅读
作者|王嘉宁@华师数据学院整理|NewBeeNLPh
转载
2022-11-13 00:07:29
338阅读
Transformer是现在NLP领域最大的网红特征抽取器，基本现在所有的前沿研究都基于Transformer来做特征提取。《Attention is all you need》Transformer是一个用于机器翻译的编、解码器结构，这也是它为什么叫Transformer的原因。因为在序列编码中强大的特征提取能力和高效的运算特性，Transformer被从编、解码结构中抽离出来，NLP中目前最流
转载
2023-09-05 14:45:22
67阅读
概念token的引入：token是在客户端频繁向服务器端请求数据，服务器端频繁的去数据库查询用户名和密码并进行对比。由此，token出现了。token的定义：token是服务器端生成的一串字符串，作为客户端请求的一个令牌，当第一次登录后，服务器生成一个token并返回给客户端，客户端带着这个token前来发送请求，无需带上用户名和密码。使用token的目的：token的目的是为了减轻服务器的压力
转载
2024-01-11 22:37:56
27阅读
作者：王小惟 Weixun片面的脉络梳理，主要是希望能帮助大家建立一个更全局的视角，因为篇幅有限，仅包含了支撑脉络的工作，同时也没有含括最新的工作，如有遗漏，望各位同仁包涵。总体的思维脑图地址（可能需要翻）：raw.githubusercontent.com [1]提纲部分： 本文从4个部分来介绍，首先是偏好优化算法，主要分为2两大类：• 第一类，先建模偏好奖赏模型，再采用RL优化。主
转载
2024-10-29 17:01:52
268阅读
一 分词支持三种分词模式： 1.精确模式，试图将句子最精确地切开，适合文本分析; 2.全模式，把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义; 3.搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。def test_cut(sentence):
"""
测试分词三种模式
:param sentence:
:re
转载
2023-08-27 15:33:20
24阅读
文章目录前言一、transformer模型的直觉，建立直观认识；1.positional encoding位置嵌入2.self attention mechanism自注意力机制3.add&norm二、总结1.整体流程2.小结 前言提示：这里可以添加本文要记录的大概内容：在目前的自然语言处理中，如何应用transformer？我们一般将应用分为两部分：上游任务和下游任务。上游任务一般是指
转载
2023-08-30 08:47:01
95阅读
一、前言NLP区别与CV的一个重要特征之一，在于模型的输入需要预先处理，从CV转行NLP的炼丹者一开始定会对模型的输入形式感到疑惑。不像CV中模型的输入就是图像的RGB值，本来就是数值型，且像素值可以认为是连续型变量，不需要再做什么处理，最多就是做一下归一化，或者翻转、裁剪等数据增强处理。而NLP输入的是文字，非数值型变量，要如何将文字更加合理地映射成某种数值型变量，是NLP要解决的一个重要问题。
转载
2024-04-02 10:43:37
62阅读
基于深度学习的文本分类3 文章目录基于深度学习的文本分类3part1:文本表示方法4 — 编码器:Transformer(1)位置编码(2)自注意力机制(3)残差连接(4)feed forwardpart2:两种预训练的方式(1)Masked LM (masked language model)(2)Next Sentence Predictionpart3:微调使用方法（1）模型训练（2）微调这
转载
2023-10-02 20:54:01
172阅读
Transformer的背景:
2017年发表的的Transformer论文2018年出现优势:
Transformer能够利用分布式GPU进行并行训练，提升模型训练效率.在分析预测更长的文本时, 捕捉间隔较长的语义关联效果更好. attention机制的使用.Transformer结构解析输入部分
源语言的文本嵌入层 + 位置编码器目标语言的文本嵌入层 + 位置编码器编
转载
2023-11-03 08:42:50
68阅读
本篇介绍在NLP中各项任务及模型中引入相当广泛的Attention机制。在Trans
原创
2022-10-12 16:03:56
280阅读
集中注意力，机器和人都需要
原创
2021-08-11 09:29:13
339阅读
本篇介绍在NLP中各项任务及模型中引入相当广泛的Attention机制。在Transformer中，最重要的特点也是Attention。首先详细介绍其由来，然后具体介绍了其编解码结构的引入和原理，最后总结了Attention机制的本质。作者&编辑 | 小Dream哥1 注意力机...
转载
2019-07-24 08:36:21
461阅读
