HMM模型介绍由隐状态序列，生成可观测状态的过程。 两个基本假设：第t个隐状态只和前一时刻的t-1隐状态相关，与其他时刻的隐状态无关。在任意时刻t的观测值只依赖于当前时刻的隐状态值，和其他时刻的隐状态无关。HMM模型参数转移概率：t时刻的隐状态qi转移到t+1时刻的隐状态qj的概率。发射概率：t时刻由隐状态qj生成观测状态vk的结果。初始隐状态概率：自然语言序列中第一个字o1的实体标记是qi的概率
转载
2024-05-10 14:46:12
139阅读
卷积神经网络（Convolution Neural Network, CNN）在数字图像处理领域取得了巨大的成功，从而掀起了深度学习在自然语言处理领域（Natural Language Processing, NLP）的狂潮。2015年以来，有关深度学习在NLP领域的论文层出不穷。尽管其中必定有很多附庸风雅的水文，但是也存在很多经典的应用型文章。笔者在2016年也发表过一篇关于CNN在文本分类
转载
2024-05-22 20:02:47
71阅读
同时，智能的机器也成就了人类，给人类带来了前所未有的应用和价值。随着技术的不断发展，人工智能的相关应用已经融入人类生活的方方面面，如今“AI以将人与人之间的语言推广到人与机器之间的智能语音交互一直以来都是一个备受关注同时也极具挑战性的研究课题。
原创
2024-07-24 10:56:34
47阅读
BERT(Bidirectional Encoder Representation from Transformers)是由Devlin等人在2018年提出的基于深层Transformer的预训练语言模型。BERT不仅充分利用了大规模无标注文本来挖掘其中丰富的语义信息，同时还进一步加深了自然语言处理模型的深度。这一节将着重介绍BERT的建模方法，其中包括两个基本的预训练任务以及两个进阶预训练任务。
大家好，我是小发猫。今天又要跟大家讲故事了。 18日结束时，BERT( 《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》)刷新了所有主要NLP公共号码和新闻媒体，创下了11项自然语言处理记录的新纪录，也被称为2019年最强的自然语言处理模式。 作者很早就把论文读完了，很长时间没有
转载
2024-07-12 16:45:15
87阅读
10.1自然语言理解查询数据库如果有人提出一个问题：Which country is Athens in?得到的回答应该是：Greece.这个数据可以通过数据库语言得到答案： SELECT Country FROM city_table WHERE City= 'athens' 这里有一个文法，可以把句子转换成SQL语句： >>>nltk.data.show_cfg('gr
转载
2024-06-14 23:16:10
105阅读
文章目录5.1 概率和语言模型5.1.1 概率视角下的word2vec5.1.2 语言模型5.1.3 将CBOW模型用作语言模型的效果怎么样？5.2 RNN5.2.1 循环神经网络5.2.2 展开循环5.2.3 Backpropagation Through Time5.2.4 Truncated BPTT5.2.5 Truncated BPTT的mini-batch学习5.3 RNN的实现5.
转载
2024-04-02 11:07:11
132阅读
如果你刚接触自然语言处理并对她感兴趣，最好读几本这方面的书籍，除了能让你知道自然语言处理各个领域是干什么的外，还能培养一下NLP的感觉。以下四本书是我读研期间阅读和接触过的，如果您还有好书推荐，欢迎补充。 1、 《自然语言处理综论》（Speech and Language Processing: An Introduction to Natural Language Processin
转载
2024-02-24 11:24:31
686阅读
特点展示如何使用基于 Python 的深度学习库 PyTorch 应用这些方法演示如何使用 PyTorch 构建应用程序探索计算图和监督学习范式掌握 PyTorch 优化张量操作库的基础知识概述传统的 NLP 概念和方法学习构建神经网络所涉及的基本思想使用嵌入来表示单词、句子、文档和其他特征探索序列预测并生成序列到序列模型学习构建自然语言处理生产系统的设计模式内容介绍
监督学习范式观察和目标
转载
2023-09-05 08:07:21
281阅读
了解什么是RNN模型.了解RNN模型的作用.了解RNN模型的分类.
原创
精选
2023-06-07 09:48:52
1649阅读
中文语言的机器处理直观上，一个自然语言处理系统最少三个模块：语言的解析、语义的理解及语言的生成。计算机处理自然语言最早应用在机器翻译上，此后在信息检索、信息抽取、数据挖掘、舆情分析、文本摘要、自动问答系统等方面都获得了很广泛的应用。虽然已经产生了许多专业技术作用域语言理解的不同层面和不同任务，例如，这些技术包括完全句法分析、浅层句法分析、信息抽取、词义消歧、潜在语义分析、文本蕴含和指代消解，但是还
转载
2024-04-05 14:32:30
131阅读
作者：LogM1. 源码来源本文对应的源码版本：Commits on Jun 27 2019, 979d8a9ac99c731d653843890c2364ade0f7d9d3FastText 论文：[1] P. Bojanowski, E. Grave, A. Joulin, T. Mikolov, Enriching Word Vectors with Subword Information[
转载
2024-05-08 11:52:07
153阅读
自然语言处理之Attention机制 一说Attention，一些人就说seq2seq，self-attention，transformer，把attention比作nlp方向的核武器。但是实际上attention更早出现于CV领域，之后2016年在Relation Extraction（至少有这个）方向上有着较早的应用。直到2017年才被大规模应用于Seq2Seq model。因此，atten
转载
2024-05-23 23:44:38
77阅读
语料库和词汇资源1、自然语言工具包（NLTK）2、获取文本语料1.语料库古腾堡语料库网络和聊天文本布朗语料库路透社语料库就职演说语料库标注文本语料库在其他语言的语料库语料库结构载入自己的语料库2.条件频率分布理解条件频率分布使用双连词生成随机文本3、词典资源1. 词汇列表语料库（简单的词典）2. 发音的词典3. 比较词表4. 词汇工具Toolbox和Shoebox4、WordNet1. 意义和同
转载
2023-12-18 23:03:31
222阅读
最近做 Sentiment Analysis 的问题，用 IMDB，Twitter 等 Dataset，拿到原始的一条条文本，直接喂给 Model 肯定不行，需要进行对文本进行预处理。预处理的精细程度很大程度上也会影响模型的性能。这篇 Blog 就记录一些预处理的方法。Remove Stop Words Stop Words，也叫停用词，通常意义上，停用词大致分为两类。一类是人类语言中包含的功能词
转载
2024-02-24 11:24:06
553阅读
基于transformers的自然语言处理(NLP)入门论坛版块：http://datawhale.club/c/team-learning/39-category/39开源内容：https://github.com/datawhalechina/Learn-NLP-with-Transformers学习目标自然语言处理（Natural Language Processing, NLP）是一种重要
转载
2023-06-28 12:55:05
288阅读
深度学习近期的一个趋势是使用注意机制（Attention Mechanism），OpenAI研究负责人Ilya Sutskever在最近的一次采访中提到了注意机制是最令人激动的进步之一，而且它们将就此扎根下来。这听起来令人兴奋不已，但注意机制到底是什么？ 神经网络中的注意机制大体是基于从人类视觉中发现的注意机制。对人类视觉注意力的研究较为透彻，目前存在几个不同模型，但归根结底，它们在本质上都是能
转载
2024-06-14 21:55:14
108阅读
1.词汇表征1.1 one-hot词编码的缺陷回顾上一节的词向量表示方式：one-hot编码。即根据拥有的尽可能多的语料，整理一份词典，词典长度为n，使得每个词对应一个n*1的词向量，其中该词索引所在的位置为1，其余位置为0. 比如，如下图，woman这个词在索引为9853的位置上是1，其余位置为0，这就是one-hot方式的word representation.one-hot的词汇表征很简单，
转载
2024-06-13 23:46:34
119阅读
自然语言处理之Transformer原理及详细推导 在上一篇文章，我介绍了attention，以及attention机制与seq2seq模型的简单结合。seq2seq模型适用于问答、阅读理解、机器翻译、语言生成等自然语言处理的任务，结合attention之后，在2017年提出self-attention，形成现在所说的transformer模型。transformer模型相比于seq2seq+a
转载
2024-05-29 15:29:22
69阅读
一，自然语言处理自然语言处理(NLP) :自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自
转载
2023-07-15 12:35:49
207阅读
