1、LDAP的存储规则区分名（DN，Distinguished Name）和自然界中的树不同，文件系统/LDAP/电话号码簿目录的每一片枝叶都至少有一个独一无二的属性，这一属性可以帮助我们来区别这些枝叶。在文件系统中， 这些独一无二的属性就是带有完整路径的文件名。比如/etc/passwd，该文件名在该路径下是独一无二的。当然我们可以有/usr/passwd, /opt/passwd，但是根据它们
转载
2024-05-13 11:18:45
30阅读
目录一、数据清洗1.导入必要的库 2.创建停用词表3. 对句子进行中文分词4. 给出文档路径5.将结果输出保存并且打印处理过程二、转换数据格式1.将处理完毕的数据读取查看2.创建data3. 将评论数据按行写入data中的“评论”一列4.读取评分数据5.将评分数据以逗号形式分割6.将评分数据作为label按行写入data中的“评分”一列7.查看数据，并将数
转载
2024-04-01 06:34:41
107阅读
如何建立专门领域的语言模型？理解了这个自然语言模型怎么用RNN来建立以后，建立一个专门的领域语言模型那就非常简单了，其实就是需要把这个领域特有的大量的语料数据放到训练里面来，最后出来的就是这个领域所特有的语言模型。以会计家园和软件的服务社区为基础，利用上面几十万个问题和答案，在去掉敏感数据的情况下，训练出适合于在财务领域使用的语言模型。举例说明，报销差旅费，这是在会计领域经常使用的语言，比如“报销
转载
2024-06-04 18:57:31
57阅读
1.BERT概述BERT 是 Transformers 双向编码器表示的缩写，是一种用于自然语言处理的机器学习 (ML) 模型。它由 Google AI Language 的研究人员于 2018 年开发，是 11 种以上最常见语言任务解决方案，例如情感分析和命名实体识别。从历史上看，计算机很难“理解”语言。当然，计算机可以收集、存储和读取文本输入，但它们缺乏基本的语言上下文。因此，出现
转载
2024-08-12 22:39:16
63阅读
话题模型话题模型是为发现文档集合中的话题而开发出来的一种统计方法。常见的话题模型有LSA、PLSA、LDA，其中LDA（LatentDirichletAllocation)是表现最好的话题模型。LDA也被称为三层贝叶斯概率模型，包含词语、话题和文档三层结构。我们认为一篇文章的产生是服从概率分布的，即每个词都是通过“以一定概率选择了某个话题，并从这个话题中以一定的概率选择了某个词语”。LatentD
原创
2021-01-02 21:30:06
1956阅读
文章目录致命密码：一场关于语言的较量一、自然语言处理的发展历程1.1 兴起时期1.2 符号主义时期1.3 连接主义时期1.4 深度学习时期二、自然语言处理技术面临的挑战2.1 语言学角度2.1.1 同义词问题2.1.2 情感倾向问题2.1.3 歧义性问题2.1.4 对话/篇章等长文本处理问题2.1.5 探索自然语言理解的本质问题2.2 计算角度三、自然语言处理的常见任务四、使用深度学习解决自然语
转载
2024-04-23 16:43:03
57阅读
最近读了《Python深度学习》， 是一本好书，很棒，隆重推荐。本书由Keras之父、现任Google人工智能研究员的弗朗索瓦•肖莱(François Chollet)执笔，详尽介绍了用Python和Keras进行深度学习的探索实践，涉及计算机视觉、自然语言处理、生成式模型等应用。书中包含30多个代码示例，步骤讲解详细透彻。由于本书立足于人工智能的可达性和大众化，读者无须具备机器学习相关背景知识即
转载
2023-09-07 11:11:13
50阅读
自然语言处理学习笔记1，Transformer2，注意力机制3，卷积网络为什么要用多个卷积核进行图像处理？4，最小二乘法 的一点见解5，卷积网络发展激活函数卷积神经网络：空洞卷积RNNLSTM（长的_短期记忆网络）考点总结： 1，TransformerTransformer 经典模型：简单理解 编码器(Encoding)+解码器(Decoding) 编码器：提取特征 解码器：根据得到的特征尽可能
转载
2024-05-11 20:22:43
40阅读
特点展示如何使用基于 Python 的深度学习库 PyTorch 应用这些方法演示如何使用 PyTorch 构建应用程序探索计算图和监督学习范式掌握 PyTorch 优化张量操作库的基础知识概述传统的 NLP 概念和方法学习构建神经网络所涉及的基本思想使用嵌入来表示单词、句子、文档和其他特征探索序列预测并生成序列到序列模型学习构建自然语言处理生产系统的设计模式内容介绍
监督学习范式观察和目标
转载
2023-09-05 08:07:21
281阅读
HMM模型介绍由隐状态序列，生成可观测状态的过程。 两个基本假设：第t个隐状态只和前一时刻的t-1隐状态相关，与其他时刻的隐状态无关。在任意时刻t的观测值只依赖于当前时刻的隐状态值，和其他时刻的隐状态无关。HMM模型参数转移概率：t时刻的隐状态qi转移到t+1时刻的隐状态qj的概率。发射概率：t时刻由隐状态qj生成观测状态vk的结果。初始隐状态概率：自然语言序列中第一个字o1的实体标记是qi的概率
转载
2024-05-10 14:46:12
139阅读
10.1自然语言理解查询数据库如果有人提出一个问题：Which country is Athens in?得到的回答应该是：Greece.这个数据可以通过数据库语言得到答案： SELECT Country FROM city_table WHERE City= 'athens' 这里有一个文法，可以把句子转换成SQL语句： >>>nltk.data.show_cfg('gr
转载
2024-06-14 23:16:10
105阅读
文章目录5.1 概率和语言模型5.1.1 概率视角下的word2vec5.1.2 语言模型5.1.3 将CBOW模型用作语言模型的效果怎么样？5.2 RNN5.2.1 循环神经网络5.2.2 展开循环5.2.3 Backpropagation Through Time5.2.4 Truncated BPTT5.2.5 Truncated BPTT的mini-batch学习5.3 RNN的实现5.
转载
2024-04-02 11:07:11
132阅读
BERT(Bidirectional Encoder Representation from Transformers)是由Devlin等人在2018年提出的基于深层Transformer的预训练语言模型。BERT不仅充分利用了大规模无标注文本来挖掘其中丰富的语义信息，同时还进一步加深了自然语言处理模型的深度。这一节将着重介绍BERT的建模方法，其中包括两个基本的预训练任务以及两个进阶预训练任务。
如果你刚接触自然语言处理并对她感兴趣，最好读几本这方面的书籍，除了能让你知道自然语言处理各个领域是干什么的外，还能培养一下NLP的感觉。以下四本书是我读研期间阅读和接触过的，如果您还有好书推荐，欢迎补充。 1、 《自然语言处理综论》（Speech and Language Processing: An Introduction to Natural Language Processin
转载
2024-02-24 11:24:31
686阅读
大家好，我是小发猫。今天又要跟大家讲故事了。 18日结束时，BERT( 《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》)刷新了所有主要NLP公共号码和新闻媒体，创下了11项自然语言处理记录的新纪录，也被称为2019年最强的自然语言处理模式。 作者很早就把论文读完了，很长时间没有
转载
2024-07-12 16:45:15
87阅读
自然语言概念自然语言，即我们人类日常所使用的语言，是人类交际的重要方式，也是人类区别于其他动物的本质特征。 我们只能使用自然语言与人进行交流，而无法与计算机进行交流。自然语言处理自然语言处理（NLP Natural Language Processing），是人工智能（AI Artificial Intelligence）的一部分，实现人与计算机之间的有效通信。 自然语言处理属于计算机科学领域与人
转载
2024-04-07 11:12:22
92阅读
最近做 Sentiment Analysis 的问题，用 IMDB，Twitter 等 Dataset，拿到原始的一条条文本，直接喂给 Model 肯定不行，需要进行对文本进行预处理。预处理的精细程度很大程度上也会影响模型的性能。这篇 Blog 就记录一些预处理的方法。Remove Stop Words Stop Words，也叫停用词，通常意义上，停用词大致分为两类。一类是人类语言中包含的功能词
转载
2024-02-24 11:24:06
553阅读
中文语言的机器处理直观上，一个自然语言处理系统最少三个模块：语言的解析、语义的理解及语言的生成。计算机处理自然语言最早应用在机器翻译上，此后在信息检索、信息抽取、数据挖掘、舆情分析、文本摘要、自动问答系统等方面都获得了很广泛的应用。虽然已经产生了许多专业技术作用域语言理解的不同层面和不同任务，例如，这些技术包括完全句法分析、浅层句法分析、信息抽取、词义消歧、潜在语义分析、文本蕴含和指代消解，但是还
转载
2024-04-05 14:32:30
131阅读
作者：LogM1. 源码来源本文对应的源码版本：Commits on Jun 27 2019, 979d8a9ac99c731d653843890c2364ade0f7d9d3FastText 论文：[1] P. Bojanowski, E. Grave, A. Joulin, T. Mikolov, Enriching Word Vectors with Subword Information[
转载
2024-05-08 11:52:07
153阅读
自然语言处理之Attention机制 一说Attention，一些人就说seq2seq，self-attention，transformer，把attention比作nlp方向的核武器。但是实际上attention更早出现于CV领域，之后2016年在Relation Extraction（至少有这个）方向上有着较早的应用。直到2017年才被大规模应用于Seq2Seq model。因此，atten
转载
2024-05-23 23:44:38
77阅读
