1. 基本概念1. 1 语料库&词典一般语料库就是很多篇文章（可能一篇文章有好几句话，也可能只有一句话），在实际业务中，每篇文章一般要先进行分词词典：语料库中词的种类数，即有多少个词，一般用|V|表示树中根节点就是最上面那个，叶子结点就是结果（如分类的标签），结点泛指所有（包括根节点、叶子结点）2. 词向量：one-hot & 特征、标签的ont-hot编码2.1 词向量one-h
中文分词≠自然语言处理！ 中文分词只是第一步；HanLP从中文分词开始，覆盖词性标注、命名实体识别、句法分析、文本分类等常用任务，提供了丰富的API。 不同于一些简陋的分词类库 ...
转载
2021-07-19 17:05:00
1017阅读
点赞
2评论
最近做 Sentiment Analysis 的问题，用 IMDB，Twitter 等 Dataset，拿到原始的一条条文本，直接喂给 Model 肯定不行，需要进行对文本进行预处理。预处理的精细程度很大程度上也会影响模型的性能。这篇 Blog 就记录一些预处理的方法。Remove Stop Words Stop Words，也叫停用词，通常意义上，停用词大致分为两类。一类是人类语言中包含的功能词
hanlp中文自然语言处理分词方法说明自然语言处理在大数据以及近年来大火的人工智能方面都有着非同寻常的意义。那么，什么是自然语言处理呢？在没有接触到大数据这方面的时候，也只是以前在学习计算机方面知识时听说过自然语言处理。书本上对于自然语言处理的定义或者是描述太多专业化。换一个通俗的说法，自然语言处理就是把我们人类的语言通过一些方式或者技术翻译成机器可以读懂的语言。人类的语言太多，计算机技术起源于外
转载
2018-10-10 11:17:49
671阅读
RNN经典模型定义: 循环神经网络结构: 输入层 —> 隐藏层—> 输出层时间步的概念: 单词在rnn中循环的过程, 一个样本中有多少个单词就循环多少次, 每次循环的过程可以看做是一个时间步, 上一个时间步是可以作为下一个时间步的输入, 进行信息提取.我 爱 北 京 天 安 门 字符级别我 爱 北京 天安门 词符级别RNN的作用领域: 在序列问题上可以很好的解决业务逻辑, 文本分类,
简介本文是一系列关于如何使用神经网络进行自然语言处理（NLP）的最佳实践汇集，将随着新观点的出现定期进行更新，从而不断提升我们对用于 NLP 的深度学习的理解。NLP 社区中有这样一句说法：带有注意力的 LSTM 能在所有任务上实现当前最佳的表现。尽管在过去的两年这确实是真的，NLP 社区却在慢慢偏离带有注意力的 LSTM，而去发现更有趣的模型。但是，NLP 社区并非想再花费两年独立地（重新
本文简要介绍了常用分词算法以及python实现，包括：基于规则的分词算法、基于语言模型的分词算法和维特比分词算法。
原创
2022-09-23 17:06:47
291阅读
自然语言处理Part 3 hmm（隐马尔可夫模型） 文章目录自然语言处理前言隐马尔科夫模型一、基本定义二、两个重要假设三、主要解决问题四、维特比算法1.已知条件2.初始化局部状态3.动态规划递推4.回溯总结 前言作为因为科研需要刚开始接触机器学习、深度学习的菜鸟，看了关于某些算法大神的解释仍是似懂非懂，特在此记录学习过程，争取通俗易懂。隐马尔科夫模型为了便于理解，全文以实例贯穿。 假设我们有3个盒
ansj
原创
2018-01-05 15:37:36
930阅读
Java分词器 -- IKAnalyzer分词器简介Ikanalyzer在Maven项目中的应用进阶补充，自定义字典参考文献 简介java大概有11个大的开源分词器，分别是：1.word分词器 2.Ansj分词器 3.Stanford分词器 4.FudanNLP分词器 5.Jieba分词器 6.Jcseg分词器 7.MMSeg4j分词器 8.IKAnalyzer分词器（本文要说的） 9.Paod
转载
2023-09-19 08:21:15
221阅读
案例目标：识别垃圾短信基于短信文本内容，建立识别模型，准确识别出垃圾短信，以及垃圾短信过滤的问题一、数据获取1、数据读取data = pd.read_csv('fileName', header=None, index_col=0) #读取数据
data.columns = ['label', 'message']2、数据抽取n = 5000 # 设置抽取5000条测试数据
自然语言处理TransformerTransformer的优势相比LSTM和GRU模型，Transformer有两个显著的优势：
Transformer能够利用分布式GPU进行并行训练，提高模型训练效率在分析预测更长文本时，捕捉间隔较长的语义关联效果更好认识Transformer架构Transformer模型的作用：基于seq2seq架构的Transformer模型可以完成NLP领域研究的典
在文章的开头，我必须说明，自然语言理解的定义、理论在网上有太多不同的说法，我在这里给出的是我个人认为比较好理解、能梳理清楚各个子领域的一种概述，如果有哪里出错了麻烦指正。所谓自然语言理解，就是希望机器能像人类一样，具备理解语言的能力，就像另一半说没有生气，到底是真的没有生气还是气到肺都炸了，这就需要很高的语言理解能力了。具体来说，我觉得自然语言理解要解决两个问题，第一个是理解什么，第二个是机器怎么
Hanlp中文自然语言处理相信很多从事程序开发的朋友都应该知道或者是比较熟悉的。Hanlp中文自然语言处理是大快搜索在主持开发的，是大快DKhadoop大数据一体化开发框架中的重要组成部分。下面就hanlp中文自然语言处理分词方法做简单介绍。
翻译
2018-04-27 10:40:24
4475阅读
基于深度学习的自然语言处理导论应用场景挑战图灵测试NLP的技术发展学习线路基础概念神经网络自监督词表示学习句子编码神经网络自回归、自编码预训练学习预训练语言模型及应用语言理解ELMOGPTBERTERNIE应用 导论应用场景 智能问答：传统搜索引擎，现在推出了智能手机、智能音箱，呈现小屏化、无屏化的特点 如，自动制作咖啡 场景如，刷剧字幕，国际会议挑战1、多样性 2、歧义性图灵测试人类发起一个问
本篇博客我们将介绍使用NLTK对英文文本进行一些基本处理，之后我们还会学习一些更高级的模型或方法，不过这些基本处理要熟练掌握，因为他们可以对我们的数据进行一些预处理，作为更高级模型或工具的输入。目录1.NLTK简介2.英文Tokenization(标记化/分词)3.停用词4.词性标注5.chunking/组块分析6.命名实体识别7.Stemming和Lemmatizing8.WordNet与词义解
自然语言处理结巴分词+文本分类TF-IDF表达 1.自然语言处理简介基本概念研究内容应用领域2.自然语言处理-结巴分词安装jieba库常用方法介绍小示例3.文本分类TF-IDF表示基本介绍文本分类实例 1.自然语言处理简介基本概念自然语言(Natural language)通常是指一种自然地随文化演化的语言：汉语、英语等。 人造语言是一种为某些特定目的而创造的语言：Python、C、R等。研究内
基于词表的中文分词一、实验目的了解并掌握基于匹配的分词方法，以及分词效果的评价方法。二、实验要求实现正向最大匹配、逆向最大匹配以及双向最大匹配等三种分词方法，记录并分析三种方法的准确率以及分词速度。思考并分析哪些因素可能会影响分词的准确性。三、实验准备1. 词典准备在GitHub（https://github.com/fxsjy/jieba）开源的一个中文词表数据，下载地址：
原创
2023-03-09 11:16:45
1278阅读
点赞
1、 说明 SentencePiece是一个google开源的自然语言处理工具包
原创
2022-09-16 13:51:05
1836阅读
本博客主要是对网络上的一些关于中文自然语言处理开源工具的博客进行整理、汇总，如果有涉及到您的知识产品等，请联系本人已进行修改，也欢迎广大读者进行指正以及补充。本博客将尽量从工具的使用语言、功能等方面进行汇总介绍。1 IKAnalyzer语言：Java功能：支持细粒度和智能分词两种切分模式；支持英文字母、数字、中文词汇等分词处理，兼容韩文、日文字符；支持用户自定义的词典，通过配置IKAnalyzer
