RNN经典模型定义: 循环神经网络结构: 输入层 —> 隐藏层—> 输出层时间步的概念: 单词在rnn中循环的过程, 一个样本中有多少个单词就循环多少次, 每次循环的过程可以看做是一个时间步, 上一个时间步是可以作为下一个时间步的输入, 进行信息提取.我 爱 北 京 天 安 门 字符级别我 爱 北京 天安门 词符级别RNN的作用领域: 在序列问题上可以很好的解决业务逻辑, 文本分类,
1. 基本概念1. 1 语料库&词典一般语料库就是很多篇文章（可能一篇文章有好几句话，也可能只有一句话），在实际业务中，每篇文章一般要先进行分词词典：语料库中词的种类数，即有多少个词，一般用|V|表示树中根节点就是最上面那个，叶子结点就是结果（如分类的标签），结点泛指所有（包括根节点、叶子结点）2. 词向量：one-hot & 特征、标签的ont-hot编码2.1 词向量one-h
中文分词≠自然语言处理！ 中文分词只是第一步；HanLP从中文分词开始，覆盖词性标注、命名实体识别、句法分析、文本分类等常用任务，提供了丰富的API。 不同于一些简陋的分词类库 ...
转载
2021-07-19 17:05:00
1017阅读
点赞
2评论
最近做 Sentiment Analysis 的问题，用 IMDB，Twitter 等 Dataset，拿到原始的一条条文本，直接喂给 Model 肯定不行，需要进行对文本进行预处理。预处理的精细程度很大程度上也会影响模型的性能。这篇 Blog 就记录一些预处理的方法。Remove Stop Words Stop Words，也叫停用词，通常意义上，停用词大致分为两类。一类是人类语言中包含的功能词
对于文本的研究，对于语言主要是中文，英文的研究反而会少了很多，主要还是因为应用的问题，而现在对于海外的产品来说，英文的语言处理，会越来越显得重要，其实对英文语言处理资料会比中文的来得多，来得全，很多中文研究的方法是借鉴了英文处理的思想。NLTK是python中研究自然语言的非常优秀的第三方库，里面集中了非常多的自然语言处理方式的算法，不需要自己去编写算法，可以让我们更多的去关系应用本身。NLTK的
hanlp中文自然语言处理分词方法说明自然语言处理在大数据以及近年来大火的人工智能方面都有着非同寻常的意义。那么，什么是自然语言处理呢？在没有接触到大数据这方面的时候，也只是以前在学习计算机方面知识时听说过自然语言处理。书本上对于自然语言处理的定义或者是描述太多专业化。换一个通俗的说法，自然语言处理就是把我们人类的语言通过一些方式或者技术翻译成机器可以读懂的语言。人类的语言太多，计算机技术起源于外
转载
2018-10-10 11:17:49
671阅读
欢迎大家关注我们的网站和系列教程：:...
转载
2018-04-03 19:09:00
144阅读
2评论
本文简要介绍了常用分词算法以及python实现，包括：基于规则的分词算法、基于语言模型的分词算法和维特比分词算法。
原创
2022-09-23 17:06:47
291阅读
在开始研究自然语言处理深度学习的时候，你需要有数据集来练习编程。最好使用小的数据集，因为下载速度比较快，并且不用花太长的时间来适应模型。此外，使用容易理解并且广泛使用的标准数据集也是有帮助的，这能让你对结果进行比较，看看自己是否取得了进展。本文介绍了一套用于自然语言处理任务的标准数据集，在你研究深度学习的时候可以使用。概述本文分为7个部分，包括：文本分类语言建模图像字幕机器翻译问题回答语音识别文档
自然语言处理简介自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特
Java分词器 -- IKAnalyzer分词器简介Ikanalyzer在Maven项目中的应用进阶补充，自定义字典参考文献 简介java大概有11个大的开源分词器，分别是：1.word分词器 2.Ansj分词器 3.Stanford分词器 4.FudanNLP分词器 5.Jieba分词器 6.Jcseg分词器 7.MMSeg4j分词器 8.IKAnalyzer分词器（本文要说的） 9.Paod
转载
2023-09-19 08:21:15
221阅读
ansj
原创
2018-01-05 15:37:36
930阅读
自然语言处理TransformerTransformer的优势相比LSTM和GRU模型，Transformer有两个显著的优势：
Transformer能够利用分布式GPU进行并行训练，提高模型训练效率在分析预测更长文本时，捕捉间隔较长的语义关联效果更好认识Transformer架构Transformer模型的作用：基于seq2seq架构的Transformer模型可以完成NLP领域研究的典
前言Give me a user manual, and I’m happy for hours. -- Lennon ParhamWhen all else fails, read the instructions.-- Anonymous从这两句话可以看出，对于任何一件事情，如果有一个用户手册或者是用户指南对于我们做任何事情都会有很大帮助，这篇文章我们就带大家了解一下使用自然语言处理
最近需要从文本中抽取结构化信息，收集到很多数据，遂整理了一下，后续会不断更新。涉及内容包括：中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇情感值、停用词、反动词表、暴恐词表、繁简体转换、
原创
2021-06-29 10:35:29
295阅读
最近需要从文本中抽取结构化信息，收集到很多数据，遂整理了一下，后续会不断更新。涉及内容包括：中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇情感值、停用词、反动词表、暴恐词表、繁简体转换、英文模拟中文发音、汪峰歌词生成器、职业名称词库、同义词库、反义词库、否定词库、汽车品牌词库、汽车零件词库、连续英
原创
2022-04-02 17:41:48
95阅读
目录 文章目录目录前言n-gram语言模型（一）n-gram语言模型（二）n-gram语言模型（三）n-gram语言模型（四）n-gram语言模型（五）n-gram语言模型（六）n-gram语言模型（七） 前言硕士生涯结束，开始专心做一件自己觉得有用的工具，先做工程，后搞理论。 自然语言处理是一个非常难的问题，同时是人工智能皇冠上的明珠。 接下来会记录一系列自然语言处理的笔记，来自于哈工大老师关毅
任务一：基于机器学习的文本分类深度学习项目，在训练之前，一般均会对数据集做shuffle，打乱数据之间的顺序，让数据随机化，这样可以避免过拟合。Batch：批处理，顾名思义就是对某对象进行批量的处理。训练神经网络时，在数据集很大的情况下，不能一次性载入全部的数据进行训练，电脑会支撑不住，其次全样本训练对于非凸损失函数会出现局部最优，所以要将大的数据集分割进行分批处理。batch_size就是每批处
在文章的开头，我必须说明，自然语言理解的定义、理论在网上有太多不同的说法，我在这里给出的是我个人认为比较好理解、能梳理清楚各个子领域的一种概述，如果有哪里出错了麻烦指正。所谓自然语言理解，就是希望机器能像人类一样，具备理解语言的能力，就像另一半说没有生气，到底是真的没有生气还是气到肺都炸了，这就需要很高的语言理解能力了。具体来说，我觉得自然语言理解要解决两个问题，第一个是理解什么，第二个是机器怎么
Hanlp中文自然语言处理相信很多从事程序开发的朋友都应该知道或者是比较熟悉的。Hanlp中文自然语言处理是大快搜索在主持开发的，是大快DKhadoop大数据一体化开发框架中的重要组成部分。下面就hanlp中文自然语言处理分词方法做简单介绍。
翻译
2018-04-27 10:40:24
4475阅读
