文章目录自然语言处理概述自然语言理解自然语言生成文本情
从宏观来看，gensim提供了一个发现文档语义结构的工具，通过检查词出现的频率。gensim读取语料，输出词向量。m
学科的主题与背景“自然语言处理可以定义为研究在人与人交际中以及在人
自然语言处理的四个过程：1：把需要研究的问题在语言学上加以形式化，使之呢萌购以一定的数学形式，严格而规整的表示出来2：把这种严密的规整的问题在语言学的形式上加以形式化，使之能以一定的数学形式，严密规整的表示出来3：根据算法编写计算机程序，在计算机上加以实践出来4：对于建立的自然语言处理系统进行评测，使之不断进行改进质量和性能，满足用户的需求自然语言处理模型需要的不同平面的...
原创
2021-08-19 11:17:47
367阅读
对自然语言处理，转换人类的表达到计算机能识别字符是一个非常难得课题。同样的意思有各种各样的表达，语法，句型， 同义词都会影响计算机的判断。nltk 模块提供一些功能，可以从文档中抓取重要的信息，然后分析。installationpip install nltktokenize(分割)import nltkfrom nltk import word_tokenizenltk.download
本文主要介绍N-Gram语言模型相关知识以及如何计算语言模型的概率。
探讨了如何判断语言模型的好坏与统计语言模型的平滑方法。
自然语言处理库NLTK介绍
NLTK是构建Python程序以使用人类语言数据的领先平台。它为50多种语料库和词汇资源（如WordNet）提供了易于使用的界面，还提供了一套用于分类，标记化，词干化，标记，解析和语义推理的文本处理库。NLTK是Python上著名的⾃然语⾔处理库 ⾃带语料库，具有词性分类库 ⾃带分类，分词，等等功能。NLTK被称为“使用Python进行教学和计算语言学工作的绝佳工
原创
2021-06-29 14:19:04
408阅读
百度搜索研发部官方博客
我爱公开课
专注自然语言技术 （51CTO blog）
Deep Learning在自然语言理解中的应用
NiuTrans 及机器翻译技术论坛
原创
2013-02-14 13:28:59
504阅读
点赞
自然语言处理哪家强？ 语音交互事关未来，这点从大公司收购、投资、合作不断，就可见一斑。
转载
2017-07-10 23:26:00
106阅读
2评论
主题模型理论（LDA）：一篇文章的每个词都是以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语而组成的。P（单词|文档）=P（单词|主题）*P（主题|文档）对于语料库中的每篇文档，LDA定义了如下生成过程（generativeprocess）:1.对每篇文档，从主题分布中抽取一个主题；2.从上述被抽到的主题所对应的单词分布中抽取一个单词；3.重复上述过程直至文档中的每一个单词。w代表单
原创
2018-08-14 09:43:50
1365阅读
自然语言处理（简称NLP），是研究计算机处理人类语言的一门技术，包括： 1.句法语义分析：对于给定的句子，进行分词、词性标记、命名实体识别和链接、句法分析、语义角色识别和多义词消歧。 2.信息抽取：从给定文本中抽取重要的信息，比如，时间、地点、人物、事件、原因、结果、数字、日期、货币、专有名词等等。通俗说来，就是要了解谁在什么时候、什么原因、对谁、做了什么事、有什么结果。涉及到实体识别、时间抽
原创
2021-05-07 17:05:30
287阅读
最近在学NLP，给自己扫扫盲，看看NLP具体干什么。自然语言处理（简称NLP），是研究计算机处理人类语言的一
原创
2021-07-14 11:28:26
447阅读
TextRank算法TextRank算法基于PageRank，用于为文本生成关键字和摘要。其论文是： Mihalcea R, Tarau P. TextRank: Bringing order into texts[C]. Association for Computational Linguistics, 2004.先从PageRank讲起 首先介绍原理与概念TextRank 算...
转载
2021-08-31 13:49:21
1562阅读
实体识别实体识别–分块类型：名词短语分块；标记模式分块；正则表达式分块；分块的表示方法：标记和树状图；分块器评估；命名实体识别；命名实体定义：指特定类型的个体，是一些确切的名词短语，如组织、人、日期等；命名实体识别定义：指通过识别文字中所提及的命名实体，然后确定NE的边界和类型；命名实体关系提取；文法分析文法定义：文法用途：1、性能超越n-grams；2、...
原创
2021-09-01 14:56:26
405阅读
