NLP 文本补全 nlp文本挖掘

NLP-文本挖掘-综述

• 一、什么是文本挖掘
• 二、文本挖掘五个步骤
• 三、7种文本挖掘的方法

---

一、什么是文本挖掘

文本挖掘的意义就是从数据中寻找有价值的信息，来发现或者解决一些实际问题。

每到春节期间，买火车票和机票离开一线城市的人暴增——这是数据

再匹配这些人的身份证信息，发现这些人都是从一线城市回到自己的老家——这是信息

回老家跟家人团聚，一起过春节是中国的习俗——这是知识

二、文本挖掘五个步骤

数据收集、文本预处理、数据挖掘和可视化、搭建模型、模型评估。

三、7种文本挖掘的方法

关键词提取：对长文本的内容进行分析，输出能够反映文本关键信息的关键词。

文本摘要：许多文本挖掘应用程序需要总结文本文档，以便对大型文档或某一主题的文档集合做出简要概述。

聚类：聚类是未标注文本中获取隐藏数据结构的技术，常见的有 K均值聚类和层次聚类。更多见 无监督学习

文本分类：文本分类使用监督学习的方法，以对未知数据的分类进行预测的机器学习方法。

文本主题模型 LDA：LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。

观点抽取：对文本（主要针对评论）进行分析，抽取出核心观点，并判断极性(正负面)，主要用于电商、美食、酒店、汽车等评论进行分析。

情感分析：对文本进行情感倾向判断，将文本情感分为正向、负向、中性。用于口碑分析、话题监控、舆情分析。