一、舆情分析


### --- 舆情分析

~~~ # 文本挖掘基本流程
~~~ # 使用的数据是评论数据,即文本数据。
~~~ # 文本数据的分析过程主要有:清洗,可视,这里针对中文文本。
~~~ 清洗基本流程:
~~~ 替换非中英文字符为空格;
~~~ 分词(结巴jieba);
~~~ 去掉停用词(对描述和建模无意义的词);
~~~ 筛选高频词;此流程需要反复尝试对比效果。
~~~ # 可视化:
~~~ 一般都是词云,可能配合关键词排序等。
~~~ # 建模:
~~~ 建模前需要将数据转成文档词矩阵(dtm);
~~~ 有监督的话常用的是贝叶斯,其他偏精度的算法也可以,要注意特征个数;
~~~ 无监督常用的是主题模型LDA,其他诸如分群,情感分析也可以。
~~~ # 清洗流程中,
~~~ 尤其是口语化较强的数据,例如评论数据,需要去除重复语句,以及字数少于某个阈值的评论。
~~~ # 根据评论数据得到的词云如下:

|NO.Z.00028|——————————|BigDataEnd|——|Arithmetic&Machine.v28|——|Machine:项目实战.v05|舆情分析|_词云

### --- 关键字提取

~~~ # 基于 TF-IDF 算法的关键词抽取
jieba.analyse.extract_tags(bai64,20,True)

~~~ 不管从词云还是关键词来看,评价偏好评,没有明显问题。
~~~ 可以在停用词中添加好评,蟑螂可以再看效果。

|NO.Z.00028|——————————|BigDataEnd|——|Arithmetic&Machine.v28|——|Machine:项目实战.v05|舆情分析|_建模_02

二、项目总结

|NO.Z.00028|——————————|BigDataEnd|——|Arithmetic&Machine.v28|——|Machine:项目实战.v05|舆情分析|_词云_03|NO.Z.00028|——————————|BigDataEnd|——|Arithmetic&Machine.v28|——|Machine:项目实战.v05|舆情分析|_数据_04


                 


Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart

                                                                                                                                                   ——W.S.Landor