python3 携程 python爬取携程数据

转载

mob64ca1405664d 2023-08-24 12:21:06

文章标签 python3 携程 python 数据分析词云图分词 文章分类 Python 后端开发

python爬取携程旅游评价信息词云图分析

前言

前面咱们已经分析过如何爬取携程旅游的相关信息，如果没有看过的，可以先跳转看一下前面的那篇博客：python 爬虫一键爬取携程旅游团数据

这一篇呢，咱们主要使用jieba和wordcloud这两个包进行评价词云图分析。jieba是一个中文分词的工具包，wordcloud是专门用来画词云图的。

先来看看效果图吧

python3 携程 python爬取携程数据_分词

从图中我们也能够看到，大家评价大多数是不错、方便这种积极的态度。对整体旅行的评价，通过这张图我们还是能够有很清楚的认识的。接下来，我将详细的讲一下源代码。

源代码分析

这次代码的讲解是基于上一篇博客，建议先浏览上一篇博客。

上次我们能够将旅游团的游客的评价爬取出来，这次，我们先将评价信息输出到文本中。

1. 评价输出文本

def  mainfun():
    comment_all = []
    traveldestination = ['重庆']#这里是添加旅游地点
    for i in range(len(traveldestination)):
        listdata = test1(traveldestination[i])
        print("地点:",traveldestination[i],end='\n')
        for data in listdata:
            print(data[0])
            comment_all.append(test2(data[1]))
    with open('comments.txt',encoding='utf-8',mode='w') as f:
        for comment in comment_all:
            for comment_data in comment:
                f.write(comment_data+'\n')

此方法在原有基础上，将评价信息首先存储到list列表中，然后通过for循环输出到txt文件中。

同时，test2()方法我们也做了两处地方的修改：

python3 携程 python爬取携程数据_python3 携程_02

2. jieba分词

def splitword():
    with open('comments.txt',encoding='utf-8',mode='r') as f:
        listdata = f.readlines()
    commentdata = []
    for delword in ['我们','酒店','携程','就是','自己']:
        jieba.del_word(delword)
    for data in listdata:
        commentdata.append(' '.join(jieba.cut(data,cut_all=False)))
    dataall = ' '.join(commentdata)
    return dataall

我们首先看一下txt文本中的数据形式：

python3 携程 python爬取携程数据_python3 携程_03

此方法的作用是对这些长句子进行分词，以此来分析关键词。

通过jieba.del_word()方法，可以去掉一些没有意义的词语，这些词语出现频率高，但是对我们没有任何信息价值。
jieba.cut（）参数1 是数据文本，类型需要时str。参数2是cut_all，为True是，为全模式，为False时，为精确模式。

jieba 常用方法

3. wordcloud词云图

def word_cloud(dataall):
    maskpng = np.array(Image.open('mask.png'))
    WordClouds = WordCloud(background_color='white',
                           mask=maskpng,#遮罩图
                           font_path='font/msyh.ttf',#字体
                           max_words=50,#最大词数
                           random_state=50,#随机种子
                           scale=1.5 #放大比例
                           )
    WordClouds.generate(dataall)
    plt.imshow(WordClouds)
    plt.axis('off')
    plt.show()