ForeSpider怎么爬美团 python爬美团数据

前言

今天教的是爬取每天按摩店的数据，不爬不知道呀，光是一个城市的前10页数据，都有1000多家店了，全部爬完，那不得至少3000家以上？现在的市场需求都那么大看吗

 

 

 

今天不光教代码，还要带你们去逛逛。。就只是逛逛，我也没去过，就是好奇，才看看的

 

 

御见。。夜色。。保健，一看名字就知道是家服务到位的按摩店了

 

 

 

 

代码主要内容

1. 动态数据抓包
2. json数据解析
3. requests模块的使用
4. 保存csv

环境介绍

python 3.8 解释器
pycharm 编辑器

开始代码，先导包

import requests  # 数据请求模块 第三方模块 pip install requests
import pprint  # 格式化输出模块
import csv  # 保存csv模块

 

发送请求

url = 'https://apimobile.meituan.com/group/v4/poi/pcsearch/70'
# 因为它是字典数据类型
data = {
    'uuid': 'e0ee521794ef4b229eb6.1633764159.1.0.0',
    'userid': '266252179',
    'limit': '32',
    'offset': 32,
    'cateId': '-1',
    'q': '按摩',
}
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'
}
response = requests.get(url=url, params=data, headers=headers)  # 发送请求

 

加上请求头 作用: 伪装
User-Agent：表示浏览器基本信息
Cookie: 用户信息, 常用于检测是否有登陆账号
Referer: 防盗链, 告诉服务器我们发送请求url请求是从哪里跳转过来的

如果<Response [403]>：返回的response对象 403 状态码，表示你没有访问权限
200 表示请求成功

解析数据, 提取我们想要的一些数据内容 (店铺信息)

searchResult = response.json()['data']['searchResult']
# for 遍历 提取列表中的每一个元素内容
for index in searchResult:
    # pprint.pprint(index)
    href = f'https://www.meituan.com/xiuxianyule/{index["id"]}/'

    dit = {
        '店铺名字': index['title'],
        '店铺类型': index['backCateName'],
        '店铺商圈': index['areaname'],
        '店铺评分': index['avgscore'],
        '店铺评论量': index['comments'],
        '人均消费': index['avgprice'],
        '维度': index['latitude'],
        '经度': index['longitude'],
        '详情页': href,
    }
    csv_writer.writerow(dit)
    print(dit)

 

翻页爬取

for page in range(0, 3201, 32):
    url = 'https://apimobile.meituan.com/group/v4/poi/pcsearch/70'
    data = {
        'uuid': 'e0ee521794ef4b229eb6.1633764159.1.0.0',
        'userid': '266252179',
        'limit': '32',
        'offset': page,
        'cateId': '-1',
        'q': '按摩',
  }

 

 

 

这个是第二页和第三页的数据内容，每次翻页offset + 32

最后是保存数据

f = open('美团按摩店top2.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '店铺名字',
    '店铺类型',
    '店铺商圈',
    '店铺评分',
    '店铺评论量',
    '人均消费',
    '维度',
    '经度',
    '详情页',
])
csv_writer.writeheader() # 写入表头

 

运行代码，得到数据

 

 

可视化图表

导入数据

import pandas as pd
import numpy as np
from pyecharts.charts import *
from pyecharts import options as opts
from pyecharts.globals import ThemeType  #引入主题
df = pd.read_csv('美团按摩店top2.csv',encoding='utf-8',engine="python")
df.sample(5)

 

不同评分类型店铺数量

df4 = df.groupby('店铺评分')['店铺名字'].count()
df4 = df4.sort_values(ascending=False)
regions = df4.index.tolist()
values = df4.tolist()
c = (
        Pie(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND))
        .add("", [z for z in zip(regions,values)])
        .set_global_opts(title_opts=opts.TitleOpts(title="不同评分类型店铺数量",subtitle="数据来源：美团",pos_top="-1%",pos_left = 'center'))
        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=18))
    )
c.render_notebook()

 

 

 

不同店铺类型店铺数量

df6 = df.groupby('店铺类型')['店铺名字'].count()
df6 = df6.sort_values(ascending=False)[:10]
df6 = df6.round(2)
regions = df6.index.tolist()
values = df6.tolist()
c = (
        Pie(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND))
        .add("", [i for i in zip(regions,values)],radius=["40%", "75%"])
        .set_global_opts(title_opts=opts.TitleOpts(title="不同店铺类型店铺数量",pos_top="-1%",pos_left = 'center'))
        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}",font_size=18))
    )
c.render_notebook()

 

 

 

前10页的店铺，按摩/足浴店有1016家，评分5分的有714家