前言最近购买了《Python3 爬虫、数据清洗与可视化实战》，刚好适逢暑假，就尝试从携程页面对广州的周边游产品进行爬虫数据捕捉。因为才学Python不够一个星期，python的命名规范还是不太了解，只能套用之前iOS开发的命名规范，有不足之处请多多指点一、前期1.主要用到的库from bs4 import BeautifulSoup
import time
import re #正则表达式
fro
转载
2023-10-27 19:00:39
268阅读
# 携程Python获取数据的指南
随着技术的发展，获取数据的方式逐渐多样化，而通过学习Python编程语言，我们可以轻松地从各种网站（例如携程）获取数据。在这篇文章中，我们将具体讲解如何使用Python从携程获取数据。
## 流程概览
在开始之前，下面是整个过程的简要流程：
| 步骤 | 描述 |
|------|----------------
由于本人十一国庆想去成都旅游，所以这里就以成都这个城市的所有携程酒店为抓取的目标城市。想要抓取其他城市或者多个城市的博友们，可以更改url为其他城市拼音+城市id。或者直接将城市接口数据（js）爬取下来去遍历城市列表在循环页面。有兴趣的朋友可以去试试爬取全国的数据。一、开始分析携程酒店页面数据结构及其反爬的一些方式 经过尝试一点下一页，发现页面url是没有变化的，将源码加载到本地，可以看到完整的u
转载
2023-10-25 12:44:49
3284阅读
一、分析数据源这里的数据源是指html网页？还是Aajx异步。对于爬虫初学者来说，可能不知道怎么判断，这里辰哥也手把手过一遍。提示：以下操作均不需要登录(当然登录也可以)咱们先在浏览器里面搜索携程，然后在携程里面任意搜索一个景点：长隆野生动物世界，这里就以长隆野生动物世界为例，讲解如何去爬取携程评论数据。页面下方则是评论数据 从上面两张图可以看出，点击评论下一页，浏览器的链接没有变化，说
转载
2024-01-23 22:17:29
222阅读
从单个销量前十的图中可以看到，非旺季时间排名第一的竟是月饼模具。出乎意料，排名第二的是鲜花月饼。4全国销量图（非旺季）因为非旺季，月销量到2.5w的很少。只有上海地区的月销量有3.6w,而包邮省份江浙地区的销量仅有3w和5w，而四川和重庆地区的月销量只有5k和2k。python代码数据爬取：代码块# -- coding: utf-8 --
from selenium import webdrive
python爬取携程旅游评价信息词云图分析前言前面咱们已经分析过如何爬取携程旅游的相关信息，如果没有看过的，可以先跳转看一下前面的那篇博客：python 爬虫 一键爬取携程旅游团数据这一篇呢，咱们主要使用jieba和wordcloud这两个包进行评价词云图分析。jieba是一个中文分词的工具包，wordcloud是专门用来画词云图的。先来看看效果图吧从图中我们也能够看到，大家评价大多数是不错、方便
转载
2023-08-24 12:21:06
163阅读
# 使用Python获取携程国际航班数据的步骤指南
随着互联网的发展，获取各种数据变得越来越容易。在这篇文章中，我们将介绍如何使用Python从携程网站获取国际航班的数据。我们将分步骤详细说明，并提供相应的代码示例，帮助你快速入门。
## 流程概览
在开始之前，下面是一个简洁的流程图，展示了我们需要执行的步骤：
| 步骤 | 描述
携程旅行实现自动登录还是有点麻烦的，我们先看官网： 不用多说，肯定需要先进行标签定位，定位到红框处，通过click()实现跳转，来到了下面的页面： 这里的话，先标签定位到输入用户名和密码的地方，然后通过send_keys()可以输入用户名和密码，这里很简单，然后定位到滑块，定义个动作链，再通过click_and_hold()将滑块拖动到最右，这里也简单，本以
转载
2023-07-28 13:05:35
663阅读
主题酒店api，携程酒店信息查询，在线预订和支付下单。(!注post内容是json串如{"Key":"appkey"}而不是Key=appkey,建议使用浏览器插件测试，如火狐的HttpReqeuster, 谷歌的DHC)接口名称：主题酒店api接口平台：api开放平台支持格式：json请求方式：post(application/json; utf-8)请求示例：http://
转载
2023-12-06 15:21:50
514阅读
１．BaseExeception 所有异常的基类2.SystemEixt 解释器请求退出3.KeyboardInterrupt 用户中断执行4.Exception 常规错误的基类5.StopIteration 迭代器没有更多的值6.ArithmeticError 所有数值计算错误的基类7.FloatingPointError 浮点计算错误的基类8.OverflowError 数值运算潮湿处最大限制
转载
2023-06-29 13:15:06
148阅读
github项目：https://github.com/wzyblowfire/flightsmonitor页面分析首先进入携程网的国际机票网页分析，可以看出该网页是一个动态页面，也就是说单一的请求获取response是无法得到我们需要的数据的，所以我们需要用后台分析一下我们真正所需要的数据到底在哪。当搜索从香港到曼彻斯特的航班时，从Chrome控制台Network可以看到， 有个bat
转载
2023-08-03 14:28:02
0阅读
\u003cp\u003eNodejs自从2009年被开发出来以后，至今已经走过了9个年头，目前最新的稳定版已经到了10.13。从问世以后，Nodejs就深受前端工程师的喜欢。\u003c/p\u003e\n\u003cp\u003e在携程内部，Nodejs也是应用广泛，从开发工具到web应用，从客户端到服务端，都能见到它的身影。我们也从最初用Node.j
转载
2023-12-05 07:55:19
57阅读
作为互联网OTA领头羊，携程在近20年的发展历程中，在业务形态和互联网行业整体发展驱动下，经历了三轮技术体系的演进。本文将详述这一技术演进历程，希望能给互联网企业，尤其是早期的互联网企业一些借鉴和启发，帮助大家少走一些弯路。 一、携程当前的技术体系 最新的财报显示携程的GMV将近7000亿，已经是全球排名第一的在线OTA。支持如此大业务量背后的技术体系，规模也是巨大的。
转载
2023-10-29 15:01:15
256阅读
在学习python的过程中，出现的错误是常见的，知错就改本身就是一个学习进步的过程，所以我们应该正视它。接下来我向大家介绍十种我在学习python过程中遇到的错误。1.return没在方法中使用# SyntaxError: 'return' outside function
# 解决:将return放在方法体中
# return不能在方法以外使用
# while True :
# coun
转载
2023-07-02 22:47:53
120阅读
# Python携程酒店数据爬取教程
## 介绍
在这篇文章中，我将教会你如何使用Python来爬取携程酒店数据。作为一名经验丰富的开发者，我将引导你完成整个流程，并提供详细的代码说明。在完成本教程后，你将能够从携程网站上获取到酒店数据，并进行进一步的分析和处理。
## 整体流程
下面是整个流程的步骤表格：
```mermaid
gantt
title Python携程酒店数据爬取流
原创
2023-09-09 08:05:42
511阅读
软工课程项目需要Booking酒店数据，需要酒店的信息和图片，最后一共获得2G+的的数据，信息包括10000+酒店的基本数据，和80000+的酒店图片，因为数据量较大（我怕吃牢饭?），项目里并没有放出来，感兴趣或者有需求的bro~可以照着代码自己爬一下?（友情提示：数据量较大，一时半会爬不完）。 文章目录1 路径说明2 配置文件请求头配置城市信息配置3 网址设置请求基址基于城市名称的参数设置（不稳
转载
2023-11-13 14:14:50
350阅读
文章目录1.自己选择一个可以迭代的对象012.自己选择一个可以迭代的对象023.自己选择一个可以迭代的对象034.自己选择一个可以迭代的对象045.自己选择一个可以迭代的对象056.fibonacci017.fibonacci02迭代器8.使用生成器完成feibonacci9.生成器的研究10.通过异常判断生成器已经结束11.通过send来启动生成器12.使用yield完成多任务13.使用gre
转载
2024-04-11 14:17:38
62阅读
携程在手 说走就走。今天来记录一下爬取携程旅行的教程。 首先告诉大家，爬携程还是相对简单的，当然也有难得方法，这里就以实现为最终目标讲解最简单得方法。 我要采集得是携程门票一栏得景点信息。还是照惯例用chrome抓包。首先需要获取每个景点详情页的url，我这边找到了直接贴图。 原来以为拿到这个页面问题就解决了，可实践发现事情并没有我想的那么简单，这是一个post请求。我把参数都带上进行访问，压根拿
转载
2023-07-30 12:47:54
23阅读
爬取携程用车信息，用的比较传统的模拟浏览器行为方式，主要用payload进行request请求，一步步获取最后的用车列表1：缓存清理问题： 根据模拟浏览器行为方式，我们需要从这个页面来选择我们的【租车点】，【租车时间】，【还车时间】，浏览器才能跳转到下一页面，获取下一步的具体租车列表信息。 &n
转载
2024-03-12 17:15:38
34阅读
第十一节：异步爬虫注意：python版本3.6.0及以上才可以11.1.异步简介异步模型是事件驱动模型的基础。异步活动的执行模型可以只有 一个 单一的主控制流，能在单核心系统和多核心系统中运行。在并发执行的异步模型中，许多任务被穿插在同一时间线上，所有的任务 都由一个控制流执行(单线程)。任务的执行可能被暂停或恢复，中间的这段时间线程将会去执行其他任务。携程初步： 协程就是一个函数，只是它满足以下
