这道题是一道爬虫练习题，需要爬链接http://tieba.baidu.com/p/2166231880里的所有妹子图片，点进链接看一下，这位妹子是日本著名性感女演员——杉本由美，^_^好漂亮啊，赶紧开始爬吧。一.获取页面虽然request和beautifulsoup模块方便又好用，但是我还是决定使用传统的urllib和urllib模块，毕竟对这两个模块熟悉之后，就能基本明白爬虫的原理和实现啦。首
转载
2024-09-13 09:14:45
44阅读
该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程项目运行环境配置：Pychram社区版+ python3.7.7 + Mysql5.7 + HBuilderX+list pip+Navicat11+Django+nodejs。 项目技术：django + python+ Vue 等等组成，B/S模式 +pychram管理等等。 环境需要1.运行环境：最好是python3.7.7，我们
转载
2024-06-23 11:49:45
142阅读
爬取网站
转载
2020-07-12 11:11:00
358阅读
2评论
这段时间写了行业板块、涨跌停板数据，获取这些数据的目的就是想通过处理、分析这些数据把整个大盘的情况反馈给我，让我可以用最少的时间进行复盘（说白了就是懒得看，果然懒才是程序员的第一生产力）。这几天把这些数据给我一个大佬朋友进行分析，建议我增加多一个概念数据（让我又可以水一篇）。目标网站：aHR0cDovL3F1b3RlLmVhc3Rtb25leS5jb20vY2VudGVyL2JvYXJkbGlzd
转载
2023-07-29 22:54:21
4阅读
作者简介英明，携程数据研发专家，负责支付离线数据仓库建设及BI业务需求，对并行计算、大数据处理及建模等有浓厚兴趣。一、背景支付中心作为携程集团公共部门，主要负责的业务包括交易、实名绑卡、账户、收单等，由于涉及到交易相关的资金流转以及用户实名认证，部分用户操作环节的中间数据应内控/审计要求需要长时间保存。当前研发应用多，日志量大、格式各异，对于日志的存储和使用产生较大的挑战，故支付数据与研发团队群策
到目前为止，我们有一个函数来加载更多的结果，还有一个函数来抓取这些结果。我可以在这里结束这篇文章，您仍然可以手动使用这些工具，并在您自己浏览的页面上使用抓取功能，但我确实提到了一些关于向您自己发送电子邮件和其他信息的内容！这都在下一个功能里面。它要求你填写城市和日期。从那里，它将打开kayak字符串中的地址，该字符串直接进入“最佳”结果页排序。在第一次刮取之后，我顺利地得到了价格最高的矩阵。它将用
转载
2024-05-08 20:32:15
169阅读
2017-08-06 19:52:21 目标：获取上交所和深交所所有股票的名称和交易信息输出：保存到文件中 技术路线：scrapy 获取股票列表：东方财富网：http://quote.eastmoney.com/stocklist.html获取个股信息：百度股票：https://gupiao.bai
转载
2017-08-08 22:38:00
335阅读
2评论
写在前面在网易云课堂看到城市数据团大鹏老师讲的《Python数据可视化利器：Pyecharts！》[传送门]，于是把前一篇南京的景点数据做一个可视化。1、还是去哪儿网景点爬取具体可以看之前的帖子《python爬取景点数据看该去哪里玩——南京篇》我把代码拿过来按照需要调整一下，只要主要评价数据就行import requests
from bs4 import BeautifulSoup
import
转载
2023-10-26 17:37:13
125阅读
功能描述 目标：获取证券之星股票的名称和信息 输出：保存到文件中使用到的模块import urllib
import urllib.request
import re
import random
import time
基本思路：先使用request方法读取到网页的内容，再用正则表达式匹配要查找的信息，然后保存到文件中抓取网页：urllib.request
转载
2023-08-30 23:23:17
2阅读
Python网络爬虫课程设计一：选题的背景 根据数据挖掘和数据量化分析方法，知道股票数据的跨度和周期，就可以知道应该选择什么股票了。因此，我们需要通过数据挖掘和数据量化分析的方法，找到其周期和规律，从而实现最大获益。分析股票规律、掌握股票投资可以促进中国社会经济发展，激发全民、全社会对股票的热情，提升中国股市规模与技术水平。 &nb
转载
2023-07-03 02:51:32
377阅读
携程在手 说走就走。今天来记录一下爬取携程旅行的教程。 首先告诉大家，爬携程还是相对简单的，当然也有难得方法，这里就以实现为最终目标讲解最简单得方法。 我要采集得是携程门票一栏得景点信息。还是照惯例用chrome抓包。首先需要获取每个景点详情页的url，我这边找到了直接贴图。 原来以为拿到这个页面问题就解决了，可实践发现事情并没有我想的那么简单，这是一个post请求。我把参数都带上进行访问，压根拿
转载
2023-07-30 12:47:54
23阅读
老虎社区 'https://www.laohu8.com/stock/' 百度股票不行了 import requests import re from bs4 import BeautifulSoup import collections import traceback def getHtmlTe
转载
2020-05-31 15:06:00
443阅读
2评论
python爬虫也学了一段时间了。也爬过不少网站，最后我想用12306抢票器这个项目做一个对之前的学习的效果成见也是一个目标（开始学爬虫的时候，看到说，会爬12306，就会爬80%的网站），本人纯自学。可以弯路走了不少，爬的网站也没有什么实质的价值（不是老师的作业，也不是老板的需求，就是自己的练习），所以嘛，不是有句话说的，人活着，就是为了搞事情。1
## 爬虫携程机票的流程
下面是爬取携程机票的流程图：
```mermaid
flowchart TD;
A(开始)-->B(导入库);
B-->C(设定URL);
C-->D(发送请求);
D-->E(解析页面);
E-->F(提取数据);
F-->G(保存数据);
G-->H(结束);
```
## 代码实现步骤及注释
### 导入
原创
2023-10-31 08:43:29
732阅读
用python采集雪球股票的股票数据并进行保存公众号回复 雪球股票 获取源代码欢迎分享目标网站：https:
转载
2023-10-26 11:59:30
0阅读
0.股票数据Scrapy爬虫实例介绍11.股票数据Scrapy爬虫实例编写12.股票数
原创
2022-12-16 12:36:26
143阅读
一、行业背景与垂直搜索我们先了解一下机票的行业背景，下图是由中航信统计的数据，蓝色的曲线代表平均每公里的票价，红色曲线指的是客运量。从2011年到2016年，无论是国内、港澳台还是国际，整体趋势都是机票价格便宜了，坐飞机的人也越来越多了。特别是国际机票，这五年里机票价格下降30%，客运量增长了140%。乘客越来越多，购买机票的渠道有哪些呢？现在主要有三个：网络平台、代售点和航司官网。像携程、去哪儿
修改了嵩天老师代码部分内容：①将网址中的https 换成 http，不修改的话程序不能爬取；②
原创
2023-05-25 16:57:33
159阅读
# 携程国际机票Python爬虫的基本实现
在数据驱动的时代，网络爬虫已成为获取信息的重要工具。本文将介绍如何使用Python爬虫技术抓取携程网站上国际机票的信息。我们将通过创建一个简单的爬虫类来实现这一目标，并提供代码示例。
## 环境准备
在进行爬虫开发之前，需要确保你已经安装了以下Python库：
```bash
pip install requests beautifulsoup4
爬虫及相关概念爬虫是什么爬虫通过编写程序来模拟浏览器上网，让其去互联网上抓取数据。 一般用于抓取页面上特定的数据，并运用各种数据分析手段来使数据体现使用价值。爬虫及爬虫的合法性爬虫本身在法律中是不被禁止的，但爬取数据具有违法风险。 一般的搜索引擎都具有自己的抓取系统，这样的爬取是被支持的。 但如抢票爬虫等损害他人利益的爬虫即为恶意爬虫。恶意爬虫一般体现在：爬虫干扰被访问网站的正常运营。爬虫抓取了受
