写在前面：本文从北京公交路线数据的获取和预处理入手，记录使用python中requests库获取数据，pandas库预处理数据的过程。文章在保证按照一定处理逻辑的前提下，以自问自答的方式，对其中每一个环节进行详细阐述。本次代码均在jupyter notebook中测试通过，希望对大家有所启示。数据获取： 如上图所示，数据获取分为请求，解析，存储三个最主要的步骤。1.如何用python模拟网络
转载
2023-07-05 14:23:19
88阅读
昨天带伙伴萌学习python爬虫，准备了几个简单的入门实例涉及主要知识点:web是如何交互的requests库的get、post函数的应用response对象的相关函数，属性python文件的打开，保存代码中给出了注释，并且可以直接运行哦如何安装requests库(安装好python的朋友可以直接参考，没有的，建议先装一哈python环境)windows用户，Linux用户几乎一样:打开cmd输入
转载
2023-07-05 14:21:31
51阅读
# 爬取新发地菜价 from bs4 import BeautifulSoup import requests import csv # 拿到菜价页面源代码 url
转载
2021-08-14 16:04:00
363阅读
2评论
bs4数据解析的原理：- 1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中
- 2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签和数据提取
- 环境安装：
- pip install bs4
- pip install lxml
- 如何实例化BeautifulSoup对象：
- from bs4 import
转载
2023-05-26 23:22:35
121阅读
Python爬虫是用Python编程语言实现的网络爬虫，主要用于网络数据的抓取和处理，相比于其他语言，Python是一门非常适合开发网络爬虫的编程语言，大量内置包，可以轻松实现网络爬虫功能。Python爬虫可以做的事情很多，如搜索引擎、采集数据、广告过滤等，Python爬虫还可以用于数据分析，在数据的抓取方面可以作用巨大！（推荐学习：Python视频教程）Python爬虫架构组成1. URL管理器
转载
2023-08-16 16:12:43
36阅读
概述 bs4 全名 BeautifulSoup，是编写 python 爬虫常用库之一，主要用来解析 html 标签。一、初始化 from bs4 import BeautifulSoup
soup = BeautifulSoup("<html>A Html Text</html>", "html.parser") 两个参数：第一个参数是要解析的html文本，第二个参
转载
2024-01-07 20:36:02
62阅读
#html标签的筛选 #拿到页面源代码 #使用bs4进行解析 import time import requests import csv from bs4 import BeautifulSoup header= { "User-Agent": "Mozilla/5.0 (Windows NT 1
原创
2022-04-30 17:52:37
253阅读
[TOC] ## 步骤 1. 爬取主页面中的文章
原创
2023-06-03 17:33:40
110阅读
正则表达式第一件能做的事是能够匹配不定长的字符集。+ 正则表达式查询表：\ 将下一字符标记为特殊字符、文本、反向引用或八进制转义符。例如，“n”匹配字符“n”。“\n”匹配换行符。序列“\”匹配“\”，“(”匹配“(”。^ 匹配输入字符串开始的位置。如果设置了 RegExp 对象的 Multiline 属性，^ 还会与“\n”或“\r”之后的位置匹配。$ 匹配输入字符串结尾的位置。如果设置了 Re
今天试了下Python的爬虫，果然简单的一批，适合懵懂的小白。就先放代码吧。。。from bs4 import BeautifulSoup
import requests
url = 'https://movie.douban.com/subject/35051512/comments?status=P'
r = requests.get(url=url,headers={'User-Agent'
转载
2024-09-19 16:06:10
32阅读
用python也差不多一年多了，python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。1、基本抓取网页get方法post方法2、使用代理IP在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到代理IP;在urllib2包中有ProxyHand
转载
2024-08-22 19:35:54
28阅读
基本概念html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p cla
转载
2024-08-05 17:19:04
21阅读
其实，一开始学python的时候，我是冲着数据处理分析去了，那个pandas什么的。后来，发现爬虫挺好玩，可以解决纯手工采集网上数据的繁琐问题，比如我用的比较多的爬取taptap某游戏评价内容、某视频网站某剧的弹幕、某评的店铺信息、某牙主播信息等等。关于爬虫，我也只会一些比较基础的操作，不过个人经验上感觉这些基础基本可以满足比较常规化的需求。对于进阶的爬虫技巧，大家在了解熟悉爬虫基础后自然会有进阶
转载
2023-07-05 14:25:18
177阅读
python对于爬虫的编写已经是相当的友好了，不过除了利用requests库或者scrapy框架之外，有一些库还需要我们知道，以便于我们更熟练、便捷的完成目标数据的爬取，接下来我就总结一下我认为在爬虫中常用的几个库。一、rere库是正则表达式库，是regex的缩写，用于从网页源码或者数据文件中提取我们所需的数据，具体使用方法如下：①闯进过滤字符串的规定，一般用变量regex存储；②将规则编译：pa
转载
2023-08-05 18:58:59
67阅读
title: "bs4-爬虫解析" date: "2023-10-16" categories: - "xuexi" coverImage: "Cg-4.jpg" 记录使用bs4解析网页的基本方法，，完整使用文
原创
2024-04-18 11:35:54
18阅读
参考链接： bs4和requests的使用：https://www.cnblogs.com/baojinjin/p/6819389.html 安装pip：https://blog.csdn.net/zwr_20121141/article/details/80293806
转载
2018-08-11 14:14:00
284阅读
2评论
１．Robots协议大多数网站的主页下会有robots.txt文件，标识了爬虫爬取该网站信息时，哪些资源是有限制的，可以使用Python的标准库robotparser来检测将要爬取的url链接是否被允许： # coding=utf-8
import robotparser
# 实例话一个Robots协议检测对象
rp = robotparser.RobotFileParse
转载
2023-12-19 21:17:18
43阅读
简单的数据采集简单的运用爬虫的实例（python2.7）1.python安装首先安装python是第一步，登录python的官网下载对应的安装包，默认安装即可；2.安装python第三方包我们需要的第三方库文件requests；通过官网下载，或者pip安装即可，具体pip的安装方式,请点击here3.运行爬虫实例import requests
try:
r=requests.get('ht
转载
2023-07-02 20:38:33
69阅读
初步学习选择了百度文库资料《网络爬虫-Python和数据分析》，下面就练习遇到的问题做如下总结：初始代码：import re
import urllib2
import MySQLdb
from BeautifulSoup import BeautifulSoup
url1="://bbs.ustc.edu.cn/cgi/bbstdoc?board=PieBridge&star
转载
2023-07-10 17:58:39
107阅读
谢邀！其实这要看你是想学Python用来干嘛啦，因为会Python真的可以用很多事情，就算不是从事程序员，做工程师，用Python做爬虫，数据挖掘，一些自动化运用，无论在生活还是工作中，都会更加便捷。1.Python爬虫，首先需要本地电脑上安装有Python2.进入到Python官网，你可以直接输入Python主页，也可以从百度搜索框进入到Python的主页，这里方法很多，我不再一一列举了，在主页
转载
2023-08-27 16:26:02
71阅读
