前言最近学习Python，所以呢？跟大家一样，都是看看官网，看看教程，然后就准备搞一个小东西来试试，那么我使用的例子是实验楼中的12306火车票查询例子。但是那个是2.7版本的，并且那个实验楼的ubuntu系统老是一些包装不上，没办法就在我电脑上搞好了。结果展示：我在window上运行的结果下面这一段说明我是抄的，哈哈,因为我自己再怎么写还不是同样的内容。让我们先给这个小应用起个名字吧，既然及查询
python爬虫之bs4模块（超详细）一、bs4简介二、使用方法三、BeautifulSoup四大对象种类（1）tag（2）NavigableString（3）BeautifulSoup（4）Comment四、CSS选择器 一、bs4简介即BeautifulSoup，是python种的一个库，最主要的内容就是从网页中抓取数据。Beautiful Soup提供一些简单的、python式的函数用来处
转载
2023-07-04 12:54:00
83阅读
使用流程： -导包：from bs4 import BeautifulSoup - 使用方式：可以将一个html文档，转化为BeautifulSoup对象，然后通过对象的方法或属性去查找指定的节点内容。 （1）转化本地文件： - soup = BeautifulSoup（open（‘本地文件’），‘lxml’） （2）转化网络文件（与requests配合）： -
转载
2023-07-17 20:24:09
57阅读
鼠标定位到当前位置的最底端然后下拉滚动条，感觉已经加载新内容了就可以停止了， 这个时候请求新内容的url肯定已经出来了， 剩下的就是找出这个url。一种方法是看url的意思， 这个不太好看的出来，另一种就是直接复制url到浏览器， 看返回结果，最后得到的请求url是把链接拿到浏览器地址栏，查看的结果是接下来就是写代码了 import com.google.gson.Gson;
import co
一、主题式网络爬虫设计方案1.主题式网络爬虫名称：爬取百度热搜2.主题式网络爬虫爬取的内容与数据特征分析：百度热搜排行，标题，热度3.主题式网络爬虫设计方案概述：先搜索网站，查找数据并比对然后再输入代码进行爬取。难点在于文件的生成和读取。二、主题页面的结构特征分析1.主题页面的结构与特征分析 2.Htmls页面解析 三、网络爬虫
转载
2024-05-20 23:40:51
197阅读
bs4数据解析的原理：- 1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中
- 2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签和数据提取
- 环境安装：
- pip install bs4
- pip install lxml
- 如何实例化BeautifulSoup对象：
- from bs4 import
转载
2023-05-26 23:22:35
121阅读
今天学习了爬取的bs4： 爬取了北京新发地的菜价信息： 代码 import requestsfrom bs4 import BeautifulSou
原创
2022-06-20 11:31:31
61阅读
一、步骤 1、拿到主页面的前端源码，然后提取子页面的链接地址 2、通过href拿到子页面的内容。从子页面中找到图片的下载地址 3、下载图片 二、代码 import requests from bs4 import BeautifulSoup import os headers = { "User-A ...
转载
2021-11-03 11:44:00
725阅读
2评论
一、选题背景随着科技经济的发展，社会中发生的重大事件我们都可以从各大软件中得知，知乎热榜是我们了解时事的一个重要途径，但是如果我们没有那么时间来刷知乎，但是还是想要了解一天中发生的热门事件，我们该怎么办呢？在这里，我想到了通过知乎的手段，获取知乎热榜的标题和简介，保存到本地文件，，从而获取到每一天的知乎热榜内容，这样，我们只需要查看本地文件内容，就可以快速的了解今天一天的时事。要达到的数据分析
转载
2023-12-26 17:47:54
29阅读
# Python中使用BeautifulSoup4（bs4）爬取script标签
## 介绍
在Python中，我们可以使用BeautifulSoup4库（简称bs4）来进行网页爬取和解析。通过bs4，我们可以轻松地提取HTML或XML文档中的数据，并进行处理。本文将教你如何使用bs4爬取script标签中的内容。
## 整体流程
下面是整个流程的步骤，将使用bs4库来实现：
| 步骤 |
原创
2023-10-20 17:52:54
251阅读
一、前言微博热搜榜每天都会更新一些新鲜事，但是自己处于各种原因，肯定不能时刻关注着微博，为了与时代接轨，接受最新资讯，就寻思着用Python写个定时爬取微博热搜的并且发送QQ邮件的程序，这样每天可以在不打开微博的情况下，时刻掌握着微博的最新动态资讯。废话不多说，下面直接上代码以及详细思路。二、代码及思路（1）首先肯定是对微博热搜进行爬取，这并不难，是个非常简单的爬虫。def getHTML(url
转载
2023-10-10 21:55:19
113阅读
昨日作业：爬取北京新发地蔬菜价格表： """思路""" # 打开网页# 1.拿到页面后分析数据加载方式# 2.发现并不是直接加载的# 右键网页空白处，检查，network，然后点击fetch/xhr筛选动态获取数据的地址和请求方式# 然后点击url一栏，按下回车，便会出现一条数据 import re ...
转载
2021-09-21 21:54:00
263阅读
2评论
1 import requests 2 from lxml import etree 3 import os 4 if __name__ == "__main__": 5 url = "https://aspx.sc.chinaz.com/query.aspx" 6 headers = { 7 "U ...
转载
2021-08-21 22:21:00
247阅读
2评论
之前试过用按照目录地址爬取正文内容的方法来爬取《鬓边不是海棠红》这本小说，结果由于它目录中的每一章又被分为了几页来展示，那种方法只能爬取到每章的第一页内容，剩下的内容都没有拿到，所以现在来换一种方法吧~第一步：分析思路之前的文章中已经详细地写了分析网页的方法，这里就不多写了，直接说一下实现思路吧： ①首先以小说第一章第一页作为开始爬取的页面，并爬取第一页的正文内容； ②然后获取到下一页的链接，继续
转载
2023-08-30 21:54:18
556阅读
作为一个Python小白，在经过一个大牛的安利下，迅速将魔爪伸向了Python。作为一个小白，今天分享下已经被大牛们玩坏的知乎爬虫，各位看官你看好了。1. 我为什么要爬取回答其实我只是好奇，加上为了快速掌握基本的语法，就研究了一下。2. 如何实现懒得说了，你自己看代码吧：#!/usr/bin/python
# -*- coding: utf-8 -*-
# Filename : ZhiHuSpid
转载
2024-08-28 22:18:35
312阅读
知乎热榜中的内容热度值，是根据该条内容近24小时内的浏览量、互动量、专业加权…
原创
2022-12-28 17:10:21
306阅读
额，时间太快了，至于为什么这么说，是因为春节已经过完了。而小编
原创
2022-12-28 17:11:20
250阅读
闲来无事，想爬一下知乎热榜，说到爬虫肯定会想到python，那就试试看吧本文记录下爬知乎热榜的过程，说实话也算不上是爬虫，毕竟分析过程中发现其实知乎本身就给了接口了，不过也能作为分析爬虫的一个参考吧因为自己的“瞎搞”，现在是用python爬取数据并存入SQLite，毕竟在数据库里想怎么查都方便，后来为了做成一个接口随时可以爬取，还用php去调python来执行（好了别吐槽了=。=），其实代码也很简
转载
2023-08-02 22:55:39
0阅读
摘要： 互联网的数据爆炸式的增长，而利用 Python 爬虫我们可以获取大量有价值的数据：1.爬取数据，进行市场调研和商业分析爬取知乎优质答案，筛选各话题下最优质的内容； 抓取房产网站买卖信息，分析房价变化趋势、做不同区域的房价分析；爬取招聘网站职位信息，分析各行业人才需求情况及薪资水平。2.作为机器学习、数据挖掘的原始数据比如你要做一个推荐系统，那么你可以去爬取更多维度的数据，做出更好的模型。3
转载
2023-11-02 08:56:28
213阅读
利用爬虫我们可以获取大量的价值数据，从而获得感性认识中不能得到的信息，比如：1.爬取数据，进行市场调研和商业分析。爬取知乎优质答案，为你筛选出各话题下最优质的内容。 抓取房产网站买卖信息，分析房价变化趋势、做不同区域的房价分析。爬取招聘网站各类职位信息，分析各行业人才需求情况及薪资水平。2.作为机器学习、数据挖掘的原始数据。比如你要做一个推荐系统，那么你可以去爬取更多维度的数据，做出更好的模型。3
转载
2024-01-08 17:47:22
62阅读
