环境准备：按照上篇安装requests-html的步骤安装requests库通过html请求实例内容： 从网页图片中爬图片的链接并下载实例背景： 从百度图片(https://image.baidu.com)中下载自己想要类型的图片，张数，尺寸。导入requests和json库import requests
import json-获取得到图片信息的请求链接： 打开网页(https://image.
转载
2024-03-07 22:03:15
39阅读
简介网页更新提醒，是一款浏览器插件，支持所有类Chomium浏览器（chrome、Edge、360、QQ、搜狗、猎豹等），可以监控任何网页任何区域的内容更新， 并通过XPusher（支持邮件、微信、飞书、钉钉、企业微信、Discord、Telegram或Webhook）进行通知。整体架构先看一下整体架构，后面再分解每一个部分的实现。浏览器插件：实现插件的圈选、配置、定时任务及所需要的UI界面，是一
转载
2023-12-28 17:22:51
202阅读
# 利用Python制作网页
在现代社会中，网页已经成为了人们获取信息的主要途径之一。而对于开发者来说，制作网页也是一项重要的技能。Python作为一种流行的编程语言，也可以用于制作网页。本文将介绍如何利用Python制作网页，并提供代码示例。
## 概述
制作网页可以使用多种技术和工具，其中包括HTML、CSS和JavaScript等前端技术。而Python作为一种强大的编程语言，可以利用
原创
2023-08-21 04:42:00
967阅读
'''类基于类创建对象时，每个对象都自动具备这种通用行为，然后可根据需要赋予每个对象独特的个性。根据类来创建对象被称为实例化。'''#根据dog类创建的每个实例都将存储名字和年龄，赋予每条小狗蹲下和打滚的能力 sit() roll_over()
class Dog():
def __init__(self, name, age):
self.name = name
转载
2024-06-11 07:00:55
40阅读
安装第三方模块requests，前提：确保python中安装了pip，切换到C:\Python27\Scripts，使用命令pipinstallrequests；安装完成后，可以编写代码：importrequeststt=requests.get("http://www.baidu.com")print(tt.content)可以打印出百度页面的源代码，或者保存到文件中。具体r
原创
2018-05-10 09:37:24
4311阅读
点赞
支持https，302跳转
转载
2017-05-09 09:57:00
280阅读
2评论
这里提供两种方法来获取静态网页的内容，以北邮新闻网为例子 1.利用lxml库中的etree； 2.利用BeautifulSoup库；1.利用lxml库中的etree：import requests
from lxml import etree
headers = {
'user-agent':xxx
}
url = 'https://news.bupt.edu.c
转载
2023-09-18 20:37:10
155阅读
使用正则抓取使用正则匹配需要抓取的内容执行页面抓取。但是正则性能不好，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中。 #coding=utf-8
import urllib.request #python3
import re
def getHtml(url):
page = urllib.request.urlopen(url) #python3
html=pag
转载
2023-10-07 21:25:43
238阅读
import urllib.request
import http.cookiejar
url = 'http://www.baidu.com/'
# 方法一
print('方法一')
req_one = urllib.request.Request(url)
req_one.add_header('User-Agent', 'Mozilla/6.0')
res_one = urllib.re
转载
2023-06-21 11:00:12
174阅读
近期在家想看华为官方的【IP，图话技术，微图】系列文档，奈何家里是长宽，基本打不开页面，刷新多次，心力憔悴。▎下图感受下： 突然想起上次华为云大会送了台云服务器，一直被我用来做linux实验机。于是，突发奇想，利用python下载图片，然后利用工具传递到本地阅读，权当练手了。▎网页代码样例：查看网页源代码，可以找到图片所在的网址，加上网站前缀就
原创
精选
2017-09-02 12:07:33
1150阅读
点赞
在前几周的grep/sed/awk实战中提到，“和CoreSite - Any2 California接入商建立网络BGP邻居关系。从peeringdb上找到了所有接入商的信息，但是转移信息到本地不是很方便，需要进行多次文本调整，耗时较长。作为萌新，立马就想到近期学习的grep/sed/awk工具。于是就尝试处理数据。”因为当时是刚学习了linux正则的这三个工具，就立
原创
精选
2017-07-30 22:52:33
2062阅读
点赞
涉及知识点： 1. 迭代器 2. 根据点击的单选框设计URL参数 3. 根据URL参数过滤数据并展示 首先，我们设计一个迭代器，迭代器可以返回a标签单选框，将这些a标签单选框传给前端页面，前端页面循环根据迭代器生成的迭代器对象，即可显示出a标签单选框。在渲染页面的时候，我们从数据库中拿到要展示的choice类型字段的choice数据，构
转载
2024-01-17 11:09:01
26阅读
如想提取这个网页上所有数据的数据下载链接，想到利用爬虫方法来实现。 思路：提取网页的源码—>筛选源码—>输出结果（保持文件）原理： 网页源码有很多节点，源码的父节点是li,子节点有很多，我们需要的节点在a这个子节点，可以通过Beautifulsoup库筛选节点的内容，也就是我们想要的内容（上面想要的数据下载的链接）。网页大部分用HTML语言来写的，按层级规定规定所属关系。用Beaut
转载
2023-06-03 15:30:31
267阅读
如果在利用爬虫爬取网页数据的时候，发现是动态生成的时候，目前来看主要表现在以下几种：以接口的形式生成数据，这种形式其实挺好处理的，比较典型的是知乎的用户信息，我们只要知道接口的URL，就可以不用再考虑页面本身的内容以知乎为例，我们在爬取用户信息的时候，可能一开始的时候关注页面本身的内容，希望通过解析页面的结构来获取想要的数据，实际上我们利用fiddler这样的网络工具，很容易地发现这里
转载
2024-06-06 19:27:21
58阅读
# 如何实现“Python 图表网页每日更新”
随着数据分析和可视化技术的不断发展，越来越多的开发者希望能够将自己的数据以图表的形式展示在网页上，并且能够每日自动更新。本文将详细描述这个过程，让刚入行的小白能够轻松实现这一目标。
## 整体流程
下面的表格简要列出了实现“Python 图表网页每日更新”的主要步骤：
| 步骤 | 描述 |
原创
2024-09-16 03:25:15
60阅读
这几天在家闲得无聊，意外的挖掘到了一个资源网站（你懂得），但是网速慢广告多下载不了种种原因让我突然萌生了爬虫的想法。下面说说流程：一、网站分析首先进入网站，F12检查，本来以为这种低端网站很好爬取，是我太低估了web主。可以看到我刷新网页之后，出现了很多js文件，并且响应获取的代码与源代码不一样，这就不难猜到这个网站是动态加载页面。目前我知道的动态网页爬取的方法只有这两种：1、从网页响应中找到JS
转载
2024-08-26 22:24:36
225阅读
/// /// 获取源代码 /// /// /// public static string GetHtml(string url, Encoding encoding) { HttpWebRequest request = nul...
原创
2021-07-26 14:02:53
218阅读
/** * 定义内部类，获取抓取的网页数据中iframe的src包含http://的值。 * 2014-08-14 16:52:10 * @author pengyh *
原创
2023-05-04 14:37:38
102阅读
1. 想对网页上的元素进行操作，首先需要定位到元素。以百度首页为例：输入以下代码，打开百度首页：# coding = gbk
from selenium import webdriver
chrome_driver_path = "C:\Python27\selenium\webdriver\chromedriver\chromedriver"
global browser
browser =
转载
2023-05-25 19:54:36
267阅读
最近在参考w3school的文档学习python,就根据文档的请求模块进行扩展一下。 1、访问提供的网站，并提取script中的url地址。 这是w3school的请求模块案例：https://www.w3school.com.cn/python/python_module_requests.asp 现在要做的是把script中的url地址给提取出来 2、首先得需要两个模块，然后放列表进行遍历fr
转载
2023-06-27 21:45:18
267阅读
