除了urlunplist（）方法和urlunparse（）方法还有就是生成链接的urljoin方法，我们可以提供一个base_url(基础链接)作为第一个参数，将新的链接作为第二参数，该方法会分析base_url的scheme，netloc，path这三个内容并对新链接缺失的部分进行补充，最后返回结果from urllib.parse import urljoin
print(urljoin(
转载
2023-07-06 22:31:22
41阅读
首先说下什么叫URL拼接，我们有这么一个HTML片段： <ahref="../../a.html">click me</a>做为一只辛苦的爬虫，我们要跟踪到这个click me指向的页面，假设这个片段来自：http://www.xxxdu.com，那么目标页面是什么呢？显然不是://www.xxxdu.com/../../a.html而是://www.x
转载
2023-05-27 12:39:46
83阅读
使用urllib的urljoin()拼接两个地址urlljoin的第一个参数是基础母站的url，第二个是需要拼接成绝对路径的url。from urllib import parse
url1 = "http://www.youtube.com/user/khanacademy"
url2 = "123"
new_url = parse.urljoin(url1,url2)
print(new_ur
转载
2023-06-19 14:02:30
62阅读
方法一：使用+进行路径拼接 url='http://ip/
path='api/user/login'
//api/user/login'方法二：使用urljoin进行路径拼接url='http://ip/
path='api/user/login'
/api/user/login'
转载
2023-05-26 21:05:30
30阅读
官方文档见：https://docs.python.org/3/library/selectors.html selectors模块 它封装了IO多路复用中的select和epoll，能够更快，更方便的实现多并发效果。1. 模块定义了一个 BaseSelector的抽象基类， 以及它的子类，包括：SelectSelector， PollSelector, EpollSele
转载
2023-10-07 13:45:33
169阅读
# python 和pip 安装
root@Openwrt:/mnt# opkg install python3-base
root@Openwrt:~# opkg install python3-pip
root@Openwrt:~# opkg install python3
root@Openwrt:~# /usr/bin/python3 -m pip install -i https://p
转载
2023-07-24 20:52:25
321阅读
高并发异步uwsgi+web.py+gevent 为什么用web.py？python的web框架有很多，比如webpy、flask、bottle等，但是为什么我们选了webpy呢？想了好久，未果，硬要给解释，我想可能原因有两个：第一个是兄弟项目组用webpy，被我们组拿来主义，直接用了；第二个是我可能当时不知道有其他框架，因为刚工作，知识面有限。但是不管怎么样，webpy还是好用的，所有AP
该文章描述了代码登陆界面之后如何保存cookie并且之后的访问继续使用cookie来进行访问的操作。主要使用库http.cookiejar,urllib.request(),urllib.parse
前言该文章描述了代码登陆界面之后如何保存cookie并且之后的访问继续使用cookie来进行访问的操作。主要使用库http.cookiejar,urllib
转载
2023-05-26 17:23:13
236阅读
Python3+telnetlib实现telnet客户端 一、程序要点说明python实现telnet客户端的六个关键问题及其答案是：使用什么库实现telnet客户端----telnetlib怎么连接主机----两种方法，一种是在实例化时传入ip地址连接主机（tn = telnetlib.Telnet(host_ip,port=23)），第二种是，先不传参数进行实例化再用open方法连接主机（我
转载
2023-06-12 17:13:56
299阅读
No module named 'requests'
win10如何安装pip
pip怎么安装requests
系统环境：win10python版本：3.7.2（已添加到系统环境变量）很久没碰python，看见一段代码打算运行的时候发现一堆问题，代码如下： import requests
res=requests.get("http://www
转载
2023-06-26 00:54:44
220阅读
python3一、下载安装 地址：https://www.python.org/downloads/安装：傻瓜式安装；我的目录如下 二、环境配置【右键计算机】--》【属性】--》【高级系统设置】--》【高级】--》【环境变量】--》【在第二个内容框中找到 变量名为Path 的一行，双击】 -->【Python安装目录追加到变值值中然后打开cmd 输入命
转载
2023-06-21 15:47:14
160阅读
python默认使用UTF-8编码一个python3版本的HelloWorld代码如下：#!/usr/bin/env python
print ('Hello World!') 如果此python脚本文件名为：hello.py，则运行此脚本文件的方法有两种：1、python hello.py[laolang@localhost python]$ python hello.py
Hello Worl
转载
2023-12-15 21:32:48
85阅读
pydoc是python自带的一个文档生成工具，使用pydoc可以很方便的查看类和方法结构 本文主要介绍：1.查看文档的方法、2.html文档说明、 一、查看文档的方法方法1：启动本地服务，在web上查看文档命令【python3 -m pydoc -p 1234】 通过http://localhost:1234来访问查看文档 说明：1、-p指定启动的服务的端
转载
2023-07-06 15:28:21
223阅读
python中有一个轻量级的定时任务调度的库：schedule。他可以完成每分钟，每小时，每天，周几，特定日期的定时任务。因此十分方便我们执行一些轻量级的定时任务。1 安装 1.1在cmd中输入python --version，输出结果：Python 3.7.1
install schedule
2代码如下:import schedule
import time
def job():
转载
2023-07-06 20:36:43
152阅读
输入如下命令：pip install -i https://pypi.douban.com/simple/ pycryptodome安装完成以后，cmd中检查一下，不报错，说明安装成功！
转载
2023-07-06 20:36:21
242阅读
Python 3 简介Python 3 是一种高级编程语言，可以运行在各种操作系统中。它是Guido van Rossum 在1989年底发布的，现在由 Python 软件基金会维护。Python 3 与其前身 Python 2 相比，有很多重要的改进和新特性。最明显的是 Python 3 在语法和标准库上有很多变化，这些变化使得 Python 3 更加现代化、易于学习和使用。为什么选择 Pyth
转载
2023-07-26 13:30:09
171阅读
一、框架介绍 Newspaper是一个python3库,但是Newspaper框架并不适用于实际工程类新闻信息爬取工作，框架不稳定，爬取过程中会有各种bug，例如获取不到url、新闻信息等，但对于想获取一些新闻语料的朋友不妨一试，简单方便易上手，且不需要掌握太多关于爬虫方面的专业知识。安装方法：pip3 install news
转载
2023-12-26 12:33:35
101阅读
前言python3的heapq模块提供了堆的数据结构（即优先队列）。索引一、堆排序二、基本push pop三、其他 1. 返回堆排序 2. push+pop组合操作 &nb
转载
2023-09-22 22:45:49
148阅读
编码与解码详解：(1)Python2的默认编码是ascll，Python3 的默认编码是unicode。(2)编码和解码：编码:就是把str的数据类型转为bytes的数据类型的过程，使用到的关键字是encode str→bytes解码: 把bytes的数据类型转为str的数据类型的过程,使用到的关键字是decode bytes→strstr_bytes把str
转载
2023-08-01 16:09:21
188阅读
# 字符串中常用的函数 string = 'qwertyuiopasdfghjbbbbbbbklzxcvbnm' # 1.find（sub，start，end）查找第一个匹配到的子字符串的起始位置
# sub 要查找位置的子字符串 start 开始查找的位置
# end 结束查找的位置
# 如果找到返回位置， 找不到返回-1
# index = string.find('lkjhs'
转载
2023-05-28 16:29:51
270阅读
