Python有自带的随机代理模块， 直接拿来用就行了from fake_useragent import UserAgentua = UserAgent()print(ua.ie) #随机打印ie浏览器任意版本print(ua.firefox) #随机打印firefox浏览器任意版本print(ua.chrome) #随机打印chrome浏览器任意版本print(ua.ra...
原创
2019-06-25 09:33:07
129阅读
在日常的爬虫中，如果频繁访问，会被网站屏蔽，要使用代理# -*- coding: UTF-8
原创
2023-03-10 09:59:20
107阅读
在GitHub 上找了个获取代理IP的脚本，发现已经失效了，所以自己改了下使用python3.8 # -*- coding:UTF-8 -*-from bs4 import BeautifulSoupimport subprocess as spimport requestsimport rando ...
转载
2021-09-15 17:06:00
480阅读
2评论
import re import requests from bs4 import BeautifulSoup as bs import _thread import time headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; ...
转载
2021-07-26 15:31:00
126阅读
2评论
以前记录的维护一个ip池 当需要采集大量数据时，或者有的网站对访问速度特别严格的时候，有的网站就采取封ip，这样就需要使用代理ip。就
原创
2022-08-24 15:10:41
494阅读
# 如何使用Python3请求试用HTTP代理
## 流程图
```mermaid
sequenceDiagram
participant 小白
participant 开发者
小白->>开发者: 请求学习如何使用HTTP代理
开发者->>小白: 好的，我来教你
开发者->>小白: 告诉你整个流程
```
## 步骤
| 步骤 | 操作 |
| --
原创
2024-05-31 06:38:12
99阅读
当前用协程（asyncio）实现异步网络请求可以有以下三种方式：
1、asyncio + socket
2、asyncio + requests + run_in_executor
3、asyncio + aiohttp
原创
2016-04-14 16:27:42
3428阅读
#-------------------------------------------------------------------------------# Name: module1# Purpose:## Licence: <your licence>#-------------------------------------------------------------------------------import io, sys, time, re, os, randomimport winregimport win32gui, win32con, wi...
转载
2012-06-15 19:18:00
3097阅读
2评论
现在爬虫越来越难了，一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会会禁止这个IP的访问。
所以我们需要设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。
网上有很多网站提供免费代理，但是经过测试基本都不可用，所以就付费买代理IP吧。目前市面有飞蚁代理，代理云，
转载
2019-02-28 17:30:00
147阅读
2评论
#------------------------------------------------------------------------------- # Name: module1 # Purpose: # # Licence: #--------------...
转载
2013-07-23 17:05:00
147阅读
2评论
# Python3 Requests 设置请求IP代理
## 1. 简介
在网络爬虫开发中，有时需要设置请求的IP代理，以避免被目标网站封禁或限制访问。Python中的Requests库提供了方便的方法来设置请求IP代理。
本文将介绍如何使用Python3的Requests库来设置请求IP代理，并提供详细的步骤和示例代码。
## 2. 设置请求IP代理的流程
下表展示了设置请求IP代理的
原创
2023-08-31 12:06:49
2638阅读
需求在跨网络的操作中，我们想要连接一些内网服务，例如：对 机房内的安卓设备 进行 adb 连接。一般的做法呢，通常不想自己开发功能，可以有以下两种做法：可以采用 ssh 隧道的方式直接转...
原创
2022-07-03 00:33:21
720阅读
import requests
class http_utils(object):
def __init__(self):
self.host = "xxx"
self.port = "8080"
self.username = "xxx"
self.password = "xxx"
self.proxy
原创
2021-09-10 16:42:38
732阅读
需求
在跨网络的操作中，我们想要连接一些内网服务，例如：对 机房内的安卓设备 进行 adb 连接。
一般的做法呢，通常不想自己开发功能，可以有以下两种做法：
可以采用 ssh 隧道的方式直接转发 tcp 端口
可以采用 frp 搭建隧道转发 tcp 端口
但是这两种方式比较固定，没办法自定义一些自己需要的业务，例如：用户鉴权等功能。
那么这种情况就需要自己动手来开发了。
实验拓扑
+----+
原创
2021-06-18 13:17:32
1537阅读
我们在爬取页面的时候，如果长时间使用一个网址去爬取某个网站，就会受爬去限制，此时，我们引用了代理IP，IP随时在变化，也就不会被限制了 一下是国内提供免费代理IP的地址：://.xicidaili./ 我们打开这个网页后可以看到如下图的代理IP与地址 上图标记部分就是一个代理IP
转载
2018-04-21 22:26:00
65阅读
2评论
Python3 socket网络编程Socket又称"套接字"，应用程序通常通过"套接字"向网络发出请求或者应答网络请求，使主机间或者一台计算机上的进程间可以通讯。socket起源于UNIX，在Unix一切皆文件哲学的思想下，socket是一种"打开—读/写—关闭"模式的实现，服务器和客户端各自维护一个"文件"，在建立连接打开后，可以向自己文件写入内容供对方读取或者读取对方内容，通讯结束时关闭文件
转载
2023-07-17 12:40:13
169阅读
python系列均基于python3.4环境 基本概念 html.parser的核心是HTMLParser类。工作的流程是：当你feed给它一个类似HTML格式的字符串时，它会调用goahead方法向前迭代各个标签，并调用对应的parse_xxxx方法提取start_tag,tag,data,comment和end_tag等等标签信息和数据，然后调用对应的方法对这些抽取出来的内容进行处
转载
2023-10-07 15:22:51
227阅读
简单的概念与说明编码（动词）：按照某种规则（这个规则称为：编码（名词））将“文本”转换为“字节流”。而在python 3中则表示：unicode变成str解码（动词）：将“字节流”按照某种规则转换成“文本”。而在python3中则表示：str变成unicodePython中编码、解码与Unicode的联系字符串在Python内部的表示是Unicode编码，因此，在做编码转换时，通常需要以Unico
转载
2024-01-27 21:55:39
90阅读
"""Time = "2021-08-10"Author = "Yblackd"Desc = "python_String 常用方法练习"
"""(1)字符中大小写转换S.lower()：字母大写转换成小写。S.upperO：字母小写转换成大写。S.swapcase()：字母大写转换小写，小写转换成大写。S.title()：将首字母大写。(2)字符串搜索、替换S.find(substr，[sta
转载
2024-04-10 06:26:28
166阅读
代码from socket import *
import struct
import os
def main():
udp_socket = socket(AF_INET, SOCK_DGRAM)
bind_addr = ('', 2018)
ip_portID = ('192.168.0.101', 69)
udp_socket.bind(bind_addr)
转载
2023-06-26 23:15:30
143阅读
