一、概述在后期渗透测试中，经常会遇到需要向第三方发送http请求的场景，python中的requests库可以很好的满足这一要求，Requests模块是一个用于网络请求的模块，主要用来模拟浏览器发请求。其实类似的模块有很多，比如urllib，urllib2，httplib，httplib2，他们基本都提供相似的功能。但是这些模块都复杂而且差不多过时了，requests模块简单强大高效，使得其在众多
转载
2023-08-10 22:10:44
59阅读
# Python常用爬虫模块简介
在网络上获取数据是爬虫程序的主要功能之一。Python作为一种稳定、易学、功能强大的编程语言，拥有众多优秀的爬虫模块，可以帮助我们快速高效地实现数据抓取任务。本文将介绍一些常用的Python爬虫模块，包括`requests`、`BeautifulSoup`和`Scrapy`。
## 1. requests
`requests`是Python中最受欢迎的HTT
原创
2024-05-10 06:46:21
47阅读
requests模块介绍相对于python自带的urllib模块，requests模块提供了相对更高层的api来进行网页访问的工作。对于requests模块，使用很简单，一般我们会用到两个函数：requests.get(url,params=None,**kwargs) 这里的params是我们要传入的query，它的格式是dict。requests.post(url,data=None,**kw
转载
2023-10-07 19:35:25
212阅读
1、urllib.request模块urllib.request模块是Python自带的模块，一些企业的老项目可能会用到该模块，所以我们有必要去了解这个模块。1.1 版本Python2版本会区分urllib2和urllib，但是到了Python3版本已经不做区分了，用的都是urllib.request。1.2 常用的方法urllib.request.urlopen(‘网址’) 该方法的作用是向网站
转载
2023-09-22 19:48:57
194阅读
1.涉及网络这块，必不可少的模块就是urllib2了。顾名思义这个模块主要负责打开URL和HTTP协议之类的，还有一个模块叫urllib，但它们不是升级版的关系 2.urllib2请求返回网页（1）urllib2最贱的应用就是urllib2.urlopen函数了：urllib2.urlopen(url[,data[,timeout[,cafile[,capath[,cadefault[,
转载
2023-05-31 09:14:53
147阅读
BeautifulSoup用途 BeautifulSoup 借助网页的结构和属性等特性来解析网页，可以用它来方便地从网页中提取所需信息。 BeautifulSoup自动将输入文档转换为Unicode编码，输出文档转换为UTF-8编码。BeautifulSoup依赖于解析器 它除了支持Python标准库中的HTML解析器外，还支持第三方解析器：用法示例 在以下示例中，使用的均
转载
2021-06-03 16:28:35
376阅读
# Python爬虫常用模块及实现步骤
在现代社会，网络爬虫作为一种从互联网上提取信息的工具，已经被广泛应用于数据采集、市场分析等领域。对于刚入行的小白来说，理解爬虫的实现流程以及常用模块非常重要。本文将通过一系列步骤来教会你如何使用Python实现基本的爬虫，并介绍常用的Python模块。
## 爬虫实现流程
以下是实现Python爬虫的基本流程：
| 步骤 | 描述
python 的 re 模块 提供了很多方便的函数和方法使你可以使用正则表达式来操作字符串。 为了使正则表达式具有更好的可读性，Python特别设计了原始字符串(raw string)。raw string就是用’r’作为字符串的前缀，如 r”\n”：表示两个字符”\”和”n”，而不是换行符。 Python中写正则表达式时推荐使用这种形式。1个常用函数compile co
转载
2021-06-03 16:22:40
930阅读
lxml 是一种高性能的 Python HTML/XML 解析器，它利用XPath语法来快速定位和提取节点信息，与BeautifulSoup 相比，效率更高。lxml 用法示例1) 使用 etree.HTML 解析 html 字符串 示例文档 使用 lxml 解析 HTML 文档时，如果代码不规范，lxml 自动修复 HTML 节点：# 利用 etree.HTML 将字符串解析为 HTML 文
转载
2021-06-03 16:21:12
3343阅读
requests库 import requests # 导入模块 r = requests.get(url) # 返回Response对象 Response对象常用属性 r.request.headers # 请求头信息 r.headers # 响应头信息 r.status_code # 响应状态码 ...
转载
2021-09-07 02:55:00
118阅读
点赞
3评论
内置模块(不用import就可以直接使用) 常用内置函数help(obj) 在线帮助, obj可是任何类型callable(obj) 查看一个obj是不是可以像函数一样调用repr(obj) 得到obj的表示字符串，可以利用这个字符串eval重建该对象的一个拷贝eval_r(str) 表示合法的python表达式，返回这个表达式dir(o
转载
2017-05-17 17:20:11
449阅读
本文将通过Python将从2018年度到目前的股票历史数据爬取过来，大展身手进行一波数据可视化操作，结合数据和市场分析2019年A股牛市的走势和行情。一、工具准备本文分析侧重可视化，而且难点主要在于数据的获取。对于股票相关数据，想必对于Python大家应该都比较熟悉了，网站爬数据神器，只要从东方财经网和网易财经爬取相关股票的历史数据即可。数据可视化分析方面，虽然Python有numpy、panda
转载
2023-07-12 22:41:02
38阅读
数据分析库Pandas前言pandas模块简介Pandas的绘图函数read_csvhead方法tail方法columns方法shape方法loc方法通过列取数据对数据加减乘除及其他操作对数据排序一个简单的案例（转） 前言本篇博文对python的数据分析库pandas做了简略的介绍和应用指导，包含pandas模块简介，pandas绘图函数，read_csv，head方法，tail方法，colum
转载
2023-08-11 09:10:38
154阅读
python中的模块概念以及包、库的概念
模块的基本概念：，它就是一个扩展名为.py的python程序。因此对于一个.py的python文件而言，既可以把它当作程序来执行，也可以将它作为模块引入。 导入一个模块时，python解释器会先自动在当前路径下搜索要导入的模块，如果没有找到，则会自动到python标准模块安装路径（python默认自带的）中搜索
转载
2024-09-15 22:49:59
18阅读
一、时间的表示在Python中，通常有这几种方式来表示时间：1 时间戳(timestamp)：通常来说，时间戳表示的是从1970年1月1日00:00:00开始按秒计算的偏移量。我们运行“type(time.time())”，返回的是float类型。2 格式化的时间字符串(Format String)3 结构化的时间(struct_time)：struct_time元组共有9个元素共九个元素:(年，
原创
2022-02-18 23:18:20
390阅读
数据分析师日常工作会涉及各种任务，比如数据预处理、数据分析、机器学习模型创建、模型部署。在本文中，我将分享10个 Python 操作，它们可覆盖90%的数据分析问题。1、阅读数据集阅读数据是数据分析的组成部分，了解如何从不同的文件格式读取数据是数据分析师的第一步。下面是如何使用 pandas 读取包含 Covid-19 数据的 csv 文件的示例。import pandas as pd
# re
转载
2024-07-12 07:49:08
43阅读
爬虫总结 目录爬虫总结一、静态页面 html 代码的获取1. 请求数据① requests(1) 基本使用(2) Requests进阶:使用Session(3) 防盗链处理(4) 代理ip② urllib & urllib3③ selenium (webdriver)2. 节点获取 / 内容匹配① re1. 语法2. 实战② bs41. 语法2. 实战③ xpath1. 语法2. 实战④
转载
2023-10-19 12:05:52
96阅读
OS 模块 #os模块就是对操作系统进行操作，使用该模块必须先导入模块： import os #getcwd() 获取当前工作目录(当前工作目录默认都是当前文件所在的文件夹) result = os.getcwd() print(result) #chdir()改变当前工作目录 os.chdir('
转载
2020-06-09 23:16:00
400阅读
实例3：股票数据定向爬虫 ，使用两种爬取方法编写爬虫1. 功能描述候选数据网站的选择2. 技术路线：requests-re源代码代码优化3. 技术路线：Scrapy爬虫框架步骤源代码代码优化更多4. 存在的问题 编写爬虫1. 功能描述目标：获取上交所和深交所所有股票的名称和交易信息。输出：保存到本地文件中。候选数据网站的选择选取原则：股票信息静态存在于HTML页面中，非js代码生成，没有Robo
转载
2023-08-12 20:37:40
5阅读
文章目录Python常用的模块有calendarcalendar：获取一年的日历字符串month（） 获取某个月的日历字符串monthrange（） 获取一个月的周几开始即和天数monthcalendar() 返回一个月每天的矩阵列表prcal: print calendar 直接打印日历prmonth() 直接打印整个月的日历weekday() 获取周几time模块时间戳UTC时间夏令时（已经
转载
2023-06-26 11:47:42
50阅读
