获取数据1.requests 库下载安装 MAC ：电脑打开终端软件，输入pip3 install requests winds：打开命令提示符（windows +r 快捷键，输入cmd）,输入pip install requests requests 库可以帮助下载网页源代码，文本，图片，音频~ 下载就是说向服务器发送请求并得到回应2.r
转载
2020-09-15 16:32:00
520阅读
今天给大伙分享一下 Python 爬虫的教程，这次主要涉及到的是关于某 APP 的逆向分析并抓取数据，关于 APP 的反爬会麻烦一些，比如 Android 端的代码写完一般会进行打包并混淆加密加固，所以除了抓包之外，还需要对 APP 进行查壳脱壳反编译等操作。接下来由「小帅b的朋友：Houser」 给大家演示一下，如何逆向抓取 APP 数据，给你参考一下思路：所需设备和环境：设备：安卓手机抓包：f
转载
2023-09-19 20:29:13
64阅读
问题：接到这样一个需求，定时查数据库表table_a，table_b，table_c中的数据，当有新增的时候，把table中的新增的数据中，所有message字段发出来解决思路一：1.思索后，因为3个table结构一样，都有字段：id、createTime、message觉得可以定时查询每个table中数据的个数，对查询结果进行记录，当个数有变化时，获取message并发出来。查询的时候，个别变化
转载
2023-06-21 10:38:10
210阅读
一、pandas的安装：1.安装pandas其实是非常简单的，pandas依赖处理Excel的xlrd模块，所以我们需要提前安装这个，安装命令是：pip install xlrd2.开始安装pandas，安装命令是：pip install pandas二、读取excel文件webservice_testcase.xlsx结构如下：1.首先我们应该先将这个模块导入import pandas as p
转载
2023-08-10 13:02:58
101阅读
用过SAP的人都知道，它的报表导出功能非常强大，它支持多种导出格式，我们最常用的自然是导出为excel文件。不过SAP导出excel文件后，总是很好心地帮我们自动打开了导出的报表，这种【好心】却无形中给我们的办公自动化带来了难题。我们利用python做很多SAP自动化办公场景中，导出的数据往往需要利用pandas等库二次加工。因此，我们不希望文件在调用时已经被excel打开了，这会带来文件占用
转载
2023-10-01 14:20:46
453阅读
文 | 闲欢上篇我们是通过网易财经的行情页来获取股票的实时行情数据的，那么我们最好还是在网易财经获取历史数据，避免不同平台一些股票标识不一样，导致数据需要进行转换。在网易财经上左翻右翻，左看右看，终于被我找到了我们的目标。我们首先进入股票实时行情页面（上一篇我们的目标页面）：
股票行情页
点击某只股票名称，进入股票详情页面：
股票详情页
我们可以看到这里面是按
转载
2023-08-23 18:18:31
17阅读
获取内存信息
使用psutil获取物理内存和交换内存信息，分别使用:
>>> psutil.virtual_memory()
svmem(total=8589934592, available=2866520064, percent=66.6, used=7201386496, free=216178688, active=3342192640, inactive=2650341
转载
2023-07-02 17:15:07
130阅读
题目：使用 requests 提交表单数据，分别提交表单数据和 json 数据。视频教程：
Python入门题029：requests提交表单数据 代码1：import requests
# 模拟表单提交，不能传太复杂的对象
response = requests.post('http://httpbin.org/post', data={
'hello': 'world',
转载
2023-05-24 19:24:03
129阅读
以前用Python获取网页内容是很繁琐的，先requests.get网页源代码，然后用re的正则匹配各种折腾，才能把表格读取出来，而且调试成本很高，表格一换就失效了。最近学习了selenium，发现用来获取网页内容简直是如鱼得水，代码如下：from selenium import webdriver
import pandas as pd
driver=webdriver.Chrome("chro
转载
2023-06-01 20:29:39
348阅读
数据库（MySQL）：引论数据库管理系统（DBMS）：网络应用服务端客户端可以自己写 : 未来写代码的时候也可以用别人写好的 : 第三方的工具 数据库管理软件的公司出版的官方客户端数据库管理系统本质上也是管理一堆文件数据库管理员（DBA）主要工作：
搭建数据库服务环境用户的创建 权限的管理性能\语句的优化数据库的二次开发 : 让数据库具有公司的特质主要软件：MySQL：适用于小公司以及互联网企
转载
2024-07-27 16:37:54
9阅读
# 如何实现Python获取直播流数据获取
## 概述
在进行Python获取直播流数据获取的过程中，我们需要使用一些特定的库和代码来帮助我们完成这个任务。下面我将会详细介绍整个流程，并给出每一个步骤所需要做的事情以及对应的代码。
### 流程图
```mermaid
flowchart TD;
A(准备工作) --> B(导入必要的库);
B --> C(创建连接);
原创
2024-06-27 04:42:58
159阅读
我是好人，一个大大的良民。好与坏，关键在于使用者噢！Scrapy 是一个常用的数据采集工具；Selenium 是一个浏览器自动化测试工具；结合 Scrapy 对数据的处理机制和 Selenium 模拟真实浏览器去获取数据(如：自动化登录，自动化翻页等)。可以更好的完成采集。About ScrapyScrapy 是开发者在网络上用于常用的数据采集工具之一，对于通过 API 获取数据我们已经司空见惯了
转载
2024-08-01 13:01:16
37阅读
Python 五种数据类型在学习一门语言的过程中，首先肯定就是要先接触到它所拥有的数据类型，Python拥有五种主要的数据类型，下面介绍一下我对这五种数据类型的理解和想法。1.数在Python中的数主要分为四种：int(整数)、float(浮点数)、long(长整型)和complex(复数)主要特别的地方就是float类型的数有一个函数round()可以取整：round(a,b):对float类型
转载
2023-06-16 10:34:33
57阅读
爬取时需要进行的操作：
1：输入你是要爬取国内的还是海外的，1表示国内，2表示海外；
2：然后输入你要爬取的城市名称，就可以了；
每个函数的功能：
choose_area函数根据你输入的是国内还是海外，输出不同的区域名称
url_list函数根据你输入的城市名称，来爬取城市有多少房源，来判断有几页数据，因为小猪短租网上面只显示13页数据，超过了的话页只显示13
转载
2023-08-03 11:10:08
10阅读
必会技能：如何在Python中连接数据库获取数据大家好，我是翔宇！想要成为一名数据分析师，一个最基础的技能就是：提取数据。数据是数据分析的基础。因此，掌握各种获取数据的技能一定是一个合格的数据分析师的必备技能。而我们的需要进行提取的数据通常是存储在数据库中（当然，也有不存储在数据库中的，这里不是探讨重点）。而现在随着python语言的流行，加上Python强大的三方库和生态圈几乎让数据分析师完成整
转载
2023-08-30 08:52:27
43阅读
1. 游戏的初始化和退出介绍一下怎么样使用来创建一个图形窗口，要做游戏开发，有一件非常重要的工作，就是把不同的图片素材画到游戏的窗口上，如果没有游戏的窗口，就不能来画这些图片素材.因此要进行游戏开发, 第1件事情应该先学习一下怎么样创建游戏的主窗口，但是要学习创建游戏的主窗口，有两个小的知识点，需要学习一下，第1个先需要知道一下pygame的初始化和退出，然后呢，需要知道一下pygame中的坐标.
转载
2023-08-08 17:58:29
367阅读
使用 python 提取照片中的手机信息最近在做一个项目，有一个很重要的点是需要获取使用用户的手机信息，这里我选择从照片中获取信息。有人会问为什么不从手机里面直接获取设备信息。由于现在android系统的权限设置做的越来越好，直接获取信息很可能被认定为非法获取用户隐私，所以不打算使用这个思路。我的思路是，获取用户上传的图片中的信息，这样就可以尽量减少用户手机上的权限申请数量，让我们的应用更加受欢迎
转载
2023-06-26 11:55:27
242阅读
目录一、前言二、requests 请求库1、requests 安装2、requests 的基本使用三、Beautiful Soup1、Beautiful Soup 安装2、BeautifulSoup对象介绍与创建3、BeautifulSoup对象的find方法四、总结一、前言什么是爬虫？网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端发送网络请求，获取响应数据，一种按照一定的规则，自动地抓取
转载
2024-08-08 20:12:29
23阅读
在使用 Python 爬取网站数据之前，需要先安装所需要的 Python 模块，例如 Requests、BeautifulSoup4 等模块。可以使用 pip 命令来安装这些模块。例如：pip install requests
pip install beautifulsoup4 接下来，需要了解所需数据的来源，以及该网站的结构和规则。可以通过查看该网站的源代码来获取这些信息。如果打
转载
2023-06-26 12:03:34
7阅读
1.json 模块提供了一种很简单的方式来编码和解码JSON数据。 其中两个主要的函数是 json.dumps() 和 json.loads() ， 要比其他序列化函数库如pickle的接口少得多。 下面演示如何将一个Python数据结构转换为JSON：import json
data = {
'name' : 'ACME',
'
转载
2023-06-19 14:34:52
0阅读
