1. 为什么要做逆向 正常我们访问一个网站是由html css js 文件组成的，下图是某网站的正常访问。 当然我们也可以看到是谁调用了这个请求执行了什么（2图为某网站登录链接）分析URL我们可以看到这个链接他的请求参数，传输方式等。我们可以看到左图和右图的差距；同样的请求方式和fromdata会有这样的差距。如果有些经验的同学就会去找相关js了如何快速查找js我们可以在搜索查找或者链接js调用中
转载
2024-06-12 15:08:34
71阅读
前段时间想学下爬虫，通过BT搜索引擎找到电影的磁链，但第一步就卡住了，一般爬虫都是根据一定的规则，爬网站现有的内容（多数是文章、图片）。如果是爬搜索引擎，一般也有?search=xxx这样的地址可供使用但这个BT站点，POST后重定向，目录结构是一串随机字符串，一时没有找到解决办法，就搁置了。 今天刚好学习下把py转成exe，因为客户服务器很多，如果写了py脚本，要每一台服务器都部署py
转载
2024-06-08 22:33:33
108阅读
前言做了个python的小项目，需要打包为桌面端的exe使用，结果一打包，体积直接上百兆了，研究了下，使用虚拟环境打出的包会更干净小巧。安装anacondaanaconda用作python的虚拟环境管理工具，安装命令：https://repo.anaconda.com/archive/Anaconda3-2023.03-Windows-x86_64.exe配置anaconda环境变量 win+i
转载
2024-06-04 15:03:51
81阅读
项目上做一个小工具，通过webservice接口实现配置下发。python文件调试通过了，想把它抓换成exe，网上查了下，得知有py2exe这个好用精简的小工具，本以为分分钟搞定的事情，结果经历了九转十八弯。在此把遇到的坑和填坑的手段一一记录一下，希望不要忘记。py2exe官网上提供了一个特别精简的例子，setup.py中仅那么几行代码：from distutils.core
转载
2024-07-24 07:42:36
67阅读
一、什么是exe可执行文件？exe文件英文全名是executable file，翻译为可执行文件（但它不等于可执行文件），可执行文件包含两种，文件扩展名为.exe的是其中的一种。exe文件可以在Windows平台上直接双击运行！我们通常用的各种软件都是通过快捷方式打开的，而这个快捷方式的目标地址就是这个软件的一个exe文件。二、为什么要将Python程序打包为exe可执行文件？众所周知，Pyth
转载
2023-11-09 17:03:42
170阅读
B站，bilibili，以二次元闻名的站点，同时也是学习的天堂，推荐大家学习，尤其是你想要视频学习的话，里面有很多大佬发布了学习视频资源，如果有意，也可以下载下来慢慢看，慢慢学，对于本渣渣...
原创
2021-05-13 14:23:23
797阅读
pyhton的定义函数中，可以使用4种参数：必选参数，默认参数，可变参数，关键字参数。同时，参数的定义顺序也必须按照此顺序。下面分别介绍这几种参数。必选参数>>>def power(base, exp):
... if exp == 0:
... return 1
... return base * power(base, exp-1)这里我定义了
转载
2023-12-25 06:25:08
57阅读
命令：pyinstaller -F D:\scripts***.py 生成exe文件，测试该exe出现如图所示异常： 解决方法：该项目用到libusb,且依赖python环境，需要在与该python文件同级目录添加libusb-1.0.dll和python27.dll（我的项目用到的python环境），再执行pyinstaller -F命令。
转载
2024-08-15 09:15:48
460阅读
先说结论:在virtualenv下用upx压缩打包出来的exe最小还不满意就上python-embed env 最下面有教程链接我也曾被这个问题困扰过 然鹅现在这个问题已经被我解决了（basically） 为了造福像我一样迷茫过或者正在迷茫的广大知友 我写了六篇文章分步骤（非常详细）介绍了reduce exe size的方法以及代替pyinstaller的方法pyinstaller打包一个exe动
python.exe是用于启动CLI类型脚本的控制台（终端）应用程序。除非从现有控制台窗口运行，否则python.exe 将打开一个新的控制台窗口。标准流 sys.stdin，sys.stdout并且sys.stderr被连接到控制台窗口。从或PowerShell控制台窗口启动时，执行是同步的cmd.exe：请参阅下面的eryksun的第一条评论。如果创建了新的控制台窗口，它将保持打开状态，直到脚
爬虫简介网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入
转载
2023-08-30 07:56:51
122阅读
文章更新于：2020-02-18注：python 爬虫当然要安装 python，如何安装参见：python 的安装使用和基本语法一、什么是网络爬虫网络爬虫就是用代码模拟人类去访问网站以获取我们想要信息。由于代码模拟的速度和效率很高，所以可以批量和动态获取我们想要的信息。比如抢票软件就是一直用代码访问12306网站获取余票信息，一有余票立马使用代码进行模拟购买。二、网络爬虫的分类通用网络爬虫。又称全
转载
2024-01-25 15:34:46
135阅读
1.1爬虫的定义网络爬虫是一种按照一定的规则自动的抓取网络信息的程序或者脚本。简单的来说，网络爬虫就是根据一定的算法实现编程开发，主要通过URL实现数据的抓取和发掘。 随着大数据时代的发展，数据规模越来越庞大、数据类型繁多，但是数据价值普遍比较低，为了从庞大的数据体系中获取有价值的数据，从而延伸了网络爬虫、数据分析等多个职位。近几年，网络爬虫的需求更是井喷式的爆发，在招聘的供求市场上往往是供不应求
转载
2023-08-22 21:54:22
87阅读
requests+selenium+scrapypython爬虫1、爬虫爬虫：通过编写程序，模拟浏览器上网，然后让去互联网上抓取数据的过程通用爬虫：抓取的是一整张页面数据聚焦爬虫：抓取的是页面中特定的局部内容增量式爬虫：只会抓取网站中最新更新出来的数据反爬机制：门户网站可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取反反爬策略：破解门户网站中具备的反爬机制robot.txt协议：
转载
2023-11-18 20:18:00
5阅读
一、爬虫技术概述爬虫，即网络爬虫，是通过递归访问网络资源，抓取信息的技术。 互联网中也有大量的有价值的信息数据，手动下载效率非常低下，爬虫就是自动化爬取下载这些有价值的信息的技术。 互联网中的页面往往不是独立存在的，而是通过超链接连接成了一个网络，爬虫程序就像一只蜘蛛一样，通过访问超链接在这张网络中移动 ，并下载需要的信息，理论上可以将爬取到整个互联网的绝大部分数据。 爬虫技术最开始来源于
转载
2023-07-30 12:49:00
338阅读
点赞
简单了解一下Python爬虫的基本概念和工作原理。 文章目录简单了解一下Python爬虫的基本概念和工作原理。前言Python爬虫是一种自动化抓取互联网信息的程序。它通过网络请求模拟用户操作，将获取到的网页数据解析并提取所需要的信息。爬虫可以帮助我们高效地获取海量数据，并进行相应的分析和处理。1、发送请求2、解析网页3、数据处理总结 前言Python爬虫是一种自动化抓取互联网信息的程序。它通过网络
转载
2023-07-19 13:53:41
210阅读
我们没有得到正确的结果，因为任何javascript生成的内容都需要在DOM上呈现。当我们获取一个HTML页面时，我们获取初始的、未经javascript修改的DOM。因此，我们需要在抓取页面之前呈现javascript内容。由于在这个线程中已经多次提到Selenium(有时还提到了它的速度)，我将列出另外两个可能的解决方案。解决方案1：这是一个非常好的教程如何使用Scrapy爬行javascri
转载
2023-10-04 10:06:10
171阅读
爬虫呢？本质上说来其实就是模仿用户，到浏览器上抓取信息的一种手段。其实每个网站或多或少的有放爬虫意识，只是强不强得问题。在前面的介绍中，我们有伪装自己的请求代理，去访问某个网址，这其实也是一种反防爬虫手段。不过呢？这只是最低级的手段，下面呢，将介绍五种反爬虫的常见手段。 1、IP地址验证 有些网站会使用IP地址验证来处理爬虫程序，其原理是什么呢?网站程序检查客户端的IP地址，如果发现一个IP地址
转载
2023-08-12 06:30:18
491阅读
有几种办法，选择py2exe，从pip安装，还不行，下载看起来都比较老，还是在csdn上下载了一个64位版本for2.7的 http://download.csdn.net/download/henujyj/8532827 1、编写一个setup.py 2、运行python setup.py py2
转载
2017-06-17 12:35:00
125阅读
2评论
1、安装[pip install pyinstaller] 2、打包成exe文件[pyinstaller xxx.py] 3、测试打包好
原创
2023-02-01 14:04:07
469阅读
