一、当抓到一个数据包的时候，发现响应数据被加密了，这时没有关键字供我们搜索。二、这时就要从url入手，一般js里面会对对响应的加密数据进行解密，我们搜索url中的路径“/dataservice/query/comp/list”三、只搜到一个js文件，进去下断，并查看参数，发现正好是这个数据包提交的参数四、因为要解密响应数据，所以肯定要用response关键字，在该js文件中，局部搜索“respon
接上节课内容JS逆向 -- 某新闻数据包中sign值加密分析一、将补环境代码复制到上节课那个js文件里面const jsdom = require("jsdom"); const { JSDOM } = jsdom;//导入jsdom模块 const html = "<!DOCTYPE html><p>逆向有你</p>"; const resourceLoade
一、今日目标某新闻板块，往下拉，会自动加载新闻内容，然后数据全部在一个feed包里面，这个数据包提交的参数里面有个_signature值是加密的，这就是我们今天要分析的内容_signature二、开始分析1、全局搜索_signature2、在关键处下断，刷新页面，断了下来，主要代码如下var n = I(F.getUri(e), e)3、进入I函数进行分析4、单步调试，最后发现返回值为a.call
接上节课内容JS逆向 -- 某视频vid值的加密分析JS逆向 -- 某视频val值和pid值的加密分析一、在上节课中有个vurl的值需要分析，具体内容如下vurl: https://mp4play-hs-cdn.ysp.cctv.cn/o000017kuww.jbZe10002.mp4? sdtfrom=4330701& guid=lhsuf6ia_0rieucpidpbc& vk
接上节课内容JS逆向 -- 某视频vid值的加密分析一、val值的分析1、F12开发者工具抓包，刷新页面，全局搜索val：，挨个下断，最终确定e-t就是关键点2、通过上下文，猜测他们一个刷新页面的时间戳，一个是点击按钮时的时间戳，然后相减。通过刷新页面，停留不同的秒数，然后点击播放按钮，正好证实这一点，所以该val值可以给个随机数，给个固定值也可以。三、pid值的分析1、通过全局搜索pid:，发现
一、vid值分析1、F12开发者工具抓包，全局搜索vid，所有vid下断，最终确定这一个关键点2、刷新页面，在此处断了下来，t来自于该函数M()(window.location.href)window.location.href：获取url的地址3、跟进M函数查看，通过这段代码即可取出vid的值4、JS实现获取vidfunction aiyou(t, e) { var n={}
接上节课内容JS逆向 -- 分析某站buvid3和_uuid的加密过程JS逆向 -- 分析某站b_lsid值加密过程一、清除cookie信息，刷新网页，ctrl+f搜索sid，这样找到的数据是在url里或者响应信息里面，全局搜索找到的一般都是在js里面的数据，找到一个v2的数据包，里面有setcookie二、该数据包是get请求，分析里面的请求数据https://api.bilibili.com/
接上节课内容JS逆向 -- 分析某站buvid3和_uuid的加密过程一、清除缓存，重新加载页面，全局搜索b_lsid值，挨个进行分析，找到关键代码，并下断二、关键代码如下var e = this.splitDate() t = Object(l.b)(e.millisecond) t = "".concat(Object(l.c)(8), "_").concat(t);三、代码分析1、this.
一、通过抓包，发现buvid3值存在与该链接的响应cookie中二、Python代码实现import requests def 获取buvid3(): 视频地址='https://www.bilibili.com/video/BV1vo4y1A7ED/' 头信息={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64;
一、某翻译网站输入英语出来汉语二、打开F12通过抓包对比，获取需要分析的加密参数三、经过对比发现sign值被加密了，每次请求都不一样，mysticTime值应该是时间戳，不用考虑四、全局搜索sign值，经过挨个测试，定位到该JS文件，下断，点击翻译，成功断了下来五、经过分析，t是时间戳，e是固定的值'fsdsogkndfokasodnaso'，下面开始找h函数的由来，将鼠标放到h函数上，跳到该函数
一、输入账号密码，点击登录账号：15836353612 密码：123456二、F12打开开发者工具，抓包分析，j_password被加密了三、全局搜索j_password，发现就一个JS文件四、进入JS文件，局部搜索，定位到关键处五、下断后，document.forms[0].j_password.value可以看到是原密码，desEncrypt是加密函数。六、跟踪desEncrypt函数，xFo
一、输入账号密码账号：15836353612 密码：123456二、F12打开开发者工具，抓包分析，password被加密提交了三、全局搜索password，定位到关键JS文件，下断调试四、断下来后，查看formDate的值，正好是POST提交的数据，只是此时的password还没有加密五、encryptedString(key, formData[i].value)，这个是密码加密后的值，赋值给
一、打开网站，使用账号密码登录账号：aiyou@123.com 密码：123456二、通过F12抓包，抓到如下数据，发现密码加密了三、加密结果是32位，首先考虑是md5加密。四、全局搜索pwd，点击右上角，点击搜索五、挨个文件查看，然后局部搜索“pwd:”，快捷键ctrl+f六、找到给pwd赋值的语句，双击左边，下断，七、重新点击登录按钮，会自动断下来八、选中“m(n.pwd.substr(0,
一、新建一个分布式爬虫项目，并进入该项目创建爬虫文件scrapy startproject fenbushi cd fenbushi scrapy genspider-t crawl fenbushipc www.xxx.com二、修改配置文件settingsROBOTSTXT_OBEY = False LOG_LEVEL = 'ERROR' USER_AGENT = "Mozilla/5.0 (
一、进入百度AI首页，点击右上角的控制台二、点击左上角的三条杠，选择产品服务，选择自然语言处理三、点击应用列表，点击创建引用四、选中我们要进行的文章分类和文章标签，点击立即创建五、点击管理，保存好APPID，APIKey，SecretKey六、文章标签实现代码from aip import AipNlp APP_ID = '32XXXX' API_KEY = 'LGcWmXXXXXXXvZ' SE
一、新建一个Scrapy项目wangyi，进入该项目，创建wangyipc爬虫文件scrapy startproject wangyi cd wangyi scrapy genspider wangyipc www.xxx.com二、修改settings文件ROBOTSTXT_OBEY = False LOG_LEVEL = 'ERROR' USER_AGENT = "Mozilla/5.0 (W
一、创建Scrapy项目zhongjj，进入zhongjj项目，创建爬虫文件zhongjjpcscrapy startproject zhongjj cd zhongjj scrapy genspider zhongjjpc www.xxx.com二、修改配置文件ROBOTSTXT_OBEY = False LOG_LEVEL = 'ERROR'三、添加三个目标地址，其中最后一个地址是错误的url
一、重新定义一个页面模板，并指定页面从第二页开始多页url模板='https://sc.chinaz.com/tupian/kejitupian_%d.html' 页码=2二、重组多页模板，并让回调函数进行递归操作def parse(self, response): 图片列表= response.xpath('/html/body/div[3]/div[2]/div/div') f
一、新建一个tupian爬虫项目scrapy startproject tupian二、进入到tupian项目，新建一个image爬虫文件cd tupian scrapy genspider image www.xxx.com三、修改配置文件settingsROBOTSTXT_OBEY = False LOG_LEVEL = 'ERROR' USER_AGENT = "Mozilla/5.0 (W
一、新建一个项目scrapy startproject myslqst二、进入到项目目录并增加爬虫文件xiaohuacd .\myslqst\ scrapy genspider xiaohua www.xxx.com三、修改配置文件，并开启管道存储ROBOTSTXT_OBEY = False LOG_LEVEL = 'ERROR' USER_AGENT = "Mozilla/5.0 (Window
一、目标地址start_urls = ["http://wwwXXXXcn/list.htm"]二、要爬取的内容三、代码实现1、复制所有标题的xpath标题列表=response.xpath('/html/body/div[3]/div[1]/div[1]/ul/li')2、从获取的列表再获取标题和浏览量for i in 标题列表: //第一种方法 标题=i.xpath('./b/a/te
一、安装scrapy库文件pip install scrapy二、创建项目1、在Pycharm的终端里面运行scrapy startproject 项目名称2、进入到创建的目录，并执行下面代码cd kjpc scrapy genspider 爬虫名字 任意一个网址（后面可以修改）scrapy genspider pachong www.aiyou.com3、自动创建的文件及目录4、参数解释name
一、下载安装mongodb1、下载地址https://www.mongodb.com/try/download/community2、一路下一步安装，路径不要出现空格中文等特殊字符3、设置环境变量将bin目录地址放到path路径4、下载mangDB oshellhttps://www.mongodb.com/try/download/shell5、将下载的解压包里面的两个文件复制到MongoDB的
一、Mysql数据库开启外连接1.登进MySQL mysql -u root -p 2.输入以下语句，进入mysql库： use mysql 3.更新域属性，’%'表示允许外部访问： update user set host='%' where user ='root'; 4.执行以上语句之后再执行： FLUSH PRIVILEGES; 5.再执行授权语句: GRANT ALL PRIVILEGE
一、下载Mysql数据库的安装包1、下载地址https://www.mysql.com/downloads/2、选择MySQL Community (GPL) Downloads »3、继续选择MySQL Community Server4、选择mysql数据相应的版本和支持的平台二、配置Mysql数据库的环境变量1、将压缩包解压到任意磁盘目录，目录不能出现中文字符2、将bin目录添加到环境变量C
一、接上节课内容，实现登录操作1、目标网址https://kyfXXXXX.cn/otn/resources/login.html2、找到登录窗的账号密码的xpath，和登录按钮的xpath浏览器.get('https://kyfXXXXX.cn/otn/resources/login.html')浏览器.find_element("xpath",'//*[@id="J-userName"]').
一、无可视化浏览器操作1、导入需要的函数，固定写法，并设置相关浏览器参数from selenium.webdriver.chrome.options import Options浏览器设置=Options()浏览器设置.add_argument("--headless")浏览器设置.add_argument("--disable-gpu")2、请求的时候加上参数设置浏览器=webdriver.Ch
一、访问目标网站浏览器=webdriver.Chrome(r'./chromedriver')目标网址='https://www.XXXcom'浏览器.get(目标网址)二、点击登录按钮，弹出登录框登录框=浏览器.find_element("xpath",'//*[@id="header_login_user"]/a[1]')登录框.click()三、切换到用户登录窗口登录窗口=浏览器.find_
一、安装selenium库文件pip install selenium二、查看浏览器版本信息三、下载对应的驱动程序http://chromedriver.storage.googleapis.com/index.html四、代码实现1、打开浏览器浏览器 = webdriver.Chrome(r'./chromedriver')2、访问网站浏览器.get("https://www.baidu.com
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号
