做猿人学是一个巧合，在 18 年下班的路上跟朋友聊起，那会 Python 的学习热度很大，而我从 2008 年开始就已经在使用 Python 编程，对 Python 也非常熟悉，为什么不自己写一个博客玩玩呢。于是就注册了 yuanrenxue.com 有了这个博客。我的职业经历跟大多数的选择不太一样，或者换一种说法，没有什么职业规划，都是跟着感觉走。08 年在上海进入一家舆情公司做爬虫和数据挖掘；
原创
2020-12-31 20:47:55
302阅读
猿人学爬虫攻防赛在上周二结束了，第一次搞比赛挺紧张的，主要担心比赛的各个环节不要出错，担心有没有考虑到的地方，比赛网站有没有bug没有测试到。一直在紧张中开始了比赛，从比赛整过过程来看，感觉进行得还不错，没有发生大的环节逻辑问题，网站运行也算平稳。比赛网站是小伙伴花了一个多月时间开发完善的，题目也是我们自己总结了市面上主要的反爬方式，而自己魔改来的。比赛共11题，10道网页和 JS 方面的试题，因
原创
2020-12-31 20:45:31
266阅读
由于最近一直没有一个练手的平台，苦苦寻找好久，找到了猿人学平台，其实我很早就知道这个平台，他们搞爬虫大赛的时候我就看到了，只是没有仔细去研究，都只是大概的看了下，最近有空就特意的分析了下，还真的有点东西，至少我觉得比较有意思
分析
先看题：
然后查看翻页，这个接口不难找：
... ...
转载
2021-09-13 18:37:00
283阅读
2评论
题目二：提取全部5页发布日热度的值，计算所有值的加和,并提交答案。地址：http://match.yuanrenxue.com/match/2本题简单看了一下，是动态cookie的问题。不管什么难度，第一件事就是抓包，打开控制台从隐私页面进入（无缓存cookie的页面）通过数据包能看到第一次请求时，index页面请求了两次，对比一下，可以发现第二次的请求中多了cookie，m即是我们要获取的参数。然而控制台第一次请求后响应并没有set-cookie，那么说明其实是有响应内容的，我们以代
原创
2021-07-09 10:02:32
463阅读
猿人学爬虫题目第一题: 《抓取所有机票价格》，该案例非常适合js新手入门。题目链接：http://match.yuanrenxue.com/match/1F12打开控制台，可见debugger出现，右键选择Never pause here；接下来F5，就可以跳过debugger了，查看数据包。看一下请求参数：直接点击查看Initiator进行调试。随便选一个进来断点，选择下一页触发debug没找到就点右侧的call stack，按顺序点一下看点到request看到了有一端不
原创
2021-07-09 10:02:33
208阅读
由于最近一直没有一个练手的平台，苦苦寻找好久，找到了猿人学平台，其实我很早就知道这个平台，他们搞爬虫大赛的时候我就看到了，只是没有仔细去研究，都只是大概的看了下，最近有空就特意的分析了下，还真的有点东西，至少我觉得比较有意思
分析
先看题：
然后查看翻页，这个接口不难找：
... ...
转载
2021-09-13 18:37:00
273阅读
2评论
由于最近一直没有一个练手的平台，苦苦寻找好久，找到了猿人学平台，其实我很早就知道这个平台，他们搞爬虫大赛的时候我就看到了，只是没有仔细去研究，都只是大概的看了下，最近有空就特意的分析了下，还真的有点东西，至少我觉得比较有意思
分析
先看题：
然后查看翻页，这个接口不难找：
... ...
转载
2021-09-13 18:37:00
296阅读
2评论
目标网址 https://match.yuanrenxue.com/match/3 逆向题目 抓取下列5页商标的数据，并将出现频率最高的申请号填入答案中 开始分析 打开chrome浏览器 的开发工具，清理浏览器的cookie缓存 然后重新刷新网页 然后发现开始出现一个弹窗信息，显示数据加 ...
转载
2021-10-04 17:42:00
301阅读
点赞
3评论
猿人学爬虫题目第五题: 《Js乱码-混淆增强》，该案例也非常简单。任务5：抓取全部5页直播间热度，计算前5名直播间热度的加和。抓包分析下请求流程。接口： http://match.yuanrenxue.com/api/match/5?params：m=1611216186090， f=1611216185000headers：参数确定之后，开始调试一下。ctrl+f 一下 _zw，可以找到一个数组。 我直接查了一下第24个push也可以根据数组内容来快速查看，经确定 _zw[23
原创
2021-07-09 10:02:29
571阅读
目标网址 https://match.yuanrenxue.com/match/4 逆向题目 采集这5页的全部数字，计算加和并提交结果 开始分析 打开chrome浏览器 打开开发者工具后，清除缓存，然后刷新页面 在network面板中，可以看到 返回数据的api 并且在返回这个的api中 ...
转载
2021-10-07 02:51:00
5263阅读
2评论
其实大几个月前就向商标局提交注册申请了，只是最近商标才给批准颁发了注册证。大部分人都是花1000多元找中介帮忙注册以提高通过率，我是自己注册的，每个商标花了300元基本工本费，注册了五类商标。今天就写下我注册商标的小经验，以后大家注册商标时可以翻出来看下。其实商标方面也有适合做自由职业挣钱的小门道。注册猿人学商标的原因主要是自我保护，以免被恶意注册，被冒用，因为在商标上的投机就跟抢注域名投机是一样
原创
2020-12-31 21:07:41
239阅读
继续，不多说
分析
打开网站：
然后抓取接口：
查看请求参数，发现没有什么特别的，就是多了个cookie
这个cookie咋来的？搜yuanrenxue_cookie搜不到：
那还是上抓包工具吧，抓包发现了这段js:
这，不用多说... ...
转载
2021-09-15 22:15:00
427阅读
2评论
目标网址 https://match.yuanrenxue.com/match/4 逆向题目 采集这5页的全部数字，计算加和并提交结果 开始分析 打开chrome浏览器 打开开发者工具后，清除缓存，然后刷新页面 在network面板中，可以看到 返回数据的api 并且在返回这个的api中 ...
转载
2021-10-07 02:51:00
860阅读
2评论
终于决定搞第一届Web爬虫对抗比赛啦，这一个月小伙伴紧急开发爬虫对抗大赛用题，测试，赶在十月中旬上线啦。猿人学第一届 Web 爬虫对抗大赛的奖品是奖金和物品，由我个人和百观科技赞助所有费用。同时百观科技还从参赛人员中招聘爬虫开发人员，薪资 20-28K 。奖项设置总奖金三万，还有若干参与奖。 一等奖，奖金 8888元，1名 二等奖，奖金 1666元，3名 三等奖，奖金 666元，5名 四等奖，奖金
原创
2020-12-31 20:46:04
498阅读
猿人学爬虫比赛第九题：《动态cookie-困难版》地址： http://match.yuanrenxue.com/match/9确实有点东西，我打开控制台，用chrome调试页面时，刷新页面后一直在debug，浏览器都搞崩了。开无痕页面，重新打开控制台，然后在Sources 点击 Deactivate breakpoints ，点击后会变成 Activate breakpoints。接下来，再抓包看一下接口。初次请求 match/9会set一个sessionid。请求 api/match
原创
2021-07-09 10:02:21
713阅读
前言
继续，还是猿人学的，既然之前已经开了篇，那么这个系列就会一直更下去
分析
开始分析，打开页面：
还是这样的，要翻完5页，然后才能得到结果，老路子，打开浏览器的调试工具翻页看看，刚点击翻页，我去，这cookie有效期有点短啊
那重新抓包吧，
... ...
转载
2021-09-15 21:21:00
10000+阅读
2评论
发布文章内容，只为自己自学逆向分析做一个记录，方便以后加以巩固学习逆向分析。本人为逆向学习小白，所以发布的内容都是简单的逆向分析。大佬请高抬贵手！ 目标网址 https://match.yuanrenxue.com/match/2 逆向题目 提取全部5页发布日热度的值，计算所有值的加和,并提交答 ...
转载
2021-10-03 03:26:00
328阅读
2评论
猿人学爬虫第十五题《备周则意怠-常见则不疑》地址： http://match.yuanrenxue.com/match/15逻辑很简单，但是到 instance.exports.encode 的时候搞不动了，发现引入了wasmfetch('/static/match/match15/main.wasm').then(response => response.arrayBuffer() ).then(bytes => WebAssembly.instantiate(
原创
2021-07-09 10:02:17
280阅读
发布文章内容，只为自己自学逆向分析做一个记录，方便以后加以巩固学习逆向分析。本人为逆向学习小白，所以发布的内容都是简单的逆向分析。大佬请高抬贵手！ 猿人学的每一道题目不仅仅是单纯的一种破解一个参数的加密过程，还有一些反调试、混淆之类的综合性的题目，值得练手！ 逆向分析网址 https://mat ...
转载
2021-10-01 23:58:00
355阅读
2评论
