1.requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多因为是第三方库，所以使用前需要pip安装pip×××tallrequests安装完成后import一下，正常则说明可以开始使用了。基本用法：requests.get()用于请求目标网站，类型是一个HTTPresponse类型
原创
2019-06-15 09:32:35
422阅读
取消合法性检验以改进爬取方案我这里要讲的是在确认程序语法无误后，以故意制造 AtttributeError 来完善爬取策略，算不上什么方案，一点写法上的小技巧吧。这个报错具体解释起来就是 'NoneType' object has no attribute ，类似于 java 里面的空指针异常。首先，解决这个异常的方式很简单，比如让 soup 在查找上一级标签的时候做一次是否为空的判断，如果不为空
为啥要做Python爬虫，是因为我去找电影的某个网站有点坑，它支持tag标签查询自己喜欢的电影，但是不支持双标签或者三标签查询。由于一个电影对应多种类型(tag)，这就意味着，我需要进入这个电影介绍界面，看看他的tag是不是我需要的。太麻烦了。于是我想着做一个python爬虫。首先需求分析。流程如下：在网站的主界面获得每部电影的URL——》进入每部电影的介绍界面——》判断它的tag是否符合要求，如
Java爬虫简单实现最近在学习搜索方面的东西，需要了解网络爬虫方面的知识，虽然有很多开源的强大的爬虫，但本着学习的态度，自己写了一个简单的网络爬虫，以便了解其中原理。首先介绍每个类的功能：DownloadPage.java的功能是下载此超链接的页面源代码.FunctionUtils.java 的功能是提供不同的静态方法，包括：页面链接正则表达式匹配,获取URL链接的元素,判断是否创建文件,获取
转载
2022-04-02 17:48:53
367阅读
在准备学习人工智能之前呢，我看了一下大体的学习纲领。发现排在前面的是PYTHON的基础知识和爬虫相关的知识，再者就是相关的数学算法与金融分析。不过想来也是，如果想进行大量的数据运算与分析，宏大的基础数据是必不可少的。有了海量的基础数据，才可以支撑我们进行分析与抽取样本，进行深度的学习。 看到这个爬虫的介绍，突然想起来2012年左右在微软亚洲院做外派时做的一个项目。当时在亚洲研究院有一个试验性
转载
2023-08-27 22:21:08
245阅读
这几天在学习爬虫的编写，利用python开发，记录下自己的感受。1，python语言很棒，首选！python是个好东西，是一个开源工具，使用灵活方便，类似于matlab的语言风格，无需变量预定义和预声明，拿来就用！自带常用的函数，也是直接调用。熟悉matlab的m语言开发的，学习使用python几乎没有障碍。但是在用数据类型时，特别注意列表和字符串，列表带[ ], 字符串为’ ‘,或" "，在使用
转载
2023-09-17 12:57:19
107阅读
Python爬虫实战经验
转载
2021-07-13 16:23:34
335阅读
大概在1个月前，利用webmagic做了一个爬虫项目，下面是该项目的一些个人心得，贴在这里备份：
一、为什么选择webmagic?
说实话，开源的爬虫框架已经很多了，有各种语言（比如：python、java）实现的，有单机的，还有大型分布式的，多达上百种，详情可见：
javascript:void(0)
github上随手搜索一下spider之类的关键字，也不计其数，如何选择呢？
我
转载
2015-12-05 16:20:00
99阅读
2评论
我想很多人入门python是图片爬虫，就是HTTP请求，保存一下图片，用python实现非常快。网上很多爬虫的教程就讲到这里，实际上很单一，看了跟没看没什么区别，都是找一下网页的规律，然后BeautifulSoup解析一下网页，再使用request做HTTP请求，可能有些还用了多线程多进程，可是都没有考虑到反爬问题。很多有价值的数据都会有反爬，那么很多Python爬虫资料都没什么用。这里分享一下我
转载
2021-04-06 10:10:07
432阅读
清溪水。大家好，我是Python进阶者。前言...
原创
2023-04-27 09:58:48
82阅读
大家好，我是Python进阶者。 前言 前几天铂金群有个叫【艾米】的粉丝在问了一道关于Python网络爬虫的问题，如下图所示。 不得不说这个粉丝的提问很详细，也十分的用心，给他点赞，如果大家日后提问都可以这样的话，想必可以节约很多沟通时间成本。 其实他抓取的网站是爱企查，类似企查查那种。 一、思路
原创
2021-11-26 10:50:56
125阅读
基于爬虫的测试自动化经验分享
原创
2022-03-17 18:57:42
175阅读
面试过程比较简短（30min） 主要是询问基础技能 爬取数据的方法，封禁ip，账号的处理等 接下来是询问项目经历，也会在其中穿插一些基础的知识 最后一部分就是做一道算法题，不过我也不清楚这个职位为什么要算法题。 算法题算是中等水平的 一个链表的部分反转 示例 1： 输入：head = [1,2,3, ...
转载
2021-08-31 15:11:00
710阅读
大家好，我是Python进阶者。前言 前几天铂金群有个叫【艾米】的粉丝在问了一道关于Python网络爬虫的问题，如下图所示。 不得不说这个粉丝的提问很详细，也十分的用心，给他点赞，如果大家日后提问都可以这样的话，想必可以节约很多沟通时间成本。 其实他抓取的网站是
原创
精选
2021-11-24 08:58:50
944阅读
点赞
大家好，我是Python进阶者。前言 前几天铂金群有个叫【艾米】的粉丝在问了一道关于Python网络爬虫的问题，如下图所示。 不得不说这个粉丝的提问很详细，也十分的用心，给他点赞，如果大家日后提问都可以这样的话，想必可以节约很多沟通时间成本。 其实他抓取的网站是
原创
2021-11-25 09:56:25
243阅读
在进行大规模网络爬虫任务时，代理管理是一个重要且具有挑战性的问题。今天我将和大家分享我的实战经验，介绍如何有效地管理和使用代理，以提高爬虫的效率和稳定性。本文将为您详细介绍Python网络爬虫代理管理的解决方案，并提供实际操作价值的代码示例，让您轻松应对大规模爬虫任务。第一步：代理的选择和获取在开始之前，我们需要选择合适的代理，并获取代理服务器和端口信息。有多种方式可以获取代理，比如购买付费代理、
原创
2023-08-24 10:10:36
65阅读
爬虫经验之谈对爬虫的认识网站分析技术选型JS逆向反爬机制结语 近段时间，因为工作需要做一些爬虫的开发，分享一下走过的坑和实战的经验吧！ 对爬虫的认识F12查看的网络请求，找到相应的接口查看一下json数据来源和构造。我爬取的网站很多信息是需要vip登录才可以获取的。我最开始试图破解vip这一步，结果是我天真了。后来查了一些资料才发现，爬虫干不了这个，得是黑客渗透才行！！看来之前的我还是对爬虫理
正文共：5021 字 5 图
预计阅读时间： 13 分钟
作者: 王平
公众号:猿人学Python
· 正 · 文 · 来 · 啦 ·
前一两年抓过某工商信息网站，几三周时间大约抓了过千万多万张页面。那时由于公司没啥经费，报销又拖得很久，不想花钱在很多机器和带宽上，所以当时花了较多精力研究如何让一台爬虫机器达到抓取极限。
本篇偏爬虫技术细节，先周知。
爬虫这两年貌似成为了
转载
2021-07-13 16:12:15
157阅读
作为开发人员，你一定明白大数据时代，数据变得有多么重要。对于很多企业来说，数据是其生存的根基，所以对数据的保护越来越得到重视。如何保护自家数据？如何爬取别人家的数据？成为各家数据工程师...
转载
2021-07-09 10:59:42
156阅读
Java经验总结1.BigDecimal我们都知道浮点型变量在进行计算的时候会出现丢失精度的问题。如下一段代码：System.out.println(0.05 + 0.01);System.out.println(1.0 - 0.42);System.out.println(4.015 * 100);System.out.println(123.3 / 100); 输出：0.060000
转载
2023-09-02 13:23:58
46阅读
