当初写代码 后面维护代码的喊爹骂娘， 因为他不仅要看懂之前的代码， 而且要新增功能， 新增功能有可能引起很大新的bug， 还不如重写， 但是重写工作量很大， 又不想重写， 简直是死循环。。 必须忍痛割肉， 长痛不如短痛
原创
2021-08-11 14:26:39
203阅读
作为深耕在爬虫行业的程序员来说，保证代码稳定运行不仅需要深厚的爬虫功底，爬虫防反爬也是至关重要，为了能够有效高速爬取数据，必须要有一个稳定的爬虫ip池支撑。那么如何维护好爬虫ip池呢？怎么样才能事半功倍？
原创
2022-12-16 10:33:46
157阅读
检查代码可读性和可维护性：如果代码的可读性强，那么维护起来也就方便很多；一个好的代码规范和编码风格会节省大家对代码的理解时间，减少维护成本；虽然我们有编程规范检查工具，但有些内容检查不出来，是需要靠大家去规范的。关注代码注释：我们在编写函数和进行逻辑判断的时候最好要标注一下这个函数或者这段判断是用来做什么的；做了这种注释的好处，一来当别人阅读这段代码的时候看到你的注释以后就会根据你的思路快速理解代
原创
2023-07-26 11:45:00
134阅读
from selenium import webdriverimport requestsfrom selenium.webdriver.chrome
原创
2023-02-07 05:22:01
129阅读
很多项目的代码难以维护。 并不是开发不会写。 是因为一开始就没有代码维护的需求。 不知道哪个函数需要复用。 勉强依靠自己的开发经验和业务理解来判断复用。 这又会产生过度优化的问题。 所以我们需要， 快速迭代，迭代的过程中捕捉需要复用的点。 code revirew，借用别人的开发经验和业务理解提取复
转载
2017-07-05 14:59:00
60阅读
2评论
听过这样一个说法：一个优秀的程序员能够维护的代码数量大约2万行。当时觉得2万行距离过于遥远，也很少能够长期维护一个超过2万行代码的项目，因而对这句话体会不深刻。经过了对FunTester框架多年维护以及工作中类似的体验，对于可维护性代码有了更深的体会。
可维护代码的数量指标跟代码可维护性密切相关，项目代码可维护性不仅仅对自己，更多的还是对其他陌生人（其中包括对自己代码已经陌生的自己）。当我们编写软
原创
2023-07-05 21:37:08
92阅读
听过这样一个说法：一个优秀的程序员能够维护的代码数量大约2万行。当时觉得2万行距离过于遥远，也很少能够长期维护一个超过2万行代码的项目，因而对这句话体会不深刻。经过了对FunTester框架多年维护以及工作中类似的体验，对于可维护性代码有了更深的体会。
可维护代码的数量指标跟代码可维护性密切相关，项目代码可维护性不仅仅对自己，更多的还是对其他陌生人（其中包括对自己代码已经陌生的自己）。当我们编写软
问题 C: 维护集合
原创
2022-11-22 18:06:43
88阅读
之前一直有个同事想让我教教他怎么把csdn上的数据爬下来的，我在这里就简单的说一下～～话说做爬虫我也不是专业的～～业余的～～有什么问题帮我指正就好～～233333为什么是伪代码呢？就是给大家把原理讲讲～～真实代码我就不在这里写了～～大家自己琢磨去吧～～需要如下几个工具 1、缓存：我采用的是redis～～经常做后台习惯用了～～23333 2、dom解析工具 3、网络链接工具话说后面两个我直接就
原创
2021-07-14 17:27:48
781阅读
pyhton基础爬虫代码片段基础BeautifulSoup爬取网页代码片段包含库文件读取整个网页代码读取网页第一个某标签读取网页所有某标签读取网页所有某标签中的某元素按照css的class类找到网页内容嵌套查找正则匹配导入正则模块正则匹配Requests 爬取网页代码片段导入库文件get模式 获取整个网页post模式 获取整个网页cookiesession下载文件urlretrieve下载req
转载
2023-11-06 16:32:37
91阅读
爬虫简单流程 1,分析网页找出目标url 2,python用urllib2下载url内容 3,BeautifulSoup bs4解析网页 4,从解析出来的数据中选择爬取目标 5将目标写入本地。 注意事项 1, 添加header 主要为cookie和网站代理 放置封ip 2,python编码问题 下载解析过程中不改变编码方式 等最后写入本地时更改编码方式。一爬某个学校网站所有最近通知**# -- e
转载
2023-12-25 13:38:29
48阅读
Python编写简单的网络爬虫根据网络上给出的例子，简单总结一下用Python编写网络爬虫程序的基本思路，以百度为例，主要有以下策略：Python提供了许多Module，通过这些Module，可以很简单的做一些工作。比如，要获得NBA这个词在百度搜索结果页中各个搜索结果对应的URL，这就是一个很简单的爬虫需求。1、通过urllib2这个Module获得对应的HTML源码。# -*- encodin
转载
2023-08-16 15:53:39
136阅读
跟我学习Python爬虫系列开始啦。带你简单快速高效学习Python爬虫。一、快速体验一个简单爬虫以抓取简书首页文章标题和链接为例简书首页就是以上红色框内文章的标签，和这个标题对应的url链接。当然首页还包括其他数据，如文章作者，文章评论数，点赞数。这些在一起，称为结构化数据。我们先从简单的做起，先体验一下Python之简单，之快捷。1）环境准备当然前提是你在机器上装好了Python环境，初步掌握
转载
2023-09-21 20:29:19
62阅读
节约时间，不废话介绍了，直接上例子！！！输入以下代码（共6行） 爬虫结束~~~有木有满满成就感！！！以上代码爬取的是这个页面，红色框框里面的数据，也就是豆瓣电影本周口碑榜。 下面开始简单介绍如何写爬虫。爬虫前，我们首先简单明确两点：1. 爬虫的网址；2. 需要爬取的内容。第一步，爬虫的网址，这个…那就豆瓣吧，我也不知道为啥爬虫教程都要拿豆瓣开刀–！第二部，需要
转载
2023-06-07 16:16:08
313阅读
先直接附上一段爬虫代码，最最简单的爬虫网页：import requests
r = requests.get("https://www.baidu.com")
r.status_code
r.encoding = r.apparent_encoding
r.text在python窗口中输入以上代码便可爬取百度首页的全部代码：，是不是很有意思呢。下面我们开始学习python爬虫的第一个库Reques
转载
2024-03-12 23:33:43
757阅读
from urllib.request import urlopen,Request
from bs4 import BeautifulSoup
import re
url="https://movie.douban.com/top250?start=50%filter="
hd = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)
转载
2023-05-22 16:06:02
355阅读
第三部分 爬虫的基本原理如果说互联网是一张大网，那么爬虫（即网络爬虫）就是在网上爬行的蜘蛛。网的节点就是一个个网页，爬虫到达节点相当于访问网页并获取信息。节点间的连线就是网页和网页之间的链接，顺着线就能到达下一个网页。 一、爬虫概述简单的说，爬虫就是获取网页并提取和保存信息的自动化程序。1、获取网页爬虫获取的网页，是指获取网页的源代码。源代码里包含了部分有用信息，所以只要把
转载
2023-09-06 21:17:19
44阅读
跟我学习Python爬虫系列开始啦。带你简单快速高效学习Python爬虫。一、快速体验一个简单爬虫以抓取简书首页文章标题和链接为例就是以上红色框内文章的标签，和这个标题对应的url链接。当然首页还包括其他数据，如文章作者，文章评论数，点赞数。这些在一起，称为结构化数据。我们先从简单的做起，先体验一下Python之简单，之快捷。1）环境准备当然前提是你在机器上装好了Python环境，初步掌握和了解P
转载
2023-10-03 20:59:32
95阅读
import requests
from lxml import html
url='https://movie.douban.com/' #需要爬数据的网址
page=requests.Session().get(url)
tree=html.fromstring(page.text)
result=tree.xpath('//td[@class="title"]//a/text()') #
转载
2022-04-19 14:41:00
150阅读
1、爬取一个简单的网页在我们发送请求的时候，返回的数据多种多样，有HTML代码、json数据、xml数据，还有二进制流。我们先以百度首页为例，进行爬取：import requests # 以get方法发送请求，返回数据 response = requests. get () # 以二进制写入的方式打开一个文件 f = open( 'index.html' , 'wb' ) # 将响应
转载
2023-08-10 17:36:56
112阅读
