大家学习可以,请慎用爬虫。爬的太猛容易瘫痪人家的服务器,记得time.sleep数值大一些,慢一些。珍爱待爬网站,切记切记!!

很久没写爬虫了,今天写个学术性网站的爬虫教程。通过抓取这个网站用户的 学校、学院和文献笔记等信息,我们能对学术圈做一些简单的分析,比如 找到哪些同仁比较勤奋,笔耕不辍(阅读文献并做阅读文档)。