比如简书:Paste_Image.png我们来写个程序，爬取简书网站随便一个作者的所有文章，再对其所有文章进行分词统计程序运行统计的结果见文章:我统计了彭小六简书360篇文章中使用的词语需要的Python包包名作用selenium用于和phantomjs合作模拟浏览器访问网页lxml用于对html页面的解析，提取数据jieba用于对文章正文分词tld解析url， 比如提取domain还需要下载 p
Table of Contents 问题描述解决思路方案一方案二问题描述在爬取数据详情页面时候，需要将评论数(评论条数)爬取到，但是评论数和详情页面的数据不是同步请求的，在后于详情页面载入数据，如果使用urllib.request.openurl直接抓取页面，得到的结果就是在抓取的页面时，评论数还没有填充到页面上，导致无法获取评论数据。解决思路方案一既然是评论数在后于详情页面上的数据加载
很多网页的信息都是通过异步加载的，本文就举例讨论下此类网页的抓取。《工作细胞》最近比较火，bilibili 上目前的短评已经有17000多条。先看分析下页面 右边 li 标签中的就是短评信息，一共20条。一般我们加载大量数据的时候，都会做分页，但是这个页面没有，只有一个滚动条。随着滚动条往下拉，信息自动加载了，如下图，变40条了。由此可见，短评是通过异步加载的。我们不
