首次接触到python爬虫,自学了很久。
根据书中的爬虫案例做了一个关于最近豆瓣电影评分的钱250名的案例,虽然花费的时间很多,但是最终还是做出来了。
爬虫,三个步骤,一是获取网页链接,二是爬取数据,三是存取数据。
在构造请求表头的时候,看着有点头大,上网查找才知道其中的含义,首先选取数据,f12,然后name,还要找到head,做到第一步就头大了。
爬取数据,其实这个是最难的,要观察网页的特点,将其进行分解,然后提取,大量的操作也是通过查找才得到。
最后进行数据的导出,做成csv文件的形式,通过大量查找资料之后,其实相对来说就简单一些。