爬虫Scrapy框架运用----房天下二手房数据采集

      在许多电商和互联网金融的公司为了更好地服务用户，他们需要爬虫工程师对用户的行为数据进行搜集、分析和整合，为人们的行为选择提供更多的参考依据，去服务于人们的行为方式，甚至影响人们的生活方式。我们的scrapy框架就是爬虫行业使用的主流框架，房天下二手房的数据采集就是基于这个框架去进行开发的。

　　数据采集来源：‘房天下----全国二手房’
　　目标数据：省份名、城市名、区域名、房源介绍、房源小区、户型、朝向、楼层、建筑面积、建造时间、单价、楼盘链接

　　数据库设计：province、city、area、house四张表

　　爬虫spider部分demo:

获取省份、城市信息和链接

 1 #获取省份名字，城市的链接url
 2     def mycity(self,response):
 3          #获得关键节点
 4         links = response.css('#c02 > ul > li')
 5         for link in links:
 6             try:
 7                 province_name=link.xpath('./strong/text()').extract_first()
 8                 urllinks=link.xpath('./a')
 9                 for urllink in urllinks:
10                     city_url=urllink.xpath('./@href').extract_first()
11                     if city_url[-1]=='/':
12                         city_url=city_url[:-1]
13                     yield scrapy.Request(url=city_url,meta={'province_name':province_name,'city_url':city_url},callback=self.area)
14             except Exception:
15                 pass

获取区域的链接url和信息　

 View Code

获取楼盘房源的信息

 View Code

此时就可以运行scrapy crawl+爬虫名，我们就可以爬取到网站的信息，但是我们如何使用这些数据呢，那就要通过pipelines将数据插入到数据库中。

爬虫pipelines部分demo:

 View Code

采集数据效果：