公众号：AI悦创
公众号最先发送！
本文给大家准备了房地产大数据，基于爬虫采集来自互联网的公开信息，数据可以分为 4块：
- 小区信息
- 二手房在售信息
- 二手房成交信息
- 租房信息
为了降低数据的清洗难度，提高实战的可重现性，爬虫在设计阶段注重考虑了数据采集的规整度，因此采集到的数据相对比较干净，但是距离直接用来可视化还是有相当距离的，本文，就来帮大家把这个坑填好~
房地产数据准备
房价，一个离我们很近又很远的词汇。很近是因为各路专家看空看多，各类政策隔三差五，一副好不热闹的样子；很远则是因为咱也不知道哪路专家说的对，也不清楚政策说的啥，就看看热闹。所以我们选择房价这个关键词，跟大家聊聊分析类的图表都是怎么绘制的。
本次提供的数据可以访问次链接：https://aiyc.lanzous.com/b00nvldhg 访问密码，请关注公众号：AI悦创。后台回复：fdc_data
还可以加入本公众号交流群一起交流学习，我在这里等你！
1、二手房历史成交数据
Chengjiao_NJ.csv 南京楼市近5年的二手房成交信息，主要信息字段如下：
字段 | 样例数据 |
标题 | 建康新村 2室1厅 49.07平米 |
朝向 | 南 北 |
装修 | 简装 |
基本信息 | 中楼层(共7层) 1995年建板楼 |
标签 | 近地铁 |
挂牌价 | 挂牌173万 |
成交周期 | 成交周期72天 |
成交日期 | 2019.12.08 |
成交价 | 163万 |
成交单价 | 33218元/平 |
2、二手房在售数据
Ershoufang_NJ.csv 南京楼市12月份二手房挂牌信息，主要信息字段如下：
字段 | 样例数据 |
数据采集日期 | 20191226 |
来源 | 南京房产网 |
城市定位 | 南京二手房 |
区县定位 | 浦口二手房 |
街道定位 | 江浦街道二手房 |
小区定位 | 东方熙龙山院二手房 |
当前房源 | 当前房源 |
房源标题 | 老山别墅双阳台可塑性高依山傍水 |
挂牌价 | 795万 |
挂牌单价 | 18575元/平米 |
小区 | 东方熙龙山院 |
房屋户型 | 7室1厅1厨3卫 |
所在楼层 | 低楼层(共7层) |
建筑面积 | 428㎡ |
户型结构 | 平层 |
套内面积 | 390.61㎡ |
建筑类型 | 板楼 |
房屋朝向 | 南 |
建筑结构 | 钢混结构 |
装修情况 | 毛坯 |
梯户比例 | 一梯两户 |
配备电梯 | 有 |
产权年限 | 70年 |
挂牌时间 | 2019/6/21 |
交易权属 | 商品房 |
上次交易 | 2018/1/11 |
房屋用途 | 普通住宅 |
房屋年限 | 满两年 |
产权所属 | 非共有 |
抵押信息 | 有抵押300万元 |
房本备件 | 未上传房本照片 |
房源标签 | 地铁、 |
经度 | 118.6338 |
纬度 | 32.08735 |
3、小区基本信息
Xiaoqu_NJ.csv 南京市截止12月份的主要小区，主要信息字段如下：
字段 | 样例数据 |
数据采集日期 | 20191226 |
来源 | 南京房产网 |
城市定位 | 南京小区 |
区县定位 | 鼓楼小区 |
街道定位 | 福建路小区 |
小区定位 | 萨家湾 |
地址 | (鼓楼福建路)铁路北街69号 |
标题 | 萨家湾 |
热度 | 2位用户已关注 |
参考均价 | 28628元/㎡11月参考均价 |
建筑年代 | 1990年建成 |
建筑类型 | 板楼 |
物业费 | 0.3元/平米/月 |
物业 | 街道办事处（委员会）代管物业 |
开发商 | 南京鼓楼城镇建设综合开发（集团）公司 |
楼栋总数 | 23栋 |
房屋总数 | 801户 |
附近房产中介 | 三牌楼二店B店/鼓楼区三牌楼大街交通一村2号 |
经度 | 118.7681 |
纬度 | 32.0886 |
4、12月份南京可租房源，主要信息字段如下：
字段 | 样例数据 |
标题 | 整租奥克斯钟山府 3室1厅 南/北 |
区县 | 玄武 |
街道 | 仙鹤门 |
小区 | 奥克斯钟山府 |
出租面积 | 89㎡ |
朝向 | 南北 |
户型 | 3室1厅1卫 |
楼层 | 低楼层（11层） |
房源上架日期 | 5天前维护 |
房源标签 | 近地铁 |
租金 | 1500 元/月 |
小区数据清洗
从上面的罗列看，房地产大数据的数据结构相似度是很高的，因此这里以小区的数据为例，进行一次数据清洗的详细说明。
小区的各项指标可以分为两类。
一类是文字标签项，比如城市、区县、街道、小区名、开发商、物业、建筑类型等，这些指标很难量化，我们的目标是进行清洗提纯，去除文字中的杂质，方便后续统计。
第二类是数值型字段，比如价格、楼栋数、房屋数、经度、维度等，我们对数据进行分析，剔除异常值，并统一计量单位，以及根据分析项做一些数据维度的转换。比如建筑年代，可以转化成建成年份。
1. 删除关键信息为空的行
2. 丢弃无关信息列
3. 提取关键标签
观察"城市定位", “区县定位”, “街道定位”, "小区定位"四个字段，数据结构基本规整，为了整体效果，我们只需要删除"小区"关键词即可：
空值是处理字符串数据过程中常常会碰到的问题，这里为了能够顺利实现对空值的字符串替换，需要先把数据做一次字符串转化
删除目标列里的"小区"关键词
4. 提取信息中的关键数字
观察热度、参考均价、建筑年代等字段，是数字和文字的混合体。为了便于统计分析，需要把数字提取出来。一般来说，这类数据处理有2种方法，一种是利用数据的重复性，删除重复字符即可。另一种具有普适性的方法则是构建正则表达式，提取其中的整数或者浮点数。
Step 5: 剔除异常值
异常值是非常常见的一种数据情况，尤其是在爬虫采集的数据中，这种情况非常常见。比如我们这里的物业费：
显然这是超出常理的。但是在做数据可视化的过程中，也会伴随着对异常值的处理。因此这里我们暂时跳过这一步，在后续的可视化的过程中，我们再慢慢聊这个话题。
小区数据预览
经过简单的几个步骤，小区数据基本完成了标签化和数字化。
我们查阅一下南京各区的小区数量：
输出：
可以发现鼓楼区、江宁区、秦淮区是最大的人口聚集地（小区数量最多）。熟悉南京城市的朋友应该知道，鼓楼区是南京传统的老城区；而秦淮区也属于老城区之一，著名景点有夫子庙；江宁区面积广阔，是南京的各类工业聚集地，这几年随着江宁区的城市开发逐渐完善，人气也越来越旺。
清洗后的数据要及时保存起来，供后续使用，因此这里我们推荐将之保存为 csv 格式：
# 保留列名，取消行索引
xiaoqu_raw.to_csv("Xiaoqu_NJ_format.csv", index=False)
数据清洗总的来说要服务于具体业务，因此在开始这项工作之前，要先完成顶层设计工作，比如哪些字段是要丢弃的，哪些是要保存的，哪些字段是要拆分提取的，那些是通知指标需要保存的，此类场景不一而足，还需要大家在工作中注意观察和积累。
本篇代码，公众号后台回复：fdc_code01 敬请期待下一篇文章的更新！
