1. 多准备一些headerdef getUserAgent():
UA_list = [
"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36",
"Mozilla/5.0 (i
转载
2024-05-23 12:22:54
220阅读
环境：Windows10+Anaconda python3.6.5+Spyder 目标：抓取链家北京地区所有房源信息。打开链家官网 。粗略的浏览了一下，整个网站使用的都是静态网页，通过改变url来实现网页变动。不过网站默认只显示100页的内容，每页30条，不管那里写着多少多少条数据。如果需要抓取所有数据，必须通过某些条件筛选。有地区、价格、朝向、楼层等，这里面我选择了地区，因为这是区分度比较明确的
本篇主要针对scrapy的基本运作进行一个展示说明，这里不再介绍scrapy的安装部署，如果有需要的朋友可以自行百度。首先，我们要先创建一个爬虫项目： 1.创建scrapy爬虫步骤
我这里用了python3.5的解释器，所以我指定了解释器哦
python35 -m scrapy startproject project_name
这里执行
转载
2024-06-15 19:08:41
67阅读
概述 最近在学习python的各种数据分析库，为了尝试各种库中各种分析算法的效果，陆陆续续爬取了一些真实的数据来。 顺便也练习练习爬虫，踩了不少坑，后续将采集的经验逐步分享出来，希望能给后来者一些参考，也希望能够得到先驱者的指点！ 采集工具 其实基本没用过什么现成的采集工具，都是自己通过编写代码来采 ...
转载
2021-06-30 18:45:00
437阅读
2评论
去了一趟链家网面试，虽然没有面上，但仍有不少收获，在此做个简单的分享，当然了主要是分享给自己，让大家见笑了。因为这次是第一次面试 JAVA网站架构师相关的职位，还是有些心虚的，毕竟之前大部分时间都是在做.NET相关的技术工作，并且自己所负责过的项目规模都是比较小，并且差异也 较大。在高并发性，高伸缩性的互联网网站的架构方面没有太多的经验，只是在之前空闲时阅读李智慧老师的《大型网站技术架构》一书给了
转载
2024-01-08 16:29:54
56阅读
房产中介来由已久，“牙人”便是唐代时对中介人的称呼。无论买房、卖房还是租房，绝大多数房产相关的商业行为都离不开中介。从实体店到线上，从网站到移动App，从内部系统到2C业务，与蓬勃发展的中国房地产行业一道，链家网也不断与时俱进，更新系统架构，满足不断变化的市场和业务需求。十年链家网，S3终回归“现在，链家网存储服务承载的总文件数量已达8270万+，房屋实堪图占66%，其他图片占15%，音视频占13
转载
2023-07-07 21:53:10
271阅读
import pandas as pd
lj_data = pd.read_csv('LJdata.csv')
#原始列名
lj_data.columns
#Index(['区域', '地址', '标题', '户型', '面积', '价格', '楼层', '建造时间', '朝向', '更新时间', '看房人数','备注', '链接地址'],dtype='object')
lj_data.colum
转载
2023-10-24 09:08:19
101阅读
任务目标：以分布式的方式爬取链家网上二手房信息，包括标题、城市、行政区、总价、户型、面积、朝向等信息分布式爬虫，即在多台电脑上同时执行同一个爬虫任务，在分布式爬取之前，需要先完成单机爬虫，然后部署到多台机器上，完成分布式。链家网单机爬虫：从城市页面开始爬取，到每个城市的不同行政区，以及每个行政区的多个页面，每个页面的多个二手房信息，到最后的二手房详情页面。
经过相应的网页结构分析，得到项目(项目名
转载
2024-03-14 17:11:03
678阅读
import base64 import hashlib import requests import json from logzero import logger http_app_secret = 'XXXXXXXXXXXX' http_app_id = 'XXXXXXXX' def str_ ...
转载
2021-09-29 17:17:00
498阅读
2评论
在之前，我们讲述了代理模式，今天我们将讲解一下中介者模式。 依旧是一个提醒：依赖倒转原则中介者模式其实和代理模式很像，都是通过一个额外的类进行调用。中介者模式其实和字面的意思听起来很是相似，例如你买房子找中介，你和卖房子的人之间的交互都是通过中介来实现的，中介者模式也是这样。即当一个非中介者想要和另一个进行交互的时候，它需要通过调用中介者进行。 所以在类里面，两个非中介者需要知道中介者这个类，中介
转载
2023-10-10 10:54:50
160阅读
在近日举办的2018年链家年度思享会上，链家研究院发布的2017房地产市场年报认为，2017年成为房地产市场“超级繁荣期”的尾巴，“品质时代”将是2018年关键词，回归价值将是2018年房地产市场的核心标志。“房地产企业应当从开发型向服务型转变，我们的存量房不少，并且还在开发，随着经济增长从高速发展阶段转向高质量发展阶段，我们的房地产也应该从数量的增长转向质量的发展，这是未来房地产发展
转载
2023-12-08 22:32:50
9阅读
数据分析工程师_第04讲链家网房价数据分析与数据科学比赛数据处理分析链家数据分析0.载入数据查看数据的形状和信息找到最近更新信息的20套房子平均看房人数房龄最小的20套房子的平均看房人数、平均面积...房子价格的分布(平均，方差，中位数)最受欢迎的朝向(平均看房人数)房型数量分布最受欢迎的房型房子的平均租房价格(按平米算)最受关注的小区出租房源最多的小区出租房源最多的地区(大家从详情页可以对标到
转载
2024-03-14 17:26:27
49阅读
在上一小节中，我们已经提取到了房源的具体信息，这一节中，我们主要是对提取到的数据进行后续的处理，以及进行相关的设置。数据处理我们这里以把数据存储到mongo数据库为例。编写pipelines.py文件import pymongoclass MongoPipeline(object): collection = 'lianjia_house' #数据库collection名称 def
转载
2021-12-16 13:49:28
74阅读
今天，我们就以来看，，我们直接在浏览器中输入以下的网...
转载
2022-03-29 18:05:15
406阅读
一、选题的背景 本次项目选择了中国的一线城市——上海市，通过了解上海市二手房的情况，可以帮助人们在购房、出租等方面做出更明智的决策。可以帮助人们了解上海市经济的发展趋势。随着互联网的发展，越来越多的房地产信息通过网络发布，使用爬虫技术可以方便地收集和分析这些信息。而本次项目选择的数据来源是链家。链家是一家著名的房地产经纪公司，在上海市有着广泛的房地产业务。通过爬取上海市链家发布的二手房信息，可以
转载
2024-01-15 10:30:58
57阅读
今天，我们就以链家网南京地区为例，来学习爬取链家网的成交房源数据。这里推荐使用火狐浏览器，并且安装firebug和firepath两款插件，你会发现，这两款插件会给我们后续的数据提取带来很大的方便。首先创建一个名称为lianjia的项目。需求分析爬取数据的第一步当然是确定我们的需求，大方向就是我们想拿到南京地区的房源成交信息，但是具体的细节信息，我们需要从网页来看，，我们直接在浏览器中输入以下的网
转载
2021-12-16 13:46:08
172阅读
在上一小节中，我们已经提取到了房源的具体信息，这一ongoclass MongoPipeline(object): collection = 'lianjia_house' #数据库collection名称 ...
转载
2022-03-29 18:05:56
302阅读
一 链路状态数据库简述每一台OSPF路由器都会把所有有效的LSA放入自己的链路状态数据库中，这些LSA代表着这个路由器对这个区域的认识，区域内的每一个OSPF路由器都要利用到这些LSA去计算路由，因此，保证同区域内的链路状态数据库的统一性和正确性就显得尤为重要。<?xml:namespace prefix = o />我们知道，每一条LSA都有着其最大老化时间（时间是一小时），一旦该条
转载
2024-03-07 22:58:55
84阅读
打通O2O，提升服务门槛 链家的互联网战略在全国化启动后变得越来越清晰，以强大的线下资源、线上平台以及移动端构筑一个O2O的闭环。据介绍，链家在移动端的布局也已经完成，在北京，每个月有10万用户在使用链家的官方APP：掌上链家。 彭永东对链家的互联网化是这样解读的：＂基于强大的线下能力，我们的线上部分可以建立起更高的竞争门槛，链家对信息质量近乎变态的要求，使得我们在一段时间内看
转载
2024-01-16 07:18:05
34阅读
深圳租房分析（2/2）数据分析1、数据处理分析准备1.1、导入数据1.2、处理重复值1.3、数据类型转换2、房源数量，位置分布分析2.1、各城区房源数量对比(横柱状图)2.2、各户型数量分析（横柱状图）2.3、各个城区平均租金（柱状图和折线图）2.4、面积区间分析（饼状图）2.5、朝向对于价格影响（柱状图和折线图）3、结语 数据来源链家租房网站。随机爬虫了5000多数据。删除了信息相同的一部分信
转载
2024-01-20 06:04:25
307阅读
