在近日举办的2018年链家年度思享会上，链家研究院发布的2017房地产市场年报认为，2017年成为房地产市场“超级繁荣期”的尾巴，“品质时代”将是2018年关键词，回归价值将是2018年房地产市场的核心标志。“房地产企业应当从开发型向服务型转变，我们的存量房不少，并且还在开发，随着经济增长从高速发展阶段转向高质量发展阶段，我们的房地产也应该从数量的增长转向质量的发展，这是未来房地产发展
前言...
转载
2018-01-11 00:00:00
58阅读
2评论
链家大数据多维分析引擎实践前言：大数据背景下，传统关系型多维分析ROLAP引擎遇到极大挑战，因而链家转向基于Hadoop生态的MOLAP(Kylin)及HOLAP（多引擎）。在由七牛云和链家联合主办的架构师实践日北京站中，链家大数据集群架构组负责人邓钫元进行演讲，分享了链家在多维分析引擎方面的一些实践经验，主要从OLAP的背景和简介、链家多维分析架构演进和展望、OLAP平台链路优化这三部分来介绍。
原创
2020-11-05 14:11:06
370阅读
邓钫元 数据和云
前言大数据背景下，传统关系型多维分析 ROLAP 引擎遇到极大挑战，因而链家转向基于 Hadoop 生态的 MOLAP(Kylin)及 HOLAP （多引擎）。在架构师实践日北京站中，链家大数据集群架构组负责人邓钫元进行演讲，分享了链家在多维分析引擎方面的一些实践经验，主要从 OLAP 的背景和简介、链家多维分析架构演进和展望、OLAP 平台链路优化这
转载
2021-06-18 21:54:16
346阅读
去了一趟链家网面试，虽然没有面上，但仍有不少收获，在此做个简单的分享，当然了主要是分享给自己，让大家见笑了。因为这次是第一次面试 JAVA网站架构师相关的职位，还是有些心虚的，毕竟之前大部分时间都是在做.NET相关的技术工作，并且自己所负责过的项目规模都是比较小，并且差异也 较大。在高并发性，高伸缩性的互联网网站的架构方面没有太多的经验，只是在之前空闲时阅读李智慧老师的《大型网站技术架构》一书给了
干货：链家大数据多维分析引擎实现 浪尖 浪尖聊大数据 OLAP展现在用户面前的是一幅幅多维视图。维（Dimension）：是人们观察数据的特定角度，是考虑问题时的一类属性，属性集合构成一个维（时间维、地理维等）。维的层次（Level）：人们观察数据的某个特定角度（即某个维）还可以存在细节程度不同的各个描述方面（时间维：日期、月份、季度、年）。维的成员（Member）：维的一个取值，是数据项在某维中
原创
2021-03-17 14:32:32
669阅读
干货：链家大数据多维分析引擎实现。坚持原创，分享优质。
原创
2021-07-27 11:16:05
390阅读
房产中介来由已久，“牙人”便是唐代时对中介人的称呼。无论买房、卖房还是租房，绝大多数房产相关的商业行为都离不开中介。从实体店到线上，从网站到移动App，从内部系统到2C业务，与蓬勃发展的中国房地产行业一道，链家网也不断与时俱进，更新系统架构，满足不断变化的市场和业务需求。十年链家网，S3终回归“现在，链家网存储服务承载的总文件数量已达8270万+，房屋实堪图占66%，其他图片占15%，音视频占13
转载
2023-07-07 21:53:10
178阅读
1. 多准备一些headerdef getUserAgent():
UA_list = [
"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36",
"Mozilla/5.0 (i
2009年年初，兼职的公司软件部有位员工，要买婚房，总价30万内，面积差不多就行，二室一厅即可。由于我即是他的领导，也是他的师傅，关系很好，所以一有时间，就开车带他去看房。开始看的都是新房，新房位置都比较偏。
4月份时，心中大体已经对烟台的房价大体有个数了，这时请教了几位当老总的的朋友，这几位朋友关系都相当好，并且阅历丰富，理财高手，其中还有一位是做过房地产的。我讲了对房市的一些
推荐
原创
2009-07-06 10:48:34
1036阅读
5评论
import pandas as pd
lj_data = pd.read_csv('LJdata.csv')
#原始列名
lj_data.columns
#Index(['区域', '地址', '标题', '户型', '面积', '价格', '楼层', '建造时间', '朝向', '更新时间', '看房人数','备注', '链接地址'],dtype='object')
lj_data.colum
任务目标：以分布式的方式爬取链家网上二手房信息，包括标题、城市、行政区、总价、户型、面积、朝向等信息分布式爬虫，即在多台电脑上同时执行同一个爬虫任务，在分布式爬取之前，需要先完成单机爬虫，然后部署到多台机器上，完成分布式。链家网单机爬虫：从城市页面开始爬取，到每个城市的不同行政区，以及每个行政区的多个页面，每个页面的多个二手房信息，到最后的二手房详情页面。
经过相应的网页结构分析，得到项目(项目名
在之前，我们讲述了代理模式，今天我们将讲解一下中介者模式。 依旧是一个提醒：依赖倒转原则中介者模式其实和代理模式很像，都是通过一个额外的类进行调用。中介者模式其实和字面的意思听起来很是相似，例如你买房子找中介，你和卖房子的人之间的交互都是通过中介来实现的，中介者模式也是这样。即当一个非中介者想要和另一个进行交互的时候，它需要通过调用中介者进行。 所以在类里面，两个非中介者需要知道中介者这个类，中介
import base64 import hashlib import requests import json from logzero import logger http_app_secret = 'XXXXXXXXXXXX' http_app_id = 'XXXXXXXX' def str_ ...
转载
2021-09-29 17:17:00
400阅读
2评论
数据分析工程师_第04讲链家网房价数据分析与数据科学比赛数据处理分析链家数据分析0.载入数据查看数据的形状和信息找到最近更新信息的20套房子平均看房人数房龄最小的20套房子的平均看房人数、平均面积...房子价格的分布(平均，方差，中位数)最受欢迎的朝向(平均看房人数)房型数量分布最受欢迎的房型房子的平均租房价格(按平米算)最受关注的小区出租房源最多的小区出租房源最多的地区(大家从详情页可以对标到
一、选题的背景 本次项目选择了中国的一线城市——上海市，通过了解上海市二手房的情况，可以帮助人们在购房、出租等方面做出更明智的决策。可以帮助人们了解上海市经济的发展趋势。随着互联网的发展，越来越多的房地产信息通过网络发布，使用爬虫技术可以方便地收集和分析这些信息。而本次项目选择的数据来源是链家。链家是一家著名的房地产经纪公司，在上海市有着广泛的房地产业务。通过爬取上海市链家发布的二手房信息，可以
打通O2O，提升服务门槛 链家的互联网战略在全国化启动后变得越来越清晰，以强大的线下资源、线上平台以及移动端构筑一个O2O的闭环。据介绍，链家在移动端的布局也已经完成，在北京，每个月有10万用户在使用链家的官方APP：掌上链家。 彭永东对链家的互联网化是这样解读的：＂基于强大的线下能力，我们的线上部分可以建立起更高的竞争门槛，链家对信息质量近乎变态的要求，使得我们在一段时间内看
链家网于2015年成立大数据部门，开始构建基于Hadoop的技术体系，初期大数据部门以运营数据报表需求、公司核心指标需求为主。随着2015年链家网发力线上业务，toB与toC业务齐头并进，数据需求量激增的情况也随之在2016年突显，数据量增至PB级。我们开始思考如何改变现状，如何高效支撑未来可预见的众多数据需求。基于ROLAP技术的报表平台链家网大数据部门成立之初，面对着零散的数据需求，最早期的办
【淮南颂恩少儿编程】一、单选题(共25题，共50分)1. 点击绿旗，下列哪个选项可以实现播放马叫声并在声音全部播放完后，马向右移动？（ ） A. B. C. D. 标准答案：D试
转载
2023-07-31 23:37:39
58阅读
深圳租房分析（2/2）数据分析1、数据处理分析准备1.1、导入数据1.2、处理重复值1.3、数据类型转换2、房源数量，位置分布分析2.1、各城区房源数量对比(横柱状图)2.2、各户型数量分析（横柱状图）2.3、各个城区平均租金（柱状图和折线图）2.4、面积区间分析（饼状图）2.5、朝向对于价格影响（柱状图和折线图）3、结语 数据来源链家租房网站。随机爬虫了5000多数据。删除了信息相同的一部分信
