skinglzw的博客_hadoop

avro简介

![](http://i2.51cto.com/images/blog/201712/03/1f91f7e012381cfa72bea953b09a2c53.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3po

avro

原创 2017-12-03 12:48:51 1269 阅读

在线日志分析项目解读

1，日志的采集从flume agent 上的数据一般分到两条线上一条是kafka 集群，后期可以用流式处理（spark streaming 或storm 等等）一条是到hdfs，后期可以用hive处理，业界叫lambda架构 architecture (一般公司的推荐系统，就是用这种架构)flume-ng agent 采集收集日志后，聚合在一个节点上（也可以不聚合）为什么要聚合？为什么不直接写到

日志

原创 2017-09-20 20:35:56 3040 阅读

机器学习资料

1. https://pan.baidu.com/s/1jIegLmu 密码: 87im (资料）2. https://pan.baidu.com/s/1bpAjo7d 密码: yppj（数据）

hadoop

原创 2017-09-19 21:30:46 637 阅读

hadoop安装

rz -betar -xvzf hadoop-2.7.1.tar.gzvi /etc/profileexport JAVA_HOME=/home/skinglzw/jdk1.8.0_101export HADOOP_INSTALL=/home/skinglzw/hadoop-2.7.1export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_INSTALL/bin:$HAD

安装

hadoop

原创 2016-09-02 22:00:06 524 阅读

zookeeper一些数据模型

zookeeper提供了一个层次化目录结构，命名符合常规文件系统规范。每个节点在zookeeper中叫做znode,并且它有一个唯一的路径标识。znode有两种类型：短暂的（ephemeral）和持久的（persistent），节点znode可以包含数据和子节点。(短暂的（ephemeral）不能有子节点，当客户端连接zookeeper时，znode才会存在，一旦客户端挂掉了，znode被删除。持

hadoop

zookeeper

原创 2016-08-02 07:43:55 947 阅读

zookeeper应用场景

zookeeper-统一命名服务1)在分布式环境下，经常需要对应用/服务进行统一命名，便于识别不同服务。类似于域名与ip之间对应关系。通过名称来获取资源或服务的地址等信息。2）按照层次结构组织服务/应用名称。它可以将服务名称以及地址信息写到zookeeper,客户端通过zookeeper获取服务列表。2.配置管理1）分布式环境下，经常需要配置文件管理和同步

hadoop

zookeeper

原创 2016-08-02 07:40:42 670 阅读

zookeeper安装部署--分布式模式

本地模式，和伪分布模式，只适合测试1：下载zookeeper(zookeeper-3.4.6.tar.gz)http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.7/ 规划：5个节点（nimbus,slave1,slave2,slave3,slave4）参与选举为前三个节点，后面两个节点作为observer,不参与投票，只负责监控，读取数据创

hadoop

zookeeper

原创 2016-08-02 07:38:30 790 阅读 1收藏

zookeeper基本原理

基本原理server很多，有主从之分，不过有一个leader,其他是follower,每个server，在内存中存有一份数据，启动时，将选举出一个leader，根据paxos协议选举leader负责处理数据更新操作，用到zab协议一个更新操作成功的标志，大多数server在内存，成功修改数据（一个有5个，有3个写成功了）zookeeper角色怎么知道大多数写成功了，用到领导者发起投票，领导者收到3

hadoop

zookeeper

原创 2016-08-01 21:19:00 896 阅读

hadoop核心组件zookeeper简介与特点

zookeeper是一个针对大型分布式系统的可靠协调系统。1）它提供的功能包括：配置维护，名字服务，分布式同步，组服务等；2）它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效，功能稳定的系统提供给用户；特点：1，最终一致性：为客户端展示同一试图2，可靠性：如果一条消息被一台服务器接受，那么它将被所有的服务器接受。3，实时性：zookeeper不能保证两个客户端同时得到刚刚更新的数

hadoop

zookeeper

原创 2016-08-01 20:57:30 1706 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

我是程序我最大

avro简介

在线日志分析项目解读

机器学习资料

hadoop安装

zookeeper一些数据模型

zookeeper应用场景

zookeeper安装部署--分布式模式

zookeeper基本原理

hadoop核心组件zookeeper简介与特点

欢迎