yushaoqing的最近发布

我的友情链接

51CTO博客开发我是菜鸟鹰温水煮青蛙Linux步行街重剑无锋大巧不工马哥教育Linux风之别鹤技术成就梦想lustlost-迷失在欲望之中草堂小鱼儿Chris On the wayApprenticeaha45峰云，就她了。Ro の博客一只风骚的蚂蚁serystory的天空linux培训Ganymede的Hadoop世界刘召明

原创 2017-11-22 23:11:27 777 阅读

apache-kylin完整安装流程

最近在折腾kylin，这里记录一下完整的安装流程环境准备 CDH5.7.0 kylin-cdh5.7.0 2.安装流程 (1)准备好cdh5.

Java

kylin

原创 2016-07-18 17:19:26 4669 阅读

hadoop源码解析---INodeReference机制

本文主要介绍了hadoop源码中hdfs的INodeReference机制。在hdfs2.6版本中，引入了许多新的功能，一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中，并且这个文件或者目录被重命名或者移动到其他路径时，该文件或者目录就会存在多条访问路径。INodeReference就是为了解决这个问题产生的。问题描述/a是hdfs中的

源代码

快照

hdfs

置顶原创推荐 2016-07-07 00:27:38 10000+阅读 3点赞 1收藏

如何用shell实现基本的线程池

本文主要介绍了如何利用bash实现一个基本的线程池。1.预备知识{}& 在linux中表示整个代码块放入后台执行wait wait命令表示等待所有后台进程执行完成FIFO管道文件2.实现思路实现进程池有很多种方式，比如创建文件来判断文件个数等。本文采用了利用fifo文件来实现线程池，同时利用了linux中read命令天然的阻塞来快速实现。3.具体实现创建proce

linux

管道

线程池

原创 2016-05-15 19:22:07 8624 阅读

Hadoop两个版本fsimage和edits文件运行机制对比

一、概述这篇blog的目的主要是为了对hadoop1.x和hadoop2.x的元数据运行机制进行比较。二、fsp_w_picpath和edits文件的作用先来看看关于NameNode元数据相关的目录结构，也就是配置在hdfs-site.xml上的dfs.name.dir项，具体目录为$dfs.name.dir/current。看看目录(hadoop2.2.0版本)：我们

HA

Hadoop

fsimage

edits

转载精选 2015-08-03 11:06:35 5032 阅读

Kafka生产环境中的错误。

最近写完storm实时统计pv.uv.ip的项目后，前端服务器用flume进行收集，逐步把所有的服务器都增加上。增加的差不多时。Kafka报了如下类似错误：4709 [main] WARN kafka.producer.async.DefaultEventHandler - Produce request

服务器

项目

统计

Kafka

原创 2015-04-16 16:29:23 7714 阅读

storm分布式集群的搭建

一、环境 3台虚拟机，系统为centos，zookeeper版本为3.4.3 ip与hostname分别为192.168.41.100/master，192.168.41.101/slave1，192.168.41.102/slave2二、安装1、解压下载到的apache-storm-0.9.2-incub

集群

storm

分布式

云计算

hadoop

原创 2014-09-10 00:40:18 1632 阅读

消息订阅发布系统Apache Kafka分布式集群环境搭建和简单测试

一、什么是kafka?　　kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）二、kafka的官方网站在哪里？　　http://kafka.a

分布式

消息

队列

hadoop

MQ

原创精选 2014-09-09 20:47:47 1862 阅读

HotSpot JVM基本原理(二)

java

虚拟机

垃圾回收

jvm

hostpot

置顶原创精选 2014-08-19 15:57:22 2316 阅读

HotSpot JVM基本原理(一)

hotspot

JVM

置顶原创精选 2014-08-19 02:07:38 3741 阅读 1评论

hbase0.96与hive0.12整合文档

本文所用环境为3台hadoop2.2，hbase已经安装完毕，具体安装可参照前两篇文章。hive适用的元数据库为mysql，所以master上要安装mysql，用系统自带的即可，这里不在详述。(1)安装hive解压# tar zvxf hive-0.12.0.tar.gz -C /usr # cd /usr # mv&

整合

分布式

hadoop

hive

原创精选 2014-08-16 02:32:51 801 阅读

hbase 0.96整合到hadoop2.2三个节点全分布式安装文档

（1）HBase集群安装前准备安装jdkhadoop2.x集群准备(参考上一篇博文hadoop2.2集群安装)ssh集群的时间要保持基本一致（2）HBase集群安装解压HBase# tar zvxf hbase-0.96.0.tar.gz -C /usr2.配置conf/hbase-env.sh# cd /usr/hbase/c

集群

分布式

hadoop

hbase

原创精选 2014-08-15 15:56:26 894 阅读

hadoop2.2完全分布式高可靠安装文档

集群环境3台机器，一主两从：192.168.41.100 master192.168.41.101 slave1192.168.41.102 slave2系统为CentOS 6.42.安装步骤：① 安装前准备（1）3台机器全部修改hosts文件和hostname后重启vim /etc/hosts（2）配置节点之间SSH免密码登陆(可参考博文hadoop

分布式

hadoop

master

hadoop2

原创精选 2014-08-14 23:53:08 1092 阅读

数据库内核基础

本文简单介绍了数据库通用的内核基础以及和分布式的一些类比(1)经常使用数据库的疑问经常使用数据库，有一个疑问，假如在数据库中输入select * from table，那么数据库如何把这条语句识别成可执行状态？(2)数据库内部解析主要步骤SQL---->Parser客户端输入一条SQL字符串后，例如select,create等语句，首先会进入Parser模块，对于Parser模块，用户输入的

数据库

字符串

客户端

结构体

内核

置顶原创精选 2014-08-12 00:58:20 1926 阅读 1收藏

Linux下源码安装Mysql5.5

本文主要介绍了如何在源码安装mysql5.5，所用系统为CentOS6.5一、安装相应的开发环境yum install -y ncurses-devel yum install -y libaio yum install -y bison yum install -y gcc-c

mysql

开发

cmake

原创精选 2014-07-26 01:40:04 926 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Xlows