51CTO博客开发
Avro Source简介：监听Avro端口并从外部的Avro客户端接收事件流，多个flume agent可以通过Avro形成一个组织。Property Name Default Descriptionchannels – type – 需要配置为Avrobind – 需要监听的主机名或ip地址port – 监听的端口threads – 工作的最大线程数selector.type
安装包准备官网下载最新稳定版本，题主下载的是apache-storm-0.9.5.tar.gz角色分配主机名IP角色hadoop001192.168.0.1Nimbushadoop002192.168.0.2Supervisorhadoop003192.168.0.2Supervisor3. 安装步骤 3.1 安装Strom集群首先要搭建ZooKeeper集群，由于Zook
简介Strom是一个开源的分布式流式计算系统，用来处理流式的数据，被称作为流式的hadoop，在电信行业，可以用来做大流量预警、终端营销、访问竞争对手产品从而做挽留等业务。本文将从storm在hadoop生态圈中所处位置、storm中术语、storm平台搭建、storm应用程序构建等详细介绍storm。Strom在大数据生态圈中的位置上图可以看出，Storm处于HDFS之上，但是并不是说Storm
$$：代表本shell脚本的进程id$!：代表上次执行的shell脚本的进程id$?：代表上次执行的shell命令的返回值$*：代表所有的参数，格式为“参数一 参数二 参数三”$@：也代表所有的参数，格式为“参数一” “参数二” “参数三”$0：代表该shell脚本的名字$1..$n：代表输入的参数$#：代表输出参数的个数
自定义计数器计数器用来监控，hadoop中job的运行进度和状态。如源文件内容为：a bc d e fg h i现在需要找出
Hadoop源码解读（二）>>>>>>>>>>FSDirectory 这个类的作用就是用来维护HDFS的文件目录空间的，它始终保存当前的文件名和block块序列对应的一个map，并将之记入磁盘。
Hadoop源码解读之（一）>>>>>>>>>>NameNode 正如大多数源码解读，第一篇为NameNode的解析。 首先将NameNode注释翻译一下，大概意思如下： 1.NameNod
MemStore简介： 上图为HBase的读写过程的大概描述； 写请求过程：client---------->WAL(Write Ahead LOG)----------->MemStore-------------> HFile--------->END &
hadoop 分散磁盘I/O 配置 dfs.data.dir，将其值配置为多块磁盘 <key>dfs.data.dir</key> <value>/data/data1,/data/data2,/data/data3</value> ####假设多
通过设置hive.exec.parallel参数，使得在同一sql中的job可以并行的执行，因为在某些场景下，同一sql中，有时子查询之间并无关联。默认情况下为false可以在执行HQL之前，set该参数，hive.exec.parallel=具体某个数值。#####虽然可以保证并行运行，但是会耗费更多的资源。
dd把制定的输入文件拷贝到制定的输出文件中。格式if =输入文件(或设备名称)。of =输出文件(或设备名称)。ibs = bytes 一次读取bytes字节，即读入缓冲区的字节数。skip = blocks 跳过读入缓冲区开头的ibs*blocks块。obs = bytes 一次写入bytes字节，即写 入缓冲区的字节数。bs = bytes 同时设置读/写缓冲区的字节数(等于设置obs和obs
Configuring HardWare For HDFS HA为了使用Quorum-based存储去部署一个HA集群，应该做如下准备1.NameNode：运行Active和Standbye的NameNode应该有等价的配置。2.JournalNode：运行Journalnode的节点3.JounalNode进程相对轻量，因此这些进程可以相对合理的和其他的进程并存，例如NameNode，JobTr
1. 添加磁盘，查看磁盘状况[root@db1 /]# fdisk -lDisk /dev/sda: 10.7 GB, 10737418240 bytes255 heads, 63 sectors/track, 1305 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytes Device Boot
1.环境变量的查看和设置方法：1.1 查看所有：export1.2 查看某个：echo $HOME1.3 设置一个环境变量： export HELLO="hello!" echo HELLo hello!1.4 查看所有的环境变量： env1.5 查看所有的本地定义的shell变量：set1.6 清楚环境变量：
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
