jueshizhanhun的博客_Hadoop

欢迎

RServe简介

前言Rserve作为一个R语言与其他语言的通信(TCP/IP)接口，被多个项目所依赖。Rserve服务端配置和运行都非常简单，客户端由多种语言实现，像C/C++, Java等。R也有自己的客户端实现 RSclient 项目。Rserve介绍Rserve是一个基于TCP/IP协议的，允许R语言与其他语言通信的C/S结构的程序，支持C/C++,Java,PHP,Python,Rub

服务器

客户端

IP协议

library

服务端

转载 2017-04-17 10:39:44 4128 阅读

HBase 常用Shell命令

进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)> whoami表的管理1）查看有哪些表hbase(main)> list2）创建表# 语法：

hbase shell

转载 2017-03-20 17:18:24 708 阅读

HBase 表数据导入导出

将HBase表数据导出到hdfs的一个指定目录中，具体命令如下：bin/hbase org.apache.hadoop.hbase.mapreduce.Export test_table file:///data/test_tablebin/hadoop fs -ls /data/test_table去hbase中创建相应的表create

file

create

转载 2016-11-24 16:32:49 4505 阅读

crontab 定时 hive2Mysql4sqoop

当我们手动执行脚本没有问题时，我们认为万事OK了。其实不然放入crontab之后缺少各种东西。我的业务是使用hive中原始表当数据源，创建一个临时表，将数据原的数据清洗一遍放入临时表，再使用sqoop将临时表的数据导入到Mysql中。首先我的hive表是orc文件压缩格式，sqoop无法直接读取，所以在清洗时顺便换了文件格式。一部分表是与hbase关联表，所以需要将hbase/lib中的 hb

crontab

sqoop

原创 2016-06-08 16:54:08 1879 阅读

Hive下查看表占用空间大小的方法

一、Hive下查看数据表信息的方法方法1：查看表的字段信息desc table_name;方法2：查看表的字段信息及元数据存储路径desc extended table_name;方法3：查看表的字段信息及元数据存储路径desc formatted table_name;备注：查看表元数据存储路径是，推荐方法3，信息比较清晰。二、查看表容量大小方法1：查看一个hive表文件总大小时(单位为Byte

hive 占用空间

转载精选 2016-05-09 14:42:35 10000+阅读 1收藏

hadoop job

转载精选 2016-04-28 15:35:28 1830 阅读

DataNode引用计数磁盘选择策略

前言在HDFS中,所有的数据都是存在各个DataNode上的.而这些DataNode上的数据都是存放于节点机器上的各个目录中的,而一般每个目录我们会对应到1个独立的盘,以便我们把机器的存储空间基本用上.这么多的节点,这么多块盘,HDFS在进行写操作时如何进行有效的磁盘选择呢,选择不当必然造成写性能下降,从而影响集群整体的性能.本文来讨论一下目前HDFS中存在的几个磁盘选择策略的特点和不足,然后

磁盘

DataNode

转载精选 2016-04-28 14:04:46 500 阅读

hive 分区时分别使用年,月,日来进行分区

创建表create [external<外联>] table log_app_web (log map<string,string>) partitioned by (year int,month int,day int) ROW FORMAT DELIMITED COLLECTION ITEMS TERMINATED BY '\t' MAP KEYS

查询

分区

日期

原创 2016-04-28 11:01:52 10000+阅读

hive的一些内部函数

1. 字符串长度函数：length语法: length(string A)返回值: int说明：返回字符串A的长度举例：hive> select length('abcedfg') from lxw_dual;72. 字符串反转函数：reverse 语法: reverse(string A)返回值: string说明：返回字符串A的反转结果举例：hive> sele

hive 函数

转载精选 2016-04-28 10:32:34 631 阅读

Hive 查询中的分组排名

语法：ROW_NUMBER() OVER(PARTITION BY COLUMN<针对排名的字段> ORDER BY COLUMN<需要排名的字段> （desc<倒序>）)SELECT *, Row_Number() OVER (partition by deptid ORDER BY salary desc) rank FROM employee

NUMBER

ROW

原创 2016-04-28 10:30:15 2491 阅读

flume 日志搬家下半场

续上面获得资源后我们要将转换为相应的日志,落在统一的服务器中.在flume中的对file操作的sink只有RollingFileSink但这个对我们来一点用都没有,package com.ule.flume.sink.file; import java.io.BufferedOutputStream; import java.io.File; import&nbs

flume filesink

原创 2015-09-09 15:57:44 1334 阅读

flume 日志搬家上半场

开一个监听持续间断的获取某个日志的续写的信息,并传入sink中,在flume默认的组建中并没用这样的功能,只能自己根据业务就行开发,下面flume获得source信息概要:首先我们在获得持续输出的日志并创建一个文件中记录我们获取这个日志的信息变化的位置,根据这个位置文件来完成,我们需要的断点续传功能.所谓日志搬家我们必须要知道这个日志是哪里来要搬到哪里去这里是source我只做在哪里来,首先

flume source 间断获取信息

原创 2015-09-09 15:39:44 699 阅读

flume-hdfs 按照时间关闭并新开文件

在flume中原有的sink的hdfs接口中只有根据写入多少秒存储关闭文档或者写入多少量存储关闭文档,饼不能根据实际需求来关闭文档,所以需要自己改写代码来满足我们的要求.例如我们需要他在每天到了0点以后关闭上一日的文档,并在写一个新的文档出来,首先我找到源码在flume的源码中一个单独的项目flume-hdfs-sink是针对hdfs的可以只接在这个项目里进行修改,然后打包好在放到lib包中.

flume-hdfs

日期跟换文件

原创 2015-09-09 15:22:35 2993 阅读

完整安装配置 hbase 集群

之前的hbase的文件没记下来又弄丢了现在重新做了一遍这次可要认真记下来浪费我了1一天宝贝时间去实验啊。这次的版本使用的是hadoop1.2.0 hbase0.94.7 首先确认环境 jdk hadoop 就不说了ip 机器名域名对hbase 很重要的问题/etc/hosts127.0.0.1

安装配置

habse

原创 2014-08-06 11:21:47 1325 阅读

完整安装配置 hadoop 集群

配置hadoop集群首先选准备3台liunx机器（我用的Ubuntu虚拟机）Ubuntu 还是 Centos 随便192.168.1.101 h1 (准备装成namenode)192.168.1.102 h2 (准备装成datanode)192.168.1.103 h3 (准备装成datanode) 首先，联通这3台机子

jdk

hadoop

原创 2014-03-31 16:40:26 1068 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

记下就对了

欢迎