jethai的博客_Hadoop/CDH

spark Sql

package org.apache.spark.sql import org.apache.spark.{SparkConf, SparkContext} object SLA_parquetSQL { def main(args: Array[String]) { &nbs

spark sql

原创 2015-12-01 19:55:03 963 阅读

hbase手动compact与split

#!/bin/bash die () { echo >&2 "$@" echo "usage:" echo "

compact

原创 2015-11-28 13:23:39 10000+阅读

hbase REST API

-- rest api -- http://wiki.apache.org/hadoop/Hbase/Stargate curl -H "Accept: text/xml" http://itr-hbasetest01:20550/version -v curl -H "Accept:&nbs

rest api

原创 2015-11-27 21:38:39 6220 阅读

hive ETL之业绩报表sql

-- case4 -- --========== rates ==========-- app0 1 app1 2 app2 2 app3 3 app4 &nbs

hive

原创 2015-11-27 18:27:15 2527 阅读

hive ETL之电商零售行业-推荐系统sql

-- case3 -- --========== f_orders ==========-- /* 11 2014-05-01 06:01:12.334+01 10703007267488 item8:2|it

hive

原创 2015-11-27 18:23:12 1525 阅读

hive ETL之广告行业-用户行为归类sql

-- case2 -- --========== click_log ==========-- /* 11 ad_101 2014-05-01 06:01:12.334+01 22 ad_102 &n

hive

原创 2015-11-27 18:21:20 1146 阅读

hive ETL之物流行业-订单跟踪SLA sql

-- case1 -- --========== order_created ==========-- /* 10703007267488 2014-05-01 06:01:12.334+01 10101043505096 2014-05-01

hive

原创 2015-11-27 18:17:18 1247 阅读

hive与hbase整合

-- hbase shell filter -- create 'test1', 'lf', 'sf' -- lf: column

hbase

原创 2015-11-27 16:32:04 1149 阅读

mahout 0.8入门

mahout-distribution-0.8命令行对应哪个类可以查看源码配置文件driver.classes.default.propsmahout的APIhttps://builds.apache.org/job/Mahout-Quality/javadoc/ mahout实战参考博客：http://itindex.net/detail/45259-mahout-%E7%94%B5%E5%BD

mahout

原创 2015-11-17 15:46:01 1018 阅读

mahout0.11 taste框架推荐引擎api

所需jar包数据格式以逗号分隔1,101,5.0 1,102,3.0 1,103,2.5 2,101,2.0 2,102,2.5 2,103,5.0 2,104,2.0 3,101,2.0 3,104,4.0 3,105,4.5 3,107,5.0 4,101,5.0 4,103,3.0 4,104,4.5 4,106,4.0 5,101,4.0 5,102,3.0 5,103,2.0 5,104

mahout taste cf

原创 2015-11-17 14:19:44 1284 阅读

统计和TopKey

key和value的默认分隔符为tab键设置分隔符程序一package org.conan.myhadoop.TopKey; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import&n

topkey

原创 2015-11-16 18:35:07 874 阅读

文本挖掘分词mapreduce化

软件版本paoding-analysis3.0项目jar包和拷贝庖丁dic目录到项目的类路径下修改paoding-analysis.jar下的paoding-dic-home.properties文件设置词典文件路径paoding.dic.home=classpath:dic分词程序demoimport java.io.IOException; import java.io.S

庖丁分词

原创精选 2015-11-15 18:45:44 1571 阅读

spark 1.X standalone和on yarn安装配置

安装JDK 1.7以上 Hadoop 2.7.0不支持JDK1.6，Spark 1.5.0开始不支持JDK 1.6安装Scala 2.10.4安装 Hadoop 2.x 至少HDFSspark-env.shexport JAVA_HOME= export SCALA_HOME= export HADOOP_CONF_DIR=/opt/modules/h

spark详解

原创 2015-11-11 22:03:16 1180 阅读

hive 安装mysql作为元数据

下载hive的安装包解压在hadoop集群上的任何一台机器上都可以mysql jdbc驱动拷贝到hive的lib目录下hive-env.shHADOOP_HOME=/opt/modules/hadoop-2.2.0修改hive-site.xml <property> <name>javax.jdo.opt

hive 安装

原创 2015-11-11 17:05:43 1000 阅读

hive 安装mysql作为元数据

下载hive的安装包解压在hadoop集群上的任何一台机器上都可以mysql jdbc驱动拷贝到hive的lib目录下hive-env.shHADOOP_HOME=/opt/modules/hadoop-2.2.0修改hive-site.xml <property> <name>javax.jdo.opt

hive 安装

原创 2015-11-11 17:04:53 477 阅读

hadoop 2.X HA详细配置

hadoop-daemon.sh与hadoop-daemons.sh区别hadoop-daemon.sh只能本地执行hadoop-daemons.sh能远程执行1. 启动JNhadoop-daemons.sh start journalnodehdfs namenode -initializeSharedEdits //复制edits log文件到journalnode节点上，

hadoop HA 配置

原创 2015-11-11 14:40:23 2255 阅读

pdsh、ClusterSSH和mussh集群管理软件

我是想把 /etc/hosts 文件分发到 10.205.10.11至20机器上安装命令sudo yum -y install clusterssh pdsh pdsh-rcmd-ssh pdsh-rcmd-rsh musshpdcp -w ssh:root@srv[11-20] /etc/hosts /etc/pd

集群管理

原创 2015-11-10 17:35:17 1335 阅读 1收藏

hdfs常用API和putMerge功能实现

所需jar包一、URL API操作方式import java.io.InputStream; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.apache.hadoop.io.IOUtils; import org.juni

FileSystem hdfs API

原创 2015-11-07 20:10:25 2291 阅读

hive内置函数详解(分析函数、窗口函数)

cli命令show functions;desc function concat;desc function extended concat;查看某个函数怎么使用的例子nvl函数coalesce(v1,v2,...)返回参数中第一个非空值，如果所有值都为null返回null；set.cli.print.header=true;winfunc员工工资标识id money t

hive内置函数

原创 2015-11-07 15:01:25 10000+阅读

Hive SQL汇总

创建数据库create database if not exists sopdmcomment 'this is test database'with dbproperties('creator'='gxw','date'='2014-11-12') --数据库键值对属性信息location '/my/preferred/directory';显示所有表show tables ;显示表的

hql

原创 2015-10-27 17:14:29 7867 阅读

Hive 调优总结

一、查看执行计划explain extended hql；可以看到扫描数据的hdfs路径二、hive表优化分区（不同文件夹）：动态分区开启：set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict; 默认值：strict 描述：s

hive优化

原创 2015-10-23 15:58:27 6754 阅读 1点赞 5收藏

Spark on yarn

ResourceManager 资源管理只有一个（资源以Container表示）ApplicationMaster 应用管理用户每提交一个application都包含一个ApplicationMasterNodeManager 每个节点对应一个ApplicationMaster 启动后向ResourceManager要资源

spark yarn

原创 2015-10-11 16:24:00 1196 阅读

Avro数据序列化

序列化：把结构化的对象转换成字节流，使得能够在系统中或网络中通信需要把数据存储到hadoop的hbase常用序列化系统thrift （hive，hbase）Protocol Buffer (google)avro

avro 序列化

原创 2015-10-11 14:11:29 2826 阅读

storm详解

1. 构建拓扑代码package demo; import backtype.storm.topology.TopologyBuilder; import backtype.storm.tuple.Fields; public class AreaAmtTopo { pub

Storm详解

原创 2015-10-09 19:56:18 1319 阅读

storm-kafka（storm spout作为kafka的消费端）

storm是grovvy写的kafka是scala写的storm-kafka storm连接kafka consumer的插件下载地址：https://github.com/wurstmeister/storm-kafka-0.8-plus除了需要storm和kafka相关jar包还需要google-collections-1.0.jar以及zookeeper相关包 curator-f

storm kafka

原创 2015-10-09 16:21:55 10000+阅读

sqoop详解

版本 1.4.3sqoop help 命令帮助对应数据库的jdbc jar包复制到sqoop lib目录下1.把数据从mysql导入hdfs(默认是/user/<username>中sqoop import --connect jdbc:mysql://localhost:3306/hive --username root --password root --table&n

sqoop

原创 2015-10-06 10:08:14 1530 阅读

flume+kafka+hdfs详解

flume架构图单节点flume配置flume-1.4.0 启动flumebin/flume-ng agent --conf ./conf -f conf/flume-conf.properties -Dflume.root.logger=DEBUG,console -n agent-n表示配置

flume+kafka+hdfs

原创 2015-10-03 19:26:55 7020 阅读 1评论

Hive 混合函数 UDTF UDF UDAF详解

混合函数可以使用java中的方法java_method(class,method[,arg1[,arg2...]])或者reflectHive版本1.2.1UDTF 用户定义表函数(表函数）一行变成多行配合lateral viewhive的Lateral viewhttp://blog.sina.com.cn/s/blog_7e04e0d00101csic.htmlUDF 重写evalu

UDF UDAF详解

原创精选 2015-10-01 11:10:58 6760 阅读 1收藏

HIVE JDBC连接详解

package org.conan.myhadoop.mr; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statem

HIVE JDBC连接详解

原创 2015-09-28 01:35:24 9181 阅读

mapreduce 模板代码

jai包<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-core</artifactId> <ver

mapreduce代码

原创 2015-09-26 23:05:51 972 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

点滴积累

spark Sql

hbase手动compact与split

hbase REST API

hive ETL之业绩报表sql

hive ETL之电商零售行业-推荐系统sql

hive ETL之广告行业-用户行为归类sql

hive ETL之物流行业-订单跟踪SLA sql

hive与hbase整合

mahout 0.8入门

mahout0.11 taste框架推荐引擎api

统计和TopKey

文本挖掘分词mapreduce化

spark 1.X standalone和on yarn安装配置

hive 安装mysql作为元数据

hive 安装mysql作为元数据

hadoop 2.X HA详细配置

pdsh、ClusterSSH和mussh集群管理软件

hdfs常用API和putMerge功能实现

hive内置函数详解(分析函数、窗口函数)

Hive SQL汇总

Hive 调优总结

Spark on yarn

Avro数据序列化

storm详解

storm-kafka（storm spout作为kafka的消费端）

sqoop详解

flume+kafka+hdfs详解

Hive 混合函数 UDTF UDF UDAF详解

HIVE JDBC连接详解

mapreduce 模板代码