云原生总监的博客_hadoop(2)

Hbase之批量数据写入

/** * Created by similarface on 16/8/16. */ import java.io.IOException; import org.apache.hadoop.conf.Configurati

hadoop

apache

java

转载 2022-09-05 15:16:38 86 阅读

chukwa安装

1 下载 wget http://mirror.bit.edu.cn/apache/incubator/chukwa/chukwa-0.5.0/chukwa-incubating-0.5.0.tar.gz

hadoop

jar

apache

转载 2022-09-05 15:10:24 25 阅读

Pig Latin基础2 函数清单

Pig Latin作为一种语言，内在的函数清单亦不早少数，类别详细如下1：Eval Functionsa:AVG求平均值，

json

数据

加载

转载 2022-09-05 15:09:30 60 阅读

pig 自定义函数和在eclipse里运行

package pig;import java.io.IOException;import org.apache.pig.EvalFunc;import org.apache.pig.data.Tuple;public class Upper extends EvalFunc { @Override public String exec(Tuple input) throws

.net

apache

生产环境

原创 2022-09-05 15:09:09 55 阅读

pig 自定义加载函数加载apache 的access.log中的数据

access.log数据：127.0.0.1 - - [08/Jan/2012:21:46:31 +0800] "GET / HTTP/1.1" 200 44127.0.0.1 - - [08/Jan/2012:21:46:3

apache

php

ico

原创 2022-09-05 15:08:57 44 阅读

谷歌pageRank算法简单实现

1 参考根据幻灯片中第9页所给出的“4网页模型” ，现假设有A,B,C,D,E五个网页，其中1)A网页有链接指向B,C,D

i++

.net

生产环境

原创 2022-09-05 15:08:40 75 阅读

Hadoop2.2.0 mapreduce 例子

1wordcountimport java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.h

hadoop

apache

mapreduce

原创 2022-09-05 15:08:26 64 阅读

HBase rest 和thrift java例子

package example2;import org.apache.hadoop.hbase.client.Get;import org.apache.hadoop.hbase.client.Result;

apache

java

hadoop

原创 2022-09-05 15:08:04 119 阅读

hbase-0.96.x相对hbase-0.94.x的改变

环境：hadoop:hadoop-2.2.0hbase:hbase-0.96.01.org.apache.hadoop.hbase.client.Put 取消了无参的构造方法 Put类不再继承Writable类 ation implements HeapSize, Wr

hadoop

apache

解决方法

转载 2022-09-05 15:07:48 69 阅读

centos集群上安装ganglia-3.6.0监控hadoop-2.2.0和hbase-0.96.0

Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式，才使得 Ganglia 可以实现良好的扩展。gmond 带来的

hadoop

apache

php

转载 2022-09-05 15:07:28 36 阅读

drill安装与部署

安装系统环境linux版本：redhat6jdk:jdk1.71.本地安装与测试1.1安装1.1.1下载Drill M1 binary release http://people.apache.

apache

zookeeper

hadoop

转载 2022-09-05 15:07:10 392 阅读

Apache Drill源码分析和编译

此前了解过Apache Drill的设计原理，借鉴与Google的Dremel的一个开源实现；而cloudera貌似在此基础上构造了impala.最

java

apache

maven

转载 2022-09-05 15:06:57 145 阅读

CDH

/usr/share/cmf/uninstall-cloudera-manager.sh

cloudera

hive

.net

原创 2022-09-05 15:06:34 154 阅读

carrandra安装

器1和机器2作为seed_providerjava jdk已经安装并且设置过JAVA_HOMEssh已经设置1.解压 apache-cassandra-1.0.6-bi

java

apache

ide

转载 2022-09-05 15:06:17 14 阅读

cassandra命令

首先使用cassandra-cli 进入命令行：$ bin/cassandra-cli -host 192.168.0.1011.创建keyspaceCREATE KEYSPACE usertable with placement_strategy = 'o

数据

客户端

十六进制

转载 2022-09-05 15:05:34 534 阅读

R实现MapReduce的协同过滤算法

由于rmr2的对hadoop操作有一些特殊性，代码实现有一定难度。需要深入学习的同学，请多尝试并思考key/value值的设计。

hadoop

协同过滤算法

数据

转载 2022-09-05 15:05:24 86 阅读

RHbase 命令

数据

读取数据

表结构

转载 2022-09-05 15:04:59 50 阅读

storm 0.9安装

安装Storm1. 下载Storm，选择一个0.9版本，解压到指定目录（所有机器）。http://storm-project.net/downloads.

.net

zookeeper

数据目录

转载 2022-09-05 15:04:51 119 阅读

编译sqoop

1下载源码2运行命令 mvn clean package -Pbinary -DskipTests

maven

xml

内存溢出

原创 2022-09-05 15:04:42 170 阅读

spark 安装

环境:CentOS 6.4, Hadoop 1.1.2, JDK 1.7, Spark 0.7.2, Scala 2.9.3折腾了几天，终于把Spark 集群安装成功了

spark

scala

vim

转载 2022-09-05 15:04:30 122 阅读

storm 命令

Storm命令简介提交Topologies命令格式：storm jar 【jar路径】【拓扑包名.拓扑类名】【拓扑名称】样例：storm jar /storm-starter.jar storm.starter.WordCountTopology wordcountTop#提交storm-starter.jar到远程集群，并启动wordc

jar

后台程序

zookeeper

转载 2022-09-05 15:04:00 44 阅读

忘记mysql root 密码怎么办

方法一： # /etc/init.d/mysqld stop # mysqld_safe --user=mysql --skip-grant-tables --skip-networking & # mysql -u root mysql mysql> UPDATE user SET Password=PASSWORD(’newpassword’) where US

mysql

转载 2022-09-05 15:03:48 108 阅读

pig 安装

Pig的安装Pig作为客户端程序运行，即使你准备在Hadoop集群上使用Pig，你也不需要在集群上做任何安装。Pig从本地提交作业，并和Hadoop进行交互。1

hadoop

mapreduce

java

转载 2022-09-05 15:03:40 177 阅读

hbase命令

下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表cre

表名

数据

shell命令

转载 2022-09-05 15:02:33 109 阅读

hadoop 2.2.0安装

环境准备1、操作系统:centos6.0 64位2、hadoop版本：hahadoop-2.2.0 安装和配置步骤具体如下：1、主机和ip分配如下 ip地

hadoop

java

mapreduce

转载 2022-09-05 14:15:18 86 阅读

编译hadoop eclipse 2.x插件

代码下载地址；https://github.com/winghc/hadoop2x-eclipse-plugin.git$cd src/contrib/eclipse-plugin$ant jar -Dversion=2.3.

eclipse

hadoop

jar

原创 2022-07-28 17:13:49 79 阅读

Zebra and Pig

OverviewWith Pig you can load and store data in Zebra format. You can also take advantage of sorted

hadoop

apache

ide

转载 2022-07-28 17:13:13 118 阅读

sqoop1.4.4命令

1、列出mysql数据库中的所有数据库 sqoop list-databases --connect jdbc:mysql://localhost:3306/ -u

hive

mysql

sqoop

转载 2022-07-28 17:13:02 73 阅读

pig手册

1.　　Hadoop Pig 0.10.0内置系统函数　　http://pig.apache.org/docs/r0.10.0/func.html IntroductionDynamic InvokersEval Functions AVGCONCATCOUNTCOUNT_STARDIFFIsEmptyMAXMINSIZESUMTOKENIZE Load/Store Func

json

apache

html

转载 2022-07-28 17:12:55 59 阅读

HBase client api例子集合-1

import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration

hadoop

apache

java

原创 2022-07-28 17:11:44 173 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

云原生总监