艾文编程的博客_分布式数据存储技术

005 执行mapreduce加强，利用hive统计分析电商网站用户行为指标

通过搭建大数据平台，然后利用hadoop+hive对用户行为日志加强并分析，统计网站中常用到的一些关键性指标，用于指导运营和建设，更好服务于客户。

访问者

jar

访问量

原创 10月前 267 阅读

【hadoop】5004-Hadoop2.x 集群搭建步骤

介绍hadoop2.x分布式大数据平台的搭建以及各个环节的验证

hadoop

zookeeper

xml

原创 10月前 224 阅读

【hadoop】 3002-mapreduce程序统计单词个数示例

一、新建文本文件wordcountello Japan[hadoop@c

hadoop

java

mapreduce

原创 2023-07-25 23:03:09 24 阅读

1002-HBase本地安装方式

下载HBase,安装HBase,配置HBase并验证

hbase

hadoop

JAVA

zookeeper

原创 2023-07-20 11:54:49 58 阅读

100303- ZooKeeper 配置管理代码实现案例

一、ZooKeeper的配置管理（ Configuration Management）使用场景配置的管理在分

zookeeper

apache

配置信息

原创 2023-07-20 11:53:39 90 阅读

是时候抛弃Eclipse转向IntelliJ了

在今年的Google I/O大会上，Google推出新的Android集成IDE“Android Studio”。而之前，Google与Eclipse合作开发出

Eclipse

Intellij

IDE

Google

Android

转载 2023-05-17 22:27:13 68 阅读

【hadoop】 4001-Partitioner编程

MapReduce 重要组件——Partitioner组件（1）Partitioner组件可以让Map对Key进行分区，从而可以根据不同的key来分发到不同的reduce中去处理；

apache

hadoop

Text

原创 2023-05-17 22:22:57 107 阅读

【hadoop】 3005-hadoop对象序列化编码

一、hadoop序列化操作 Writable接口, 是根据 DataInput 和 DataOutput 实现的简单、有效的序列化对象MR的任意Key和Value必须实

hadoop

apache

Text

原创 2023-05-17 22:21:33 97 阅读

1003-HBase集群搭建

HBase集群搭建

hbase

hadoop

xml

hdfs

原创 2023-05-17 21:06:13 96 阅读

1001-HBase基本概念

主要从以下三个方面讲解：HBase的基本概念,什么时候用 HBase,HBase和HDFS区别

hbase

HDFS

数据

Hadoop

原创 2023-05-07 19:40:35 156 阅读

100302- ZooKeeper详解

一、启动并验证ZooKeeper1、启动ZooKeeper[hadoop@cloud05 bin]$ ./zkServer.sh start[hadoop@cloud06 bin]$ ./zkServe

zookeeper

hadoop

apache

原创 2023-04-30 06:23:07 86 阅读

【hadoop】 3007-hadoop的提交job的源码分析

客户端提交job给MR的集群执行过程2.1、连接ResourceManager，通过执行Job中connect()来完成第一步：在job中执行this.cluster = new Cluster();执行结果返回job第二步：在Cluster类中ClientProtocol client = null; 引用。获取client = new YARNRunner(

hdfs

执行过程

配置文件

原创 2023-04-30 06:21:43 72 阅读

【hadoop】 1001-hadoop介绍

Hadoop介绍Hadoop是一个由Apache基金会所开放的分布式系统基础架构。

hadoop

Hadoop

数据

原创 2023-04-03 21:46:37 79 阅读

【hadoop】5004- Hadoop2.x 机制原理

一、Hadoop1.x 架构以及存在的问题参考文章： http://younglibin.iteye.com/blog/1921385二、Hadoop2.x HA架构以及

元数据

数据

zookeeper

原创 2023-04-03 21:44:09 75 阅读

【hadoop】 1005-yarn测试

hadoop2.x安装后，如何验证yarn正常启动

hadoop

mapreduce

HDFS

原创 2023-04-03 21:42:07 4933 阅读

【hadoop】 1006-ssh免登陆

hadoop集群中为什么要配置ssh免验证3、具体步骤两台机器进行验证： 192.168.2.31 192.168.2.323.1 登陆 192.168.2.32 然后创建文件夹sh 192.168.2.32 mkdir -p

hadoop集群

hadoop

v8

3g

原创 2023-04-03 21:41:49 161 阅读

【hadoop】 1003-hadoop安装

hadoop的安装

hadoop

IP

主机名

原创 2023-04-03 21:41:09 77 阅读

【hadoop】 1004-hdfs验证

hadoop安装后，如何验证hdfs正常启动

hadoop

bc

ci

原创 2023-04-03 21:40:59 78 阅读

【hadoop】 1002-hadoop2.4.1伪分布式搭建

如何在虚拟机上模拟完成hadoop伪分布式搭建

hadoop

xml

vim

原创 2023-04-03 21:40:51 77 阅读

【hadoop】 2007-远程debug

一、在hadoop调试过程，如何调试服务端代码，可以采用远程DEBUG模式进行1、服务器端启动脚本配置debug启动参数2、执行

远程调试

JVM

hadoop

原创 2023-04-03 21:38:14 270 阅读

【hadoop】 2005-RPC协议

1、RPC：远程调用协议。不同进程之间的远程方法调用。RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务

RPC

apache

hadoop

原创 2023-04-03 21:38:01 100 阅读

【hadoop】 2003-hdfs的java接口

一、下载Eclipse版本http://www.eclipse.org/downloads/?osType=linux二、Linux下安装Eclipse1、上传eclipse通过xshell工具上传eclipse-jee-luna-SR1a-linux-gtk.tar.gz 文件到指定目录2、解压 eclipse-jee-luna-SR1a-linux-gt

hadoop

hdfs

java

原创 2023-04-03 21:37:32 114 阅读

【hadoop】 1009-hdfs的shell命令

本章重点讲解hdfs shell ：通过shell命令操作hdfs从以下三点说明一下hdfs shell即可1、hdfs2、hdfs dfs3、hdfs dfs -help hdfsshell命令[hadoop@cloud01 hadoop-2.4.1]$ hdfshadoop@cloud01 hadoop-2.4.1]$ hdfs dfs[

hadoop

hdfs

linux

原创 2023-04-03 21:37:07 117 阅读

【hadoop】 2002-数据同步流程

NameNode概念1、是整个文件系统的管理节点。维护整个文件系统的文件目录书u，文件/目录的元数据和每个文件的对应的数据块

hadoop

元数据

文件系统

原创 2023-04-03 21:36:57 150 阅读

【hadoop】 1007-如何建立网卡和MAC地址的关联

linux系统下如何建立网卡和MAC地址的关联

hadoop

Mask

Ethernet

原创 2023-04-03 21:36:02 81 阅读

【hadoop】 2006-hdfs源码分析下载初始化、下载过程

一、命令行模式上传文件1、查看要上传文件的大小 [hadoop@cloud01 ~]$ ll -h jdk-7u65-linux-i586.tar.gz-rw-

hadoop

linux

上传

原创 2023-04-03 21:33:34 79 阅读

【hadoop】 3006-hadoop对象序列化排序

目录1、原文本文件进行统计，暂不考虑排序功能2、对统计结果统计后，然后考虑排序（由于MapReduce框架中的suffle阶段

hadoop

apache

ide

原创 2023-04-03 21:32:16 59 阅读

【hadoop】 4002-Combiner组件

一、引入Combiner的场景1、引入Combiner的原因每一个map都可能会产生大量的本地输出，Combiner的作用就是对map

hadoop

HDFS

jar

原创 2023-04-03 21:31:35 76 阅读

【hadoop】 4005-如何使用MR统计两个文本信息

一、需求场景两个文件product.txt ,order.txt 分别存放商品信息和订单信息，其中product.txt 内容为商品编码商品名称AK0

hadoop

apache

Text

原创 2023-04-03 21:31:19 77 阅读

100301- ZooKeeper 基本概念介绍

ZooKeeper目录ZooKeeper详解 Client开发（Java）场景案例开发ZK集群WEB界面WEB监控一、ZK体系结构1、Server端具有fast fail特性

数据

应用开发

分布式锁

原创 2023-04-03 21:30:54 66 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

专注大数据和人工智能研究

005 执行mapreduce加强，利用hive统计分析电商网站用户行为指标

【hadoop】5004-Hadoop2.x 集群搭建步骤

【hadoop】 3002-mapreduce程序统计单词个数示例

1002-HBase本地安装方式

100303- ZooKeeper 配置管理代码实现案例

是时候抛弃Eclipse转向IntelliJ了

【hadoop】 4001-Partitioner编程

【hadoop】 3005-hadoop对象序列化编码

1003-HBase集群搭建

1001-HBase基本概念

100302- ZooKeeper详解

【hadoop】 3007-hadoop的提交job的源码分析

【hadoop】 1001-hadoop介绍

【hadoop】5004- Hadoop2.x 机制原理

【hadoop】 1005-yarn测试

【hadoop】 1006-ssh免登陆

【hadoop】 1003-hadoop安装

【hadoop】 1004-hdfs验证

【hadoop】 1002-hadoop2.4.1伪分布式搭建

【hadoop】 2007-远程debug

【hadoop】 2005-RPC协议

【hadoop】 2003-hdfs的java接口

【hadoop】 1009-hdfs的shell命令

【hadoop】 2002-数据同步流程

【hadoop】 1007-如何建立网卡和MAC地址的关联

【hadoop】 2006-hdfs源码分析下载初始化、下载过程

【hadoop】 3006-hadoop对象序列化排序

【hadoop】 4002-Combiner组件

【hadoop】 4005-如何使用MR统计两个文本信息

100301- ZooKeeper 基本概念介绍