MoooJL的博客_BigData

MapReduce案例-流量统计

一、MapReduce案例-流量统计源数据源代码 1：需求一: 统计求和统计每个手机号的上行数据包总和，下行数据包总和，上行总流量之和，下行总流量之和分析：以手机号码作为key值，上行流量，下行流量，上行总流量，下行总流量四个字段作为value值，然后以这个key，和value作为map阶

MapReduce

原创 2021-07-20 10:16:54 925 阅读

TXT格式文件插入Hive

1 Hive操作 1.1 创建数据库 create database if not exists myhive; use myhive; 1.2 创建表 row format delimited fields terminated by ',':指定字段之间的分隔符stored as textfil

TXT

原创 2021-07-20 09:49:37 600 阅读

TXT格式文件插入Hbase

将.txt格式文件插入Hbase中，代码如下 package addHbase; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.ap

Hbase

原创 2021-07-20 09:47:47 772 阅读

大数据学习总结02

7、压缩、解压 ①解压：tar -zxvf 压缩文件 [-C] [指定解压目录] tar -zxvf redis-3.2.8.tar.gz #将文件解压到当前目录 tar -zxvf redis-3.2.8.tar.gz -C /root/dir #将文件解压到指定目录 ②压缩：tar -c[z]v

大数据

原创 2021-07-20 09:28:09 128 阅读

大数据学习总结01

一、Linux终端命令 1、显示文件列表命令：ls 例： ls #查看当前目录内容 (缺点: 隐藏文件看不到) ls -a #查看当前目录内容 ,包括隐藏文件 ls -al #查看目录内容的详细信息(查看文件类型、权限、大小等) ls -lh #查看目录内容的详细信息,以K,M,G方式显示文件大小

大数据

Hadoop

Linux

原创 2021-07-20 09:27:25 118 阅读

大数据学习总结03

二、可视化ETL平台——Kettle ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经（extrac过抽取t）、转换（transform）、加载（load）至目的端的过程。ETL是将业务系统的数据经过抽取、清洗、转换之后加载到数据仓库的过程，目的是将分散、零

大数据

Hadoop

Linux

原创 2021-07-20 09:27:22 106 阅读

大数据学习总结04

三、BI数据可视化平台—Superset Superset是一款开源的现代化企业级BI。它是目前开源的数据分析和可视化工具中比较好用的，功能简单但可以满足我们对数据的基本需求，支持多种数据源，图表类型多，易维护，易进行二次开发。 1、入门案例：将数据库里的数据按照要求进行可视化展示通过跟随视

大数据

Hadoop

Linux

原创 2021-07-20 09:27:21 149 阅读

大数据学习总结06

一、Zookeeper 1、Zookeeper理解概念：Zookeeper 是一个开源的分布式协调服务框架，主要用来解决分布式集群中应用系统的一致性问题和数据管理问题特点：Zookeeper 本质上是一个分布式文件系统, 适合存放小文件，也可以理解为一个数据库。 Zookeeper 中存储的其

大数据

Hadoop

Linux

原创 2021-07-20 09:27:19 86 阅读

大数据学习总结05

四、shell编程 1、案例案例01：基本语法案例02：局部变量案例03：特殊字符案例04：运算符例05：if语句案例06：for语句案例07：函数

大数据

Hadoop

Linux

原创 2021-07-20 09:27:18 82 阅读

大数据学习总结07

一、Znode节点属性 dataVersion：数据版本, 每次当 Znode 中的数据发生变化的时候, dataVersion都会自增一下cversion：节点版本, 每次当 Znode 的节点发生变化的时候, cversion 都会自增aclVersion：ACL(Access Control

大数据

Hadoop

Linux

原创 2021-07-20 09:27:16 133 阅读

大数据学习总结08

Hadoop 核心-HDFS 一、HDFS概述在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hado

大数据

Hadoop

Linux

原创 2021-07-20 09:27:15 102 阅读

大数据学习总结09

一、hdfs的命令行使用 1、ls 格式：hdfs dfs -ls URI 作用：类似于Linux的ls命令，显示文件列表 2、-ls -R 格式 : hdfs dfs -ls -R URI 作用: 在整个目录下递归执行ls, 与UNIX中的ls-R类似 3、mkdir 格式：hdfs dfs [-

大数据

Hadoop

Linux

原创 2021-07-20 09:27:14 139 阅读

大数据学习总结10

一、hdfs的高级使用命令 hdfs dfs -count -q -h /user/root/dir1 #查看配额信息 1、数量限额 hdfs dfs -mkdir -p /user/root/dir #创建hdfs文件夹 hdfs dfsadmin -setQuota 2 dir # 给该文件夹下

大数据

Hadoop

Linux

原创 2021-07-20 09:27:12 99 阅读

大数据学习总结11

1、HDFS 文件写入过程 2、HDFS 文件读取过程 3、HDFS 的元数据辅助管理当 Hadoop 的集群当中, NameNode的所有元数据信息都保存在了 FsImage 与 Eidts 文件当中, 这两个文件就记录了所有的数据的元数据信息 edits edits 存放了客户端最近一段时间的

大数据

Hadoop

Linux

原创 2021-07-20 09:27:11 108 阅读

大数据学习总结12

一、HDFS 的 API 操作导入maven依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.5</vers

大数据

Hadoop

Linux

原创 2021-07-20 09:27:10 122 阅读

大数据学习总结14

1、MapReduce 排序和序列化序列化 (Serialization) 是指把结构化对象转化为字节流反序列化 (Deserialization) 是序列化的逆过程. 把字节流转为结构化对象. 当要在进程间传递对象或持久化对象的时候, 就需要序列化对象成字节流, 反之当要将接收到或从磁盘读取的

大数据

Hadoop

Linux

原创 2021-07-20 09:27:08 169 阅读

Hbase的常用shell命令+Java操作

1 Hbase常用shell命令 1.1 进入命令行 hbase shell 1.2 常用命令 help 查看命令的使用描述 help '命令名' whoami 身份(root、user) whoami version 返回hbase版本信息 version status 返回hbase集群的状态信

java

原创 2021-07-20 09:26:18 534 阅读

HDFS的JAVA操作

1 HDFS的必会Java操作 1.1 创建目录 //创建目录 public static void mkdir(String filePath) throws URISyntaxException, IOException, InterruptedException{ FileSystem fs

java

原创 2021-07-20 09:26:16 300 阅读

大数据学习总结13

一、Hadoop-Mapreduce 1. MapReduce 介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。 Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行

Hadoop-Mapreduce

原创 2021-07-20 09:24:53 108 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

mb60f54e5acd811的博客

MapReduce案例-流量统计

TXT格式文件插入Hive

TXT格式文件插入Hbase

大数据学习总结02

大数据学习总结01

大数据学习总结03

大数据学习总结04

大数据学习总结06

大数据学习总结05

大数据学习总结07

大数据学习总结08

大数据学习总结09

大数据学习总结10

大数据学习总结11

大数据学习总结12

大数据学习总结14

Hbase的常用shell命令+Java操作

HDFS的JAVA操作

大数据学习总结13