基于阿里Anolis OS8.8 的Hadoop大数据平台建设
VNC安装与使用
0 Anolis OS基本操作
0.1 Anolis OS用户与组管理
0.2 系统进程管理
0.3 文件操作命令及权限
0.4 系统目录结构
1 Hadoop大数据处理框架
1.1Hadoop 伪分布模式安装(Hadoop3.0)
1.2 Hadoop Shell 基本操作(Hadoop3.0)
1.3 Hadoop 开发插件安装(Hadoop3.0)
1.4 MapReduce 实例:WordCount(Hadoop3.0)
1.5 MapReduce 实例:去重(Hadoop3.0)
1.6 MapReduce 实例:行统计(Hadoop3.0)
1.7 MapReduce 实例:求平均值(Hadoop3.0)
2 Spark分布式处理框架
2.1 Spark Standalone 伪分布模式安装(Hadoop3.0)
2.2 Spark Shell 操作(Hadoop3.0)
2.3 PySpark安装(Hadoop3.0)
2.4 PySpark SQL-DataFrame文件处理
2.5 PySpark SQL-数据表操作
2.6 案例:PySpark实现用户价值分类
2.7 案例:用户价值分类结果可视化展示
2.8 案例:PySpark 处理数据并进行图表分:
3 Hive数据仓库
3.1 Hive 安装部署(Hadoop3.0)
3.2 Hive 基本操作(Hadoop3.0)
3.3 Hive查询(Hadoop3.0系列)
3.4 Hive 分组排序(Hadoop3.0系列)
3.5 案例:利用HiveSQL离线分析评论数据
4 Sqoop数据迁移工具
4.1 Sqoop 安装(Hadoop3.0)
4.2 Sqoop数据导入导出(Hadoop3.0)
4.3 Sqoop增量数据导入(Hadoop3.0)
4.4 案例:利用Sqoop进行数据迁移至Mysql数据库
hadoop安全报警
5 容器
容器技术
容器平台应用搭建