多源数据集成方法及应用2022年6月份我参加了XX学校数据中台建设，担任系统分析师和架构设计工作，该平台主要
要点： 微服务架构论文需要体现：1 微服务的特点：面向服务的架构的一种，每功能放入一个独立服务（进程）中独立部署（简单
摘要2023年6月我参与了XXX学校教务系统的开发与实施工作，担任系统分析设计师。该系统主要实现学校教学发
基于阿里Anolis OS8.8 的Hadoop大数据平台建设 VNC安装与使用 0 Anolis OS基本操作 0.1 Anolis OS用户与组管理 0.2 系统进程管理 0.3 文件操作命令及权限 0.4 系统目录结构 1 Hadoop大数据处理框架 1.1Hadoop 伪分布模式安装（Had
0.1系统进程管理 【实验目的】 1.了解Anolis操作系统启动过程与运行级别 2.学习Anolis操作系统的进程管理命令与关
0.3 Anolis系统目录结构【实验目的】1.了解Anolis操作系统标准目录结构2.学会如何在终端模拟器中操作目录【实验
1.2 Spark Shell 操作（Hadoop3.0） 【实验目的】 1.熟练掌握常用的hadoop shell命令 【实验原理】 调用文件系统(FS)Shell命令
1.1Hadoop 伪分布模式安装（Hadoop3.0）【实验目的】1、了解Hadoop的3种运行模式2、熟练掌握Hadoop伪分布模式安装流程3、培养
1.4MapReduce 实例：WordCount（Hadoop3.0） 【实验目的】 1.准确理解Mapreduce的设计原理 2.熟练掌握WordCount程序代码编写 3.学会自己编写WordCount程序进行词频统计 【实验原理】 MapReduce采用的是“分而治之”的思想，把对大规模数据
1.3Hadoop 开发插件安装（Hadoop3.0）【实验目的】1.了解Eclipse开发环境的使用2.熟练掌握Hadoop开发插件安
1.5MapReduce 实例：去重（Hadoop3.0）【实验目的】1.准确理解MapReduce去重的设计原理2.熟练掌握MapReduce去重的程序编写3.学会自己编写MapReduce去重代码解决实际问题【实验原理】“数据去重”主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数
1.6MapReduce 实例：行统计（Hadoop3.0） 【实验目的】 1.准确理解Mapreduce的设计原理 2.熟练掌握mapreduce行统计程序代码编写 【实验原理】 MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后
1.7MapReduce 实例：求平均值（Hadoop3.0） 【实验目的】 1.准确理解Mapreduce求平均值的设计原理 2.熟练掌握Mapreduce求平均值程序的编写 3.学会编写Mapreduce求平均值程序代码解决问题 【实验原理】 求平均数是MapReduce比较常见的算法，求平均数
2.1 Spark Standalone 伪分布模式安装（Hadoop3.0）【实验目的】1.熟练掌握Spark Standalone伪分布模式的安装流程2.准确理解Spar
2.2 Spark Shell 操作（Hadoop3.0）【实验目的】1.了解Scala语言的基本语法2.了解Spark Shell数据处理的原理3.了解Spark算子的使用
2.3 PySpark安装（Hadoop3.0）【实验目的】1.学习PySpark的安装配置2.了解PySpark的运行原理【实验原理】PySpark简介：官方对PySpark的释义为：“PySpark is the Python API for Spark”。 也就是说pyspark为Spark提
2.4 PySpark SQL-DataFrame文件处理【实验目的】1.掌握PySpark SQL的基本操作2.了解PySpark SQL对文件的存储【实验原理】Spark SQL重要的是操作DataFrame，DataFrame本身提供了Save和Load的操作，Load：可以创建DataFra
2.5 PySpark SQL-数据表操作 【实验目的】 1.了解PySpark Shell 2.学习使用PySpark Shell模式，创建表及查询数据 【实验原理】 Spark SQL的前身是
2.6 案例：PySpark实现用户价值分类【实验目的】1.分析RFM各自的含义2.创建RFM(R值)得分表3.创建RFM(F值)得分表4.创建用户价值分类表【实验原理】RFM解读：RFM分析法对用户进行量化分类，便于对客户进行差异化营销。RFM模型含义如下：R，Recency，近度指标，表示客户最
2.7 案例：用户价值分类结果可视化展示【实验目的】将用户价值分类结果导入MySQL数据库1.掌握Python连接数据库方式2.掌握
3.1 Hive 安装部署（Hadoop3.0）【实验目的】1.了解Hive的安装部署2.了解Hive的工作原理【实验原理】Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优
2.8 案例：PySpark 处理数据并进行图表分【实验目的】1.学习PySpark的一些算子2.结合Python的一些包进行图表分析【
3.2 Hive 基本操作（Hadoop3.0）【实验目的】1.了解Hive的基本操作2.了解Hive的外部表与普通表的区别【实验原理】Hive定义了一套
3.3 Hive查询（Hadoop3.0系列）【实验目的】1.了解Hive的SQL基本语法2.掌握Hive多种查询方式【实验原理】Hive查询操作过程严格遵守Hadoop MapReduce的作业执行模型，Hive将用户的HQL语句通过解释器转换为MapReduce作业提交到Hadoop集群上，Ha
3.4 Hive 分组排序（Hadoop3.0系列）【实验目的】1.了解Hive中Order by 、Sort by的用法以及区别2.了解Hive中Distribute by
3.5 案例：利用HiveSQL离线分析评论数据【实验目的】利用HiveSQL离线分析评论数据【实验原理】【实验环境】【实验内容】【实验步骤】1.基础概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapR
4.1 Sqoop 安装（Hadoop3.0）【实验目的】1.了解Sqoop的安装部署2.了解Sqoop的工作原理【实验原理】Sqoop是一款开源的工具，
4.2 Sqoop数据导入导出（Hadoop3.0）【实验目的】1.掌握Sqoop的各种导入操作2.掌握Sqoop的各种导出操
4.3 Sqoop增量数据导入（Hadoop3.0）【实验目的】1.掌握Sqoop的时间增量抽取2.掌握Sqoop的字段增量抽取【实验原理】Sqoop在import
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
