1.在我们进行数据分析之前要对数据进行检测，数据质量是保证数据应用的基础，它的评估标准主要包括四个方面：完整性、一致性、准确性、及时性。评估数据是否达到预期设定的质量要求，就可以通过这四个方面来进行判断。2.完整性指的是数据信息是否存在缺失的状况，数据缺失的情况可能是整个数据记录缺失，也可能是数据中某个字段信息的记录缺失。不完整数据的价值就会大大降低，也是数据质量最为基础的一项评估标准。数据质量的
转载
2024-04-02 08:30:38
51阅读
一、引入 hadoop的分布式计算框架（MapReduce是离线计算框架） 二、MapReduce设计理念 移动计算，而不是移动数据。 Input HDFS先进行处理切成数据块（split） map sort reduce 输出数据（output HDFS） 三、示例 Mapping是根据我们书写的
原创
2021-07-29 16:21:59
296阅读
第一阶段： java基础核心
1 深入理解Java面向对象思想
2 掌握开发中常用基础API
3 熟练使用集合框架、IO流、异常
4 能够基于JDK8开发
5 熟练使用MySQL，掌握SQL语法
重要技术清单：
java 基础语法：
@分支结构if/switch、循环结构for/while/do while
@方法重载，数组的使用，命令行的参数，可变参数
@
原创
2024-07-16 08:52:19
43阅读
首先，简单概括一下云计算和大数据之间的关系。在很大程度上它们是相辅相成的，最大的不同在于：云计算是你在做的事情，而
原创
2023-04-19 15:53:00
269阅读
离线计算组件1.1 hive hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。但是在转换为MapReduce的计算过程中，计算速度
转载
2023-08-28 20:47:02
100阅读
HDFS: 用于存放一切信息的分布式的文件系统。大数据系统由于其涉及到的数据量较大所以往往需要仰赖于一个数据仓库系统，将所有的数据能够分门别类地存储起来，而HDFS就是这样一个仓库。需要注意一点，HDFS并不是我们通常实际用来查询或者处理数据的数据仓库组件，其更像是仓库本身，是一个偏硬件，偏系统化的概念，用于将所有的信息都囊括进去。MapReduce: 软件框架，编写程序。用于实际进行计算数据
转载
2024-01-15 17:48:21
47阅读
文章目录一、Hadoop&HIVE1.1 HDFS读写流程1.1.1 HDFS读流程1.1.2 HDFS写流程1.2 HDFS文件和目录数过多问题1.3 文件压缩格式及存储格式1.3.1 存储格式1.3.2 压缩格式1.4 MR Shuffle过程1.5 MR任务优化1.5.1 输入小文件过多1.5.2 数据倾斜1.6 HIVE SQL1.7 HIVE架构及解析成MR的过程1.8 HIV
转载
2024-02-22 23:49:20
40阅读
大数据性能测试的目的1.大数据组件的性能回归，在版本升级的时候，进行新旧版本的性能比对。2.在新版本/新的生产环境发布之后获取性能基线，建立可度量的参考标准，为其他测试场景或者调优过程提供对比参考。3.在众多的发行版本中进行测试比对，为PoC测试提供参考数据。4.支持POC测试，得出结论，到时候可以根据业务模型和需求，或者根据客户需求选择不同的方案。5.在客户方进行性能测试，达到客户要求的性能标准
转载
2023-12-15 08:49:39
36阅读
大数据概要流程图解析1)数据采集：定制开发采集程序，或使用开源框架FLUME 2)数据预处理：定制开发mapreduce程序运行于hadoop集群 3)数据仓库技术：基于hadoop之上的Hive 4)数据导出：基于hadoop的sqoop数据导入导出工具 5)数据可视化：定制开发web程序或使用kettle等产品 6)整个过程的流程调度：hadoop生态圈中的oozie工具或其他类似开源产品什么
转载
2023-10-20 13:26:05
78阅读
大数据平台架构：大数据平台组件：简单介绍一下大数据平台的一般架构？列举一些常见的组件1、数据源大数据处理的起点，数据来源一般包括：业务数据、日志数据、埋点数据、第三方数据。2、数据采集数据采集(或数据同步)是将各种数据来源统一采集/同步到数据仓库中，包括全量和增量两种采集方式。常用的采集工具包括：Sqoop：用于HDFS与关系型数据库(如：mysql、Postgres、Oracle)之间的同步。C
转载
2023-11-27 09:01:22
71阅读
Spark SQLSpark SQL 是 Spark 处理结构化数据的程序模块。它将 SQL 查询与 Spark 程序无缝集成,可以将结构化数据作为 Spark 的 RDD 进行查询。RDD 的全称为 Resilient Distributed Datasets，即弹性分布式数据集，是 Spark 基本的数据结构。Spark 使用 RDD 作为分布式程序的工作集合，提供一种分布式共享内存的受限形式
转载
2024-07-04 04:15:32
62阅读
文章目录一、 RDD 概述1.1 RDD 引入之IO流1.2 什么是 RDD1.3 RDD 特性二、RDD 编程2.1 编程模型2.2 RDD的创建及分区数指定2.3 Transformation 转换算子 *2.3.1 Value类型2.3.2 双Value类型2.3.3 Key-Value 类型2.4 Action 行动算子2.5 RDD 序列化2.6 RDD 依赖关系2.7 Spark 任
转载
2024-03-26 16:37:42
22阅读
本文目录Hadoop 原理hdfs读流程hdfs写流程Hive 原理HBase 原理Flume 运行原理kafka 原理MapReduce 原理Spark 原理 Hadoop 原理hdfs读流程HDFS文件读流程：客户端读取数据的过程如下：（1）首先客户端会调用FileSystem. open()方法获取的dfs实例，dfs会向远程的NameNode发送RPC请求。 （2）然后NameNode会
转载
2023-08-01 14:38:05
95阅读
大数据生态圈中有很多优秀的组件，可谓琳琅满目，按组件类别可分为存储引擎、计算引擎，消息引擎，搜索引擎等；按应用场景可分为在线分析处理OLAP型，在线事务处理OLTP型，以及混合事务与分析处理HTAP型等。有些组件主要存储日志数据或者只允许追加记录，有些组件可更好的支持CDC或者upsert数据。有些组件是为离线分析或批处理而生，有些则更擅长实时计算或流处理。本文整理了几个笔者认为非常重要且仍然主流
转载
2022-10-24 16:59:45
170阅读
Hadoop 第一代分布式存储计算框架 Hadoop是一个分布式系统基础架构，由Apache基金会开发，它允许用户在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。Hadoop包含丰富的生态组件，有我们耳熟能详的分布式文件系统HDFS，分布式计算框架MapReduce ...
转载
2021-11-01 11:44:00
625阅读
2评论
大数据处理组件HDFS : 数据存储
Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的
具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了很多便利。hdfs优点：
1、高容错性
1)数据自动保存多个副本。它通过增加副
转载
2023-09-22 15:26:52
131阅读
Pivotal Pivots 开源大数据处理的核心组件Pivotal 今天宣布将其大数据套件的三个核心组件开源，同时商业版本继续提供更高级特性和商业支持服务。这三个开源的组件分别是：GemFire 内存中 NoSQL 数据库HAWQ 大规模并行 SQL 分析处理引擎Greenplum DB 大规模并...
原创
2021-07-26 10:44:24
329阅读
大数据生态圈中有很多优秀的组件，可谓琳琅满目，按组件类别可分为存储引擎、计算引擎，消息引擎，搜索引擎等；按应用场景可分为在线分析处理OLAP型，在线事务处理OLTP型，以及混合事务与分析处理HTAP型等。有些组件主要存储日志数据或者只允许追加记录，有些组件可更好的支持CDC或者upsert数据。有些组件是为离线分析或批处理而生，有些则更擅长实时计算或流处理。本文整理了几个笔者认为非常重要且仍然主流
转载
2022-10-24 17:22:47
314阅读
目录
1 Zookeeper
1.1 Zookeeper 的概述
1.1.1 ZooKeeper 如何保证数据一致性
1.2.2 Zab 一致性协议
1.2:Zookeeper的特点
1.3.Zookeeper的应用场景
1.3.1 数据发布/订阅
1.3.2 命名服务（一般文件名不能相同，使用zookeeper命名）
1.3.3 分布式协调/
原创
2021-04-09 19:11:39
454阅读
1.大数据架构图谱 文件系统 HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。  
