Apache HDFSHadoop分布式文件系统（HDFS）提供了一种在多台计算机上存储大型文件的方法。 Hadoop和HDFS源自Google文件系统（GFS）文件。 在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。 使用Zookeeper，HDFS高可用性功能通过提供在具有热备用的主动/被动配置中的同一群集中运行两个冗余NameNode的选
转载
2024-07-26 12:47:17
51阅读
在现代大数据处理中，数仓（数据仓库）和Hadoop成为了不可或缺的元素。数仓用于有结构化的数据分析，而Hadoop则以其分布式计算能力处理大规模数据集。本篇文章将从环境配置、编译过程、参数调优、定制开发、部署方案、进阶指南六个方面详细记录如何解决数仓与Hadoop的集成问题。
## 环境配置
为确保数仓与Hadoop的高效运行，首先需要搭建合适的环境。以下是我的配置步骤：
1. 确保服务器具
what is hive官方文档The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data alre
转载
2024-09-22 07:52:15
54阅读
一、简介 Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。（如图1.1所示） （如图1.1）二、核心
转载
2023-09-15 22:07:50
169阅读
四：数仓搭建-ODS层首先，先了解一下ODS层的任务即其功能：1）保持数据原貌不做任何修改，起到备份数据的作用。2）数据采用LZO压缩，减少磁盘存储空间。100G数据可以压缩到10G以内。3）创建分区表，防止后续的全表扫描，在企业开发中大量使用分区表。4）创建外部表。在企业开发中，除了自己用的临时表，创建内部表外，绝大多数场景都是创建外部表。4.1 ODS层（用户行为数据）4.1.1&n
转载
2024-03-12 06:45:25
107阅读
1.ODS层（1）HDFS用户行为数据（2）HDFS业务数据 （3）针对HDFS上的用户行为数据和业务数据，我们如何规划处理？（1）保持数据原貌不做任何修改，起到备份数据的作用。（2）数据采用压缩，减少磁盘存储空间（例如：原始数据100G，可以压缩到10G左右）（3）创建分区表，防止后续的全表扫描2.DWD层DWD层需构建维度模型，一般采用星型模型，呈现的状态一般为星座模型。维度建模一般
转载
2023-10-16 11:07:09
77阅读
因为公司需要使用greenplum，而官方的datax版本在导数据到greenplum时，速度是非常慢的（严格说是datax导数据到postgresql，在导入到GP时，数据走的是master，一条一条insert的，当然是慢）。所以，这里采用了别人开发好的支持GP 的datax版本：https://github.com/HashDataInc/DataX首先来说一下GP，GP作为一种数据仓库工具
转载
2023-12-14 14:51:33
76阅读
Hadoop的总体概述Hadoop起源于谷歌的集群系统，谷歌的数据中心使用廉价Linux PC机组成集群，在上面运行各种应用。其核心组件有3个：第一个就是，GFS（GOOgle File Syetem），一个分布式文件系统，隐藏下层负载均衡冗余复制等细节，对上层程序提供一个统一的文件系统API接口。第二个是MapReduce的，谷歌发现大多数分布式运算可以抽象为MapReduce的操作.MAP是把
转载
2024-01-08 13:31:01
72阅读
3.5 Hadoop与数据仓库 传统数据仓库一般建立在Oracle、MySQL这样的关系数据库系统之上。关系数据库主要的问题是不好扩展，或者说扩展的成本非常高，因此面对当前4Vs的大数据问题时显得能力不足，而这时就显示出Hadoop的威力。Hadoop生态圈最大的吸引力是它有能力处理非常大的数据量。在大多数情况下，Hadoop生态圈的工具能够比关系数据库处理更多的数据，因为数据和计算都是分布式的。
转载
2024-04-16 11:24:56
50阅读
中台系统把业务层同性的算法能力，服务能力，业务能力高度集成，有效组织 ，动态规划。更好的帮助上层业务。 今天就让我们看看关于数据中台的问答吧。 1 Q : 什么是数据中台？A : 数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。这些服务跟企业的业务有较强的关联性
转载
2024-01-27 12:21:07
36阅读
# 使用GP（Greenplum）与Hadoop进行数据分析的入门指南
在大数据处理中，Hadoop和GP（Greenplum）可以完美结合，帮助我们高效处理和分析海量数据。本文将带你了解如何实现这一过程，分为几个步骤，并详细介绍每一步需要用到的代码及其解释。
## 流程概述
以下是将GP与Hadoop结合的基本步骤：
| 步骤 | 描述 |
|------|
原创
2024-09-28 06:30:27
50阅读
# Hadoop数仓与EDW数仓的区别
在大数据和数据仓库的快速发展中，Hadoop数仓与EDW（企业数据仓库）各自扮演着不同的角色。虽然二者都是用于数据存储和分析的工具，但它们的架构、技术栈与应用场景存在显著差异。在本文中，我们将探讨Hadoop数仓与EDW数仓的区别，并提供相应的代码示例以帮助理解。此外，我们还将通过类图和流程图来进一步说明二者的不同。
## 一、Hadoop数仓概述
H
一、引言Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统
转载
2024-09-23 17:22:10
31阅读
# 构建数仓 Hadoop 关系流程
## 1. 概述
在构建数仓 Hadoop 关系之前，需要确保已经搭建好了 Hadoop 环境并准备好了要存储的数据。数仓是用于存储和分析大数据的系统，而 Hadoop 则是其中重要的基础设施之一。本文将介绍构建数仓 Hadoop 关系的流程，并指导你如何实现每一步。
## 2. 流程步骤
| 步骤 | 描述 |
| ---- | ---- |
| 1
原创
2024-06-22 03:37:36
23阅读
超越数据仓库数据仓库的架构当前数据仓库的主流架构：分为两个方向一个是 hadoop 体系，一个是 MPP 数据库1、hadoop + hiveHive是建立在Hadoop HDFS基础之上的数据仓库基础框架，数据是保存在HDFS上的，它可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。它将SQL语句转化成 MapReduce 的 Job，然后在 Hadoop上执行，把执行的结果最终反
Hadoop总体概述1Hadoop起源于Google的集群系统，Google的数据中心使用廉价的Linux PC机组成集群，在上面运行各种应用。即使是分布式的新手也可以迅速使用Google的基础设施。核心组件第一个是：GFS(Google FIle System),一个分布式文件系统，隐藏下层负载均衡，冗余复制等细节，对上层程序提供一个统一的文件系统API接口； 第二个是MepReduce：Goo
转载
2024-01-26 08:20:17
12阅读
1、 GC调整默认自动分配GC、
手动修改的话
hadoop-env.sh
export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m"
export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS-Xmx1024m"关于GC的修改参考Namenode
转载
2023-08-20 20:33:17
124阅读
中我们主要实践了使用Eclispe开发工具安装hadoop的开发插件，并且使用hadoop插件连接Hadoop远程集群。本文我们要在上文搭建的hadoop开发环境的基础上开发Hadoop的MapReduce项目。
一、环境准备1.hadoop集群2.安装了hadoop插件的Eclipse
二、创建MapReduce项目创建MapReduce项目可以通过eclispe的MapRedu
转载
2024-06-06 11:25:06
49阅读
最近我们公司在建立数仓，想要建立一套以Greenplum为核心的混合架构数据仓库。在这里，只想谈谈我对数据仓库的一些看法。什么是数据仓库面向主题的，集成的，相对稳定的，反映历史变化的数据集合，用于支持管理决策。 为什么需要数仓首先，我们公司是做高校大数据的。高校的数据源形式多样，oracle、sqlserver、mysql，excel、dbf等等，异构性强。以前我们的做法是将
转载
2024-09-18 19:42:32
88阅读
1. RDD的概念，就是说它会把一个比较大的数据集，然后分成很多个不同的部分，这叫分区。它就是如果有的计算节点
原创
2022-09-02 21:30:00
139阅读
