先来几个名词解释： hadoop：apache基金会的开源分布式计算平台。 MapReduce ：hadoop的分布式计算模型，由map任务和reduce任务组成。 Jobtracker ：hadoop计算系统的总控。Tasktracker ：hadoop计算系统的子节点。 Slot(槽位) ：tasktracker的最小计算分配单元，一个槽位可以
转载
2024-03-25 16:12:16
25阅读
一、SQL on Hadoop过去五年里，许多企业已慢慢开始接受Hadoop生态系统，将它用作其大数据分析堆栈的核心组件
转载
2022-07-28 14:13:56
85阅读
声明：代码的运行环境为Python3。Python3与Python2在一些细节上会有所不同，希望广大读者注意。本博客以代码为主，代码中会有详细的注释。 之前我写过一篇文章叫《Python实现K-Means聚类算法》，这篇文章主要是在之前的基础上介绍K-Means算法的改进版——K-Means+
HAWQ手动安装及使用手册1 HAWQ简介HAWQ 是 Pivotal 设计的一个大规模并行 SQL 分析处理引擎，支持事务明
原创
2023-02-21 10:14:32
226阅读
环境 操作系统Ubuntu 12.04 64位 JDK 1.7 gcc 4.6.3 所需软件包 gcc、ant、lzo、lzo编码/解码器、lzo-devel依赖（lzo-2.06-1.el5.rf.x86_64.rpm、lzo-devel-2.06-1.el5.rf.x86_64.rpm） 概要步骤 1.安装和更新gcc、ant 2.在各个节点安装l
转载
2023-09-13 23:03:59
36阅读
解密ApacheHAWQ——功能强大的SQL-on-Hadoop引擎本文由常雷博士在高可用架构群所做的分享整理而来。转载请注明高可用架构公众号ArchNotes。常雷博士，Pivotal中国研发中心研发总监，HAWQ并行HadoopSQL引擎创始人，PivotalHAWQ团队负责人，曾任EMC高级研究员。专注于大数据与云计算领域，在国内外顶级数据管理期刊和会议发表数篇论文，并拥有多项美国专利。分享
原创
2020-11-09 11:19:23
1162阅读
如果想实现将 Client端的 File并行写入到 各个Datanode中，首先， 应该修改的是，DistributedFileSystem中的create方法，在create 内部调用FSNamesystem中的方法的时候，应该增加向NameNode发送，上传文件的大小所需要的blocks的数目。然后，调用分配块的相关方法， 在NameNode中 所存放的系统树中添加相关的节点后（ INodeF
转载
2023-07-13 14:27:13
41阅读
注意：使用xysnc，出现权限问题，使用 root 一、基本配置 1、hosts 和 hostname 2、开启 ssh 和 无密连接 3、固定静态IP 4、配置 xsync 5、安装配置JDK 6、安装配置Hadoop 7、修改权限 (若不修改权限会出现权限问题) sudo chown -R to
原创
2021-07-15 13:47:28
413阅读
# Hadoop 并行任务管理
在大数据处理领域，Hadoop 是一个被广泛使用的开源框架，用于存储和处理大规模数据集。Hadoop 提供了分布式存储和计算能力，通过将数据分散存储在多台计算机节点上，并利用MapReduce算法进行并行处理，实现高效的数据处理和分析。
在 Hadoop 中，任务的并行管理是非常重要的，它可以帮助提高数据处理的效率和速度。本文将介绍 Hadoop 并行任务管理的
原创
2024-07-03 06:55:09
46阅读
HAWQ架构图的描述
在大数据分析和处理的领域中，HAWQ（Hadoop Advanced Query）架构图是至关重要的，它为数据查询和分析过程提供了一个清晰的视图。在这篇博文中，我将详细记录解决“HAWQ架构图”问题的过程，包括背景描述、技术原理、架构解析、源码分析、性能优化和扩展讨论。
## 背景描述
在大数据的处理过程中，数据查询的性能和效率显得尤为重要。HAWQ架构正是为了解决这种
介绍HANA 关于HANA的中文资料似乎比较少，整理了一下，抛砖引玉，有错请指出：）HANA是什么 HANA是一个软硬件结合体，提供高性能的数据查询功能，用户可以直接对大量实时业务数据进行查询和分析，而不需要对业务数据进行建模、聚合等。用户拿到 的是一个装有预配置软件的设备。至于HANA的云服务，只是对用户而言可以在不购买相关硬件的情况下享受HANA的高性能，而HA
转载
2023-07-20 20:15:00
46阅读
什么是Hive？Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive基于Hadoop来完成工作。 Hive是基于Hadoop的一个数据仓库工具（E抽取T转换L加载），可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1.Hive处理的数据存储在HDFS 2.Hive分析（翻译工作）数据底层的实现是MapReduce
转载
2023-07-12 11:14:05
69阅读
# Hadoop并行上传多个文件实现方法
## 简介
在使用Hadoop进行大数据处理时，有时我们需要同时上传多个文件到HDFS。本文将教会你如何通过编程实现Hadoop的并行上传多个文件功能。
## 整体流程
下面是整个实现过程的流程图：
```mermaid
journey
title Hadoop并行上传多个文件实现方法
section 创建配置
section 构建文
原创
2023-12-31 10:29:38
328阅读
Apache Hawq功能测试，包括tpc-h、gpfdist、pxf、hive、hbase、hdfs等
原创
2018-08-16 17:19:09
3252阅读
环境清单：主机1: 内网: 192.168.6.165主机2: 内网: 192.168.6.166主机3: 内网: 192.168.6.167系统配置清单： IP HOSTNAME CPU MEM DISK RELEASE 192.168.6.1...
原创
2021-12-27 09:32:40
311阅读
并行写，并行读，写多份 HDFS 是在一个大规模分布式服务器集群上，对数据分片后进行并行读写及冗余存储。因为 HDFS 可以部署在一个比较大的服务器集群上，集群中所有服务器的磁盘都可供 HDFS 使用，所以整个 HDFS 的存储空间可以达到 PB 级容量。· HDFS 的关键组件有两个，一个是 DataNode，一个是 NameNode。&n
转载
2023-09-07 21:50:55
118阅读
最近在做hadoop的时候，总结了一些hadoop的一些基本的功能运用和一些基本性能测试，记录一下，希望可以帮助大家，由于输出信息太多，在这里只介绍命令，具体输出信息大家可以自己试验一下。不同的hadoop版本里自带的测试类也不尽相同，我的版本是2.7.3，里面的测试类是hadoop-mapreduce-client-jobclient.jar，有的hadoop版本里面的类名是hadoop-Tes
转载
2023-09-01 08:40:58
73阅读
Hadoop之MapReduce任务执行流程图中名词的解析1.job表示一个MapReduce作业，负责监控作业的运行状态，它维护了一个作业的状态机，以实现异步执行各种作业相关操作2.Task表示一个MapReduce作业的某个任务，负责监控一个任务的运行状态。它维护了一个任务状态机，以实现各种任务相关的操作3.MRAppMasterMRAppMaster是MapReduce的Applicatio
转载
2023-09-24 19:27:48
68阅读
步入大数据的第一步：必须学会搭建大数据集群的框架那么第一步必须要在linux系统上搭建Hadoop集群目录一、安装并配置虚拟机（centOS7）二、克隆出三台虚拟机三、安装及配置JDK四、安装Hadoop五、Hadoop的三种运行模式学习过程1.本地运行模式官方Grep案例过程记录官方WordCount案例过程记录2.伪分布式运行模式启动HDFS并运行MapReduce程序启动YARN并运行Map
转载
2023-07-14 16:15:44
79阅读
优化工作：数据表分区尽量采用数值类型字段，如Date类型转换为距离1970-01-01的绝对天数。SQL语法：尽量避免betweenand的使用(查看查询计划，影响不大)，多个子查询时尽量使用CTE（withvas…）查询。根据表的数据量以及大多数查询的类型设计数据分布策略（随机分布or哈希分布）以及bucketnum参数设置。冷热数据存储到不同schema相同的表中，尽量减小热数据所在表的分区数
原创
2018-08-18 16:34:53
5794阅读
点赞
