Apache Pig是一个用于分析大型数据集的平台，其中包括用于表达数据分析程序的高级语言，以及用于评估这些程序的基础结构。 Pig程序的显着特性是它们的结构适于大量并行化，这反过来使得它们能够处理非常大的数据集。目前，Pig的基础结构层由一个编译器组成，该编译器产生Map-Reduce程序的序列，已经存在大规模并行实现（例如Hadoop子项目）。 Pig的语言层目前由一种称为Pig Latin的
转载
2024-06-23 07:04:56
19阅读
## Hadoop MapReduce和YARN故障处理
在大数据处理中，Hadoop被广泛用于分布式计算。其中，Hadoop MapReduce是一种用于处理大规模数据集的分布式计算模型，而YARN是Hadoop的资源管理系统。然而，在使用Hadoop时，我们可能会遇到一些故障，例如YARN的崩溃。本文将介绍如何处理这种情况，并提供相应的代码示例。
### YARN简介
首先，让我们简要了
原创
2023-08-01 10:46:40
41阅读
# HBase Examples: A Comprehensive Guide
到另外两台虚拟机4、Scala安装5、Spark完全分布式高可用环境搭建6、验证验证 高可用模式是否成功高可用测试（看看是否是假的高可用） 1、下载安装文件链接: https://pan.baidu.c
转载
2023-12-23 22:21:03
294阅读
# 深入理解 Hadoop：使用 `hadoop jar` 命令运行作业
Hadoop 是一个架构框架，允许分布式存储和处理大数据集。它的核心组件是 Hadoop 分布式文件系统 (HDFS) 和 MapReduce。要使用 MapReduce 作业，你可以通过命令行使用 `hadoop jar` 命令。
## 什么是 `hadoop jar`？
`hadoop jar` 是用于提交 Map
原创
2024-09-27 06:54:30
43阅读
记下常用命令，慢慢补充1.hadoop查看hdfs上的目录： hadoop fs -ls /给hdfs上目录授予权限: hadoop fs -chmod 777 /tmp/hive在hdfs上创建一个目录： hadoop fs -mkdir /jiatest把文件上传到hdfs指定目录: hadoop fs -put test.txt /jiatest上传jar包到hadoop上跑：
转载
2023-08-29 14:07:23
138阅读
hadoop的服务器集群的搭建 一、各服务器的jdk安装，环境变量配置. source /etc/profile 二、安装hadoop，上传，解压. 配置五个文件：hadoop-env.sh; core-site.xml; hdfs-site.xml; mapred-site.xml; yarn-site.xml。 三、添加
转载
2023-09-08 20:33:55
114阅读
一个典型的实现Tool的程序：/**MyApp 需要从命令行读取参数，用户输入命令如，$bin/hadoop jar MyApp.jar -archives test.tgz arg1 arg2-archives 为hadoop通用参数，arg1 ,arg2为job的参数*/public class MyApp extends Configured implements Tool {&
转载
2024-06-26 18:08:49
51阅读
MapReduce设计构思如何对付大数据处理场景对相互间不具有计算依赖关系的大数据计算任务，实现并行最自然的办法就是采取MapReduce分而治之的策略。首先Map阶段进行拆分，把大数据拆分成若干份小数据，多个程序同时并行计算产生中间结果；然后是Reduce聚合阶段，通过程序对并行的结果进行最终的汇总计算，得出最终的结果。不可拆分的计算任务或相互间有依赖关系的数据无法进行并行计算！构建抽象编程模型
转载
2023-09-21 09:16:29
74阅读
Hadoop Map/Reduce说明 hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个Map/Reduce作业经常讲数据集切分成独立的块，这些块通过map任务并行处理，框架对map的输出进行排序
转载
2023-09-04 14:59:33
228阅读
在HDFS中所有的Hadoop命令均由bin/hadoop脚本引出，不指定参数运行Hadoop脚本会打印出所有命令的描述。这篇博文总结一下常用的HDFS命令的操作。一、version命令version命令可以打印Hadoop版本的详细信息。$ hadoop version二、dfsadmin命令dfsadmin命令可以查看集群存储空间使用情况和各节点存储空间使用情况。# hadoop dfsadm
转载
2023-07-09 22:15:37
3438阅读
