Spark 和 Hadoop一直是大数据离线计算的必经之路，自己在工作中也经常用到，所以学习一下原理还是很有必要的，不然碰到问题很容易一脸懵逼，其中感觉shuffle是两者的核心之一，故整理下，方便以后回顾。大数据的分布式计算框架目前使用的最多的就是hadoop的mapReduce和Spark，mapReducehe和Spark之间的最大区别是前者较偏向于离线处理，而后者重视实现性。MapRedu
转载
2023-09-20 12:33:56
65阅读
这一个博客介绍一下MapReduce怎样读取关系数据库的数据，选择的关系数据库为MySql，因为它是开源的软件，所以大家用的比较多。以前上学的时候就没有用过开源的软件，直接用盗版，也相当与免费，且比开源好用，例如向oracle，windows7等等。现在工作了，由于公司考虑成本的问题，所以都用成开源的，ubuntu，mysql等，本人现在支持开源，特别像hadoop这样的东西，真的太好了，不但可以
转载
2023-07-12 11:36:58
4阅读
HDFS java API Base首先要拷贝
hadoop配置文件 和 log4j.properties 到maven项目的类路径(e.g. resources 目录)<!--
hadoop客户端依赖包-->
<dependency>
<groupId>org.apache.
hadoop</groupId>
<artifactI
转载
2024-07-24 22:41:57
15阅读
# Hadoop 里的 cp 命令浅析及实践
Hadoop 是一个开源的分布式计算框架，广泛应用于大数据的存储和处理。在 Hadoop 的世界中，文件的复制、移动和管理是非常重要的操作。而 `cp` 命令是其中一种基本命令，用于在 Hadoop 分布式文件系统（HDFS）中复制文件。本文将深入探讨 Hadoop 里的 `cp` 命令，并提供相应的代码示例，以帮助读者更好地理解其用法。
## H
人们对于Mapreduce程序刚開始时都觉得仅仅须要一个reduce就够了。毕竟，在你处理数据之前一个reducer已经把数据都分好类了，有谁不喜欢分好类的数据呢。可是这样我们就忽略了并行计算的优势。假设仅仅有一个reducer。我们的云计算就退化成了一个小雨点。
在多个reducer的情况下，我们须要某种机制来控制mapper的结果的分配问题。这是就Partitioner的工作了。
在默认情
转载
2015-12-24 19:33:00
89阅读
1 Hadoop streaming
[html]
view plain
copy
1. Hadoop streaming是和hadoop一起发布的实用程序。它允许用户创建和执行使用任何程序或者脚本编写的map或者reduce的mapreducejobs。譬如，
2.
3. $HADOOP_
# Java的List里的List平铺：深入理解嵌套集合的扁平化处理
在Java编程中，列表（List）是经常使用的数据结构。它可以保存一组有序元素，支持重复值。然而，随着复杂度的增加，问题也随之而来。例如，当我们处理一个包含其他列表的列表时（即List），我们可能需要将其“平铺”成一个单一的列表（List）。在本文中，我们将探讨这一主题，并提供一些代码示例，以帮助你更好地理解这一过程。
##
1. YARN框架概述1.1 YARN产生和发展简史1.1.1 Hadoop演进阶段 数据、程序、运算资源（内存、cpu）三者组在一起，完成了数据的计算处理过程。在单机环境下，这些都不是太大问题。为了应对海量数据的场景，Hadoop 出现并提供了分而治之的分布式处理思想。通过对 Hadoop 版本演进的简
转载
2023-07-12 21:06:22
107阅读
文章目录大数据（持续更新）v2.09. HDFS9.0我的理解9.1 HDFS架构1. NameNode概述2. DataNode概述3. Secondary NameNode概述9.2 配置HDFS1. 配置hadoop-env.sh2. 配置core-site.xml3. 配置hdfs-site.xml4. 完成配置，NameNode格式化5. 启动NameNode、DataNode6. 检
转载
2024-02-02 09:12:13
52阅读
就是一种集合对象，将所有的对象集中到一起存储。 list里面可以放java对象,可以直接放值。 List list = new ArrayList();
list.add("AAA");
list.add(123); 可自动伸缩，可以插入，移除，排序的一个集合类接口储存的对象可以是任意的 他的一个实现类ArrayList<>的简单用法： 添加方法: List<
转载
2023-05-31 16:42:27
131阅读
List，翻译成中文就是列表的意思。什么是列表？正式点的解释：List是一种有序集合。通俗点：许多值（变量）按照一定顺序放到一个篮子里，这个篮子就是 []。即列表用中括号 []表示，[] 中放的每个值用逗号（英文逗号）隔开。注意：写代码时请将输入法调为英文半角状态举例：家里所有人的称呼，构成一个列表family = ['father', 'mother', 'son', 'daughter']pr
转载
2023-09-18 21:11:50
129阅读
1，底层数据结构 ArrayList底层是数组 严格来说就是一个Object数组 LinkedList底层是链表 在1.7之前用的是循环链表 1.7及之后版本用的是双向链表2,插入和删除是否受元素位置的影响 ArrayList插入和删除时会受到元素位置影响，原因是我们在进行插入删除时会有元素的移动（在中间插入一个元素后边的元素会向后移。如果把中间某个元素删掉，后边的元素会向前移） LinkedLi
转载
2023-10-26 11:50:32
134阅读
Python3 数据结构 本章节我们主要结合前面所学的知识点来介绍Python数据结构。 列表 Python中列表是可变的，这是它区别于字符串和元组的最重要的特点，一句话概括即：列表可以修改，而字符串和元组不能。 以下是 Python 中列表的方法： 方法 描述 list.append(x) 把一个元素添加到列表的结尾，相当于 a[len(a):] = [x]。 list.extend(L) 通
转载
2024-05-31 19:44:00
43阅读
# 删除Hadoop中的数据：一个简单的指南
Hadoop是一个开源的分布式存储和计算框架，它允许我们处理和分析大规模数据集。然而，随着数据量的不断增长，我们可能需要删除一些不再需要的数据以释放存储空间。本文将介绍如何在Hadoop中删除数据。
## 准备工作
在开始之前，请确保你已经安装了Hadoop，并且熟悉基本的Hadoop命令。此外，你需要有Hadoop集群的访问权限。
## 理解
原创
2024-07-23 09:45:50
104阅读
# 如何在 MySQL 中实现对象里的 List
在开发过程中，我们经常需要将多个数据存储在一个对象中。有时候，我们需要在 MySQL 数据库中保存这些对象以及它们的属性（包括可能的列表）。在这篇文章中，我们将一步一步地学习如何在 MySQL 中实现对象里的 List。下面，我们将简要介绍实施的流程，并详细解释每一步需要执行的操作和相应的代码。
## 流程概述
我们将通过以下步骤实现这个功能
任何支持的类型都可以通过 JSON 来表示，例如字符串、数字、对象、数组等。但是对象和数组是比较特殊且常用的两种类型。对象：对象在 JS 中是使用花括号包裹 {} 起来的内容，数据结构为 {key1：value1, key2：value2, ...} 的键值对结构。在面向对象的语言中，key 为对象的属性，value 为对应的值。键名可以使用整数和字符串来表示。值的类型可以是任意类型。数组：数组在
Bigdata-CDH-Hadoop生态系统中的RPC性能瓶颈一、数据块汇报间隔时间二、Namenode优化三、RPC客户端优化 RPC 是远程过程调用 (Remote Procedure Call)，即远程调用其他虚拟机中运行的 java object。 而HDFS的运行建立在RPC上，NameNode的RPC queue time指标可以显示表达这个系统当前状态。 在大规模的集群中，RP
转载
2023-07-12 09:48:33
126阅读
# Java中List的替换操作
## 1. 简介
在Java中，List是一个非常常用的数据结构，它可以存储一组有序的元素，并且可以方便地对这些元素进行增删改查操作。其中，替换操作是指将List中的某个元素替换为另一个元素。
本文将以一个实际案例来教授如何在Java中实现List的替换操作。我们假设你已经对Java编程有一定的了解，以下是整个实现过程的流程图。
```mermaid
st
原创
2023-10-01 09:03:44
322阅读
每个任务最重要的一个过程就Shuffle过程，这个过程会把所有的数据进行洗牌整理，排序，如果数据量大，将会非常的耗时。如图1.1所示，是一个从map端输出数据到合并成一个文件的过程。图1.1 Map文件输出从图中可以看到Map端输出的数据会被提交到一个内存缓冲区当中，当内存满了后，会被Spill到HDFS中，当Map任务结束后，会把所有的临时文件合并到一个最终的文件中，作为一个最终
转载
2023-07-12 09:49:01
144阅读
# Java中List里放List
## 引言
在Java编程中，我们经常会使用集合来存储和操作数据。List是Java中最常用的集合之一，它是一个有序的集合，允许存储重复的元素。有时候，我们需要在List中存储更复杂的数据类型，例如List本身。本文将介绍如何在Java的List中存储List，并提供相应的代码示例。
## 了解List
在深入讨论如何在List中存储List之前，我们首
原创
2023-08-08 04:15:21
146阅读
