Hadoop学习笔记—1.初识hadoop
一、Hadoop的发展历史 Hadoop的起源不得不说如今IT巨头Google。Google是云计算概念的提出者，为了在自身的搜索引擎业务中获得突破，设计了分布式文件系统，从此进入了分布式时代。
2004年，Google公开发表论文，向全世界介绍了MapReduce。基于Google发布的MapReduce报告，在Nutch上开发了一个可工作的M
转载
2023-07-14 09:51:58
152阅读
文章目录前言一、Hadoop是什么二、搭建Hadoop环境1.JDK安装2.搭建HDFS伪分布群2.1 配置环境变量hadoop2.2 配置环境变量hadoop-env.sh2.3配置核心组件core-site.xml2.4 配置文件系统hdfs-site.xml3.搭建YARN伪分布集群3.1配置计算框架 mapred-site.xml3.2配置环境变量 yarn-env.sh3.3配置环境变
转载
2023-09-26 15:52:55
77阅读
数据世界再次发生变化。自从 Hadoop 出现以来，人们就将工作负载从他们的数据仓库转移到了新的闪亮的数据湖中。没过多久，2010 年开源的 Spark 就成为了数据湖上的标准处理引擎。现在我们看到一个反向趋势，回到数据仓库。随着这一趋势，DBT 几乎已成为在现代云原生数据仓库上进行转换的事实上的标准。使用 DBT，人们发现他们可以用更少的工程师和更少的维护更快地构建数据管道。我预测这种趋势只会持
转载
2024-01-15 23:18:13
93阅读
doop似乎已经毫无争议地成了企业大数据技术标准，看上去Hadoop将根植企业，其地位在未来十年似乎都不会动摇。但是GigaOM的专栏作家Mike Miller却发出了
转载
2014-01-27 18:11:00
121阅读
2评论
作者：tjj110 时间： 2007-10-17 文档类型：原创 来自：蓝色理想 jQuery是最近比较火的一个JavaScript库，从del.icio.us/上相关的收藏可见一斑。到目前为之jQuery已经发布到1.2.1版本，而在这之前的一个星期他们刚发布1.2版本，看看他的各个版本的 发布时间 ，不难发现他的飞速发展，每个月都在更新版本；而且不断有人开发出新的 jQuery插件&
转载
2023-07-27 23:40:57
57阅读
java会过时吗 判断编程语言的寿命是一个非常棘手的前景。 对于初学者来说，并不是开发人员可以查看精算表。 此外，没有什么比预言Java结束更令人尴尬的了，只是被证明是错误的。 编程语言没有自然寿命。 即使他们这样做了，该领域还太年轻，无法做出假设。 毕竟，第一批计算机直到1950年代才真正成为一件事。 FORTRAN创建于1954年，至今仍在一些地方使用。 确定创意人工制品的寿命是一门艺
转载
2023-07-24 17:36:37
46阅读
Java Development Kit的最新版本Java 11 已经发布。自从JDK Beta于1995年首次亮相以来，这种高级通用编程语言的平台不断发展。Java 11的发布只遵循Java 10 6个月。这符合Java平台首席架构师Mark Reinhold在2017年提出的建议。他建议以每年两次的发布周期取代两年的时间表。目前，Java 8和Java 11是LTS（长期支持）版本。Java
转载
2023-07-19 02:42:51
26阅读
jQuery(发布时间：2006-01)概念：jQuery是一个快速、简洁的JavaScript框架，是继Prototype之后又一个优秀的JavaScript代码库（或JavaScript框架）。jQuery设计的宗旨是“write Less，Do More”，即倡导写更少的代码，做更多的事情。它封装JavaScript常用的功能代码，提供一种简便的JavaScript设计模式，优化HTML文档
转载
2023-09-02 23:19:42
40阅读
### Hadoop什么时候才需要Zookeeper
#### 1. 流程图
```mermaid
flowchart TD
A[需求分析] --> B[是否需要高可用]
B -- 是 --> C[是否需要协调服务]
B -- 否 --> D[不需要Zookeeper]
C -- 是 --> E[确定Zookeeper的角色]
C -- 否 --> F[
原创
2023-10-09 07:22:37
61阅读
# MySQL MVCC（多版本并发控制）实现指南
## 引言
作为一名刚入行的开发者，你可能对MySQL的MVCC（多版本并发控制）感到好奇。MVCC是一种数据库管理系统用于提高并发性能的技术。在本文中，我将向你介绍如何在MySQL中实现MVCC。
## MVCC简介
MVCC允许多个事务同时访问同一数据，而不互相干扰。每个事务看到的是数据在某一特定时间点的快照。这使得读操作不需要锁定数
原创
2024-07-21 03:48:28
62阅读
# 如何编译Hadoop源码
## 概述
在某些情况下，我们可能需要对Hadoop源码进行编译，比如需要进行定制化开发或者解决特定问题。本文将介绍编译Hadoop源码的整个流程，以及每个步骤需要做的事情和具体的代码示例。
## 编译流程
下面是编译Hadoop源码的整个流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 下载Hadoop源码 |
| 2 | 设置环境变量
原创
2024-02-25 03:59:30
29阅读
数据可视化有很多既定的图表类型，下面我们分别来谈谈这些图表类型，他们的适用场景，以及使用的优势和劣势。 1.柱状图适用场景：它的适用场合是二维数据集（每个数据点包括两个值x和y），但只有一个维度需要比较。优势：柱状图利用柱子的高度，反映数据的差异。肉眼对高度差异很敏感，辨识效果非常好。劣势：柱状图的局限在于只适用中小规模的数据集。 2.折线图适用场景: 折线图适合
转载
2024-01-17 12:30:21
40阅读
关于PMP考试及其后续认证维护的全面解析
【考了pmp什么时候报名】是许多项目管理专业人士经常关心的问题。PMP，即项目管理专业人士，是国际项目管理协会(PMI)推出的全球公认的项目管理资格认证。获得PMP认证不仅意味着对项目管理知识体系有了全面的掌握，更是个人职业发展的重要里程碑。但获得认证并不是一劳永逸的，为了保持认证的有效性，持证人需要每三年进行一次PDU的积累，确保持续学习和进步。
首
原创
2024-02-01 11:19:14
62阅读
# Docker不维护了会怎么样？
## 一、Docker的简介
Docker是一个开源的应用容器引擎，可以让开发者打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器化应用。Docker的出现，极大地简化了应用程序的打包和部署过程，提高了开发和运维的效率。
## 二、Docker的维护
Docker是一个活跃的开源项目，有一个庞大的社区维
原创
2024-05-28 06:44:02
203阅读
Numpy是python中最有用的工具之一。它可以有效地处理大容量数据。使用NumPy的最大原因之一是它有很多处理数组的函数。可以用作数据统计、图像处理、线性代数、傅里叶变换等。对于运算的数据首先表示为numpy数组的形式（向量化）首先导入numpy这个库 然后使用np.array()创建一个数组 也可以使用np.zeros（）创建一个全零的数组 在
转载
2024-08-07 08:07:28
91阅读
GC的基础知识1.什么是垃圾C语言申请内存：malloc freeC++： new deletec/C++ 手动回收内存Java: new ？自动内存回收，编程上简单，系统不容易出错，手动释放内存，容易出两种类型的问题：忘记回收多次回收没有任何引用指向的一个对象或者多个对象（循环引用）2.如何定位垃圾引用计数（ReferenceCount）根可达算法(RootSearching)3.常见的垃圾回收
转载
2024-08-28 16:33:56
84阅读
1、hadoop的诞生Nutch和Lucene之父Doug Cutting在2006年完成Hadoop项目。Hadoop并不是一个单词，它来源于Doug Cutting小儿子对所玩的小象玩具牙牙学语的称呼。就像是google也是由小孩子命名一样。后又经过5年的开发，hadoop在所有云计算系统是稳居第一。Hadoop目前使用最广泛的版本为hadoop-0.20版本。目前最新版本
转载
2023-07-21 14:41:52
192阅读
一、Hadoop的发展历史 说到Hadoop的起源，不得不说到一个传奇的IT公司—全球IT技术的引领者Google。Google（自称）为云计算概念的提出者，在自身多年的搜索引擎业务中构建了突破性的GFS（Google File System），从此文件系统进入分布式时代。除此之外，Google在GFS上如何快速分析和处理数据方面开创了MapReduce并行计算框架，让以往的高端服务器计算变为廉
转载
2023-07-21 14:33:44
112阅读
# Hadoop回收站创建指南
在大数据处理领域，Hadoop是一个重要的生态系统，提供了多种功能来管理和处理大规模数据集。Hadoop的回收站功能为数据安全与管理提供了便利，允许用户在误删除文件后能够恢复这些文件。这篇文章将带您通过一系列步骤来实现Hadoop回收站的创建。
## 流程概览
我们需要经过以下几个步骤来创建Hadoop回收站：
| 步骤 | 描述 |
|------|---
apache hadoop-2.6.0-CDH5.4.1 安装1.安装Oracle Java 8sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-installersudo vi /etc/profile#set java environment
