简介：Hadoop是基于JAVA语言开发的Apache开源框架，以分布式文件系统 HDFS(Hadoop Distributed File System) 和 MapReduce(Google MapReduce 的开源实现) 为核心的 Hadoop，为用户提供了系统底层透明的分布式基础构架。Hadoop 三大核心：HDFS: Hadoop Distributed File System 分布式存
转载
2023-08-31 01:55:49
860阅读
大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）大数据的应用：预测犯罪的发生；预测禽流感的散布；美国选举结果；利用手机定位数据和交通数据建立城市规划；电商把假货卖给谁等等。大数据涉及到的技术：数据采集；数据存储；数据处理/分析/挖掘；可视化。HadoopHadoop是一个由Apache基金会
转载
2023-07-16 22:32:52
17阅读
hadoop3.x搭建学习Hadoop概述什么是hadoop？1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。Hadoop四大特点1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
转载
2023-07-21 14:35:44
34阅读
该文章已更新到语雀中，后台回复“语雀”可获取进击吧大数据整个职业生涯持续更新的所有资料(密码每周更新一次)入门大数据，通常先从Hadoop学习。通过本文可以学习到以下几点：Hadoop基本特性HDFS读流程HDFS写流程HDFS追加流程HDFS数据块的一致性保障一、Hadoop基本特性Hadoop是一种分布式系统基础架构，由Apache基金会维护，Hadoop框架最核心的设计就是MapReduce
转载
2023-07-24 12:49:08
85阅读
1 hadoop是什么hadoop：适合大数据的分布式存储和计算平台其中HDFS负责将海量数据进行分布式存储，mapreduce负责提供对数据的计算结果的汇总hadoop是一个高容错、高延时的分布式文件存储系统和高并发的批处理系统2 hadoop的四大特性（优点）是什么扩容能力（Scalable）：集群不够时，能够很方便的进行扩展成本低（Economical）：可以用很多个普通廉价的机器组成服务器
转载
2023-07-12 13:08:43
91阅读
3 Hadoop新特性Hadoop2.x新特性①集群间数据拷贝两个远程主机之间文件复制# 将本地文件传到hadoop103节点
scp -r hello.txt root@hadoop103:/user/atguigu/hello.txt
# 将hadoop103节点上的文件下载到本地
scp -r root@hadoop103:/user/atguigu/hello.txt hello.txt
转载
2024-07-24 16:36:30
21阅读
Hadoop之计算框架Tez的基本使用Tez概述Tez编译下载Tez源码修改pom.xml开始编译Tez与Hadoop上传Tez到HDFS创建配置文件tez-site.xml配置环境变量Tez和Hadoop的兼容作业测试Tez与Hive整合拷贝Jar修改hive-site.xml配置文件重启HiveTez参数设置Tez优化内存大小设置JVM参数设置Hive内存Map Join参数设置 Tez概述
转载
2023-11-19 22:30:23
91阅读
Hadoop介绍 一. Hadoop是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础架构，主要就是解决数据存储和数据分析计算的问题（通过HDFS和MapReduce实现）。分布式就是多个服务器做同样的一件事。广义上来说，hadoop通常指hadoop生态圈。二. Hadoop的三大发行版本： Apache版本: 最原始（基础）的版本，对于入门学习最好 Cloudera在大型互联
转载
2023-07-01 12:04:03
104阅读
什么是 Hadoop？ Hadoop 是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件（即低成本硬件）节点的集群上的那些数据。总之，Hadoop = 分布式存储+分布式计算 。Hadoop的四大特性（优点）扩容能力（Scalable）：Hadoop是在可用的计算机集群间分配数据并完成计算任务的，这些集群可用方便的扩展到数以千计个节点中。成本低（Economical）：Had
转载
2023-07-30 17:37:09
1367阅读
1.Hadoop是什么hadoop是Apache基金会所开发的可靠、高效、可伸缩、可扩展的分布式计算开源框架，利用服务器集群，根据用户的自定义业务逻辑对海量数据进行分布式处理，核心组件包括：HDFS(分布式文件系统)，YARN(运算资源调度系统)，MAPREDUCE(分布式运算编程框架)。2. Java的特性1.封装(Encapsulation) ：定义：是指隐藏对象的属性和实现细节，仅对外提供公
转载
2024-07-01 12:08:35
36阅读
3gp编辑 3GP是一种3G流媒体的视频编码格式，使用户能够发送大量的数据到移动电话网络，从而明确传输大型文件，如音频，视频和数据网络的手机。3GP是MP4格式的一种简化版本，减少了储存空间和较低的频宽需求，让手机上有限的储存空间可以使用。目录1简介2功能介绍3格式43GP转换器5转换工具6软件操作7相关应用8压缩软件9格式转换10文件制作11技术细节12编码方式133gpp143GPP
一、iOS操作系统的特性 1.iOS的全封闭，使其应用必须经过appstore的严格的审核上架后，才能通过itunes下载安装。 2.ios4.2.1之后支持多任务 3.ios支持推送通知服务 系统特性及系统使用习惯方面：1. &
转载
2023-07-25 10:15:39
352阅读
集群与分布式集群集群是由多个完成相同功能的服务器节点组成的集合集群中每个服务器节点处理相同的任务或存储相同的数据集群的关键特性是可扩展性和高可用性（支持负载均衡、错误恢复）分布式分布式是将一个系统拆分为多个不同的子系统，每个子系统运行在一个服务器节点上，最终共同完成系统的功能分布式中每个服务器节点处理不同的任务或存储不同的数据分布式的关键特性是高性能和高可靠性分布式软件系统上运行的单个服务器节点可
转载
2023-07-12 13:29:20
141阅读
Mysql高级1. 索引1.1 索引概述1.2 索引优势劣势1.3 索引结构1.3.1 BTREE 结构1.3.2 B+TREE 结构1.3.3 MySQL中的B+Tree1.4 索引分类1.5 索引语法1.5.1 创建索引1.5.2 查看索引1.5.3 删除索引1.5.4 ALTER命令1.6 索引设计原则2. 视图2.1 视图概述2.2 创建或者修改视图2.3 查看视图2.4 删除视图3. 存
转载
2023-09-22 10:14:14
57阅读
# 学习Hadoop特性
Hadoop 是一个开源的分布式计算平台，旨在处理大规模数据存储和处理。对于刚入行的小白来说，了解其特性是让你理解这个框架工作原理的重要一步。本文将通过流程表格、代码示例、类图和序列图来帮助你理解Hadoop的特性。
## 1. Hadoop的特性概述
Hadoop的主要特性包括：
- **分布式存储**：能够将数据分散存储在集群中的不同节点上。
- **高容错性
基于jdk1.8（最低版本要求）mr采用基于内存的计算，提升性能（快spark 10倍）hdfs 通过最近black块计算，加快数据获取速度(块大小：256M)支持多NameNode(实现了更加可靠的HA)引入EC纠删码技术(EC:Erasure Coding) 存储空间节省50%精简了内核7．hadoop shell脚本重构默认端口修改9.支持数据的balancer（平衡）Intr...
原创
2023-03-02 05:34:23
105阅读
首先，它是一个文件系统。有一个统一的命名空间——目录树, 客户端访问hdfs文件时就是通过指定这个目录树中的路径来进行其次，它是分布式的，由很多服务器联合起来实现功能；hdfs文件系统会给客户端提供一个统一的抽象目录树， Hdfs中的文件都是分块（block）存储的，块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中...
原创
2021-07-02 13:44:00
169阅读
首先，它是一个文件系统。有一个统一的命名空间——目录树, 客户端访问hdfs文件时就是通过指定这个目录树中的路径来进行其次，它是分布式的，由很多服务器联合起来实现功能；hdfs文件系统会给客户端提供一个统一的抽象目录树， Hdfs中的文件都是分块（block）存储的，块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中...
原创
2022-01-21 09:50:15
77阅读
今天看了下hadoop官网，2.5.2版本已经发布
原创
2022-10-28 06:42:13
82阅读
# Hadoop 相关特性介绍
Hadoop 是一个开源的分布式计算框架，主要用于处理和存储大规模数据。它以其高可扩展性、容错性和大数据处理能力，成为数据科学和大数据分析领域的首选工具。本文将介绍 Hadoop 的一些相关特性，并通过示例代码进行说明。
## Hadoop 的组成
Hadoop 主要由以下核心组件构成：
1. **Hadoop Distributed File System
