认知和学习Hadoop，我们必须得了解Hadoop的构成，下面通过Hadoop构件、大数据处理流程，Hadoop核心三个方面进行一下介绍：hadoop中有3个核心组件：分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE —— 实现在很多机器上分布式并行运算分布式资源调度平台：YARN —— 帮用户调度大量的map
转载
2023-05-22 17:45:04
74阅读
配置文件的修改 注意：以下所有操作都在node01主机进行。 1.1 hadoop-env.sh 1、介绍 文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统中设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前的 ...
转载
2021-10-27 11:43:00
71阅读
2评论
文章目录大数据概念特点应用场景Hadoop概述hadoop发展历史hadoop三大发行版本hadoop的优势hadoop的组成HDFSYARNMapReduce三者之间的关系大数据技术生态体系Hadoop的运行环境搭建模板虚拟机搭建安装 Workstation 15安装Centos第一步安装硬件第二步安装软件第三步配置IP第四步使用Xshell访问安装软件包安装JDK安装Hado
转载
2023-09-05 09:59:56
11阅读
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理适用人群有一定Java基础的学生或工作者课程简介
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。
Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够
转载
2024-06-18 21:54:11
26阅读
什么是hadooop，什么是hadoop-ha（高可用）hadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和Mapreduce下图是hadoop生态系统，集成spark生态圈。在未来一段时间内，hadoop将于
转载
2023-07-12 12:32:10
58阅读
1、大数据概论我接触大数据准确来说是在我上大二的时候，我在跟我的系主任一起做项目的时候，那个时候处理的国外的数据，大约是由500W的数据，当时我用的舍友的笔记本，直接卡到打不开，也就是在那个时候，才有了大数据的概念。 好了，进入正题！1.大数据概念大数据：指无法在一定时间范围内用日常的软件工具进行分析、处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长和多
转载
2023-07-14 16:08:58
46阅读
第一章：hadoop介绍大数据技术介绍数据的来源在早期，数据是通过调查问卷的方式进行，但互联网的兴起，数据的调查不需要问卷方式，可以通过用户的操作行为来记录并进行统计，且并数据是大规模的存储在存储服务器集群中。什么是大数据大数据（bigdata），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量
转载
2023-09-14 13:22:54
60阅读
目录一、大数据及Hadoop入门1.1 单节点、分布式、集群1.1.1 大数据的概念1.1.2 大数据的本质二、HDFS Shell命令2.1、常用相关命令2.2、上传文件2.2.1、上传文件介绍2.2.2上传文件操作2.3、下载文件2.4、删除文件2.5、创建目录2.6、查看文件系统2.7、拷贝文件三、分布式系统原理3.1、数据块四、HDFS架构五、Datanode服役（上线）和退役（下线）5.
转载
2024-03-04 06:20:50
19阅读
大数据-hadoop入门与部署大数据-hadoop入门与部署启蒙分治思想单机处理大数据问题集群分布式处理大数据的辩证HadoopHadoop项目/生态hadoop-hdfs存储模型架构设计角色功能元数据持久化安全模式HDFS中的SNN副本放置策略读写流程HDFS写流程HDFS读流程持久化机制用法部署基础设施部署配置初始化运行命令行使用伪分布式: (单一节点)完全分布式: (四节点) 大数据-ha
转载
2023-10-06 21:12:48
40阅读
Hadoop教程(一) Hadoop入门教程 1 Hadoop入门教程Hadoop是Apache开源组织的一个分布式计算开源框架(http://hadoop.apache.org/)，用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop框架中最核心设计就是：HDFS和MapReduce，HDFS实现存储，而MapR
转载
2023-09-13 23:35:41
38阅读
大数据技术之Hadoop入门（第二篇）继续上篇文章Hadoop入门 今天来简单的说一下HDFS中的SecondaryNameNode 副节点 和持久化 在上篇文章中说过了Secondary NameNode(Snn 后面都写作SNN)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照一、SNNSNN的主要工作（1）Secondary NameNode询问NameNode是否
转载
2024-05-31 13:01:55
34阅读
文章目录HDFS的操作环境配置免密码登录Linux系统的步骤第一步： 通过该命令获得密钥第二步：复制文件第三步：免密登录jdk的配置部署HDFS的环境解压hadoop文件java的二次配置配置core-site.xml 核心配置NameNode配置hdfs-site.xml 基础配置SecondaryNode配置slaves文件格式化hdfs 非常重要启动集群角色进程查看：jpshadoop安装
转载
2023-07-20 17:52:14
53阅读
P01【01-尚硅谷-大数据采集技术-Canal（课程介绍）】canal：实时采集mysql中变化的数据，新增、修改、删除，使用canal实时监控到修改的数据，并将修改的数据写到消息队列供实时计算框架(spark streaming、flink)使用。前置知识：Kafka：将采集到的实时数据写入消息队列中，大数据领域最为主流的消息队列kafka。Zookeeper：kafka的搭建及运行依赖于
转载
2024-09-29 20:14:20
103阅读
上传centOS6.7-hadoop-2.6.4.tar.gz
解压 tar -zxvf centOS6.7-hadoop-2.6.4.tar.gz
hadoop相关修改配置
1 修改 /root/apps/hadoop/etc/hadoop 目录下的hadoop-env.sh
vi hadoop-env.sh 中 export JAVA_HOME=${JAVA_HOME}修改为 export
转载
2018-12-23 19:10:00
120阅读
2评论
hadoop集群安装部署文档一、 系统环境配置1、修改主机名2、添加主机名映射3、创建集群管理用户,设置密码4、分配用户sudo权限5、创建用户文件存放及安装目录6、关闭防火墙7、安装jdk,配置jdk环境变量二、 Hadoop集群搭建1、安装hadoop,配置hadoop环境变量2、修改 hadoop-env.sh 文件3、执行本地模式wordcount案例4、克隆虚拟机5、修改网络配置及主机
转载
2024-05-15 06:23:34
63阅读
linux 安装 hadoop 单机 大数据
原创
2022-11-25 10:54:08
158阅读
学习目的· 了解大数据的概念及其特征· 了解Hadoop的优势· 掌握Hadoop的生态体系Hadoop作为一个能够对大量数据进行分布式处理的软件框架，用户可以利用Hadoop生态体系开发和处理海量数据。由于Hadoop可靠及高效的处理性能，逐渐成为分析大数据的领先平台。1.1 什么是大数据从字面意思上看，大数据指的是巨量数据。但是，每个人对大数据的理解是不同的，难以有一个准确的定义。最早提出“大
转载
2023-08-27 23:03:36
107阅读
前言前面我们主要分析了搭建Hadoop集群所需要准备的内容和一些提前规划好的项，本篇我们主要来分析如何安装CentOS操作系统，以及一些基础的设置，闲言少叙，我们进入本篇的正题。技术准备VMware虚拟机、CentOS 6.8 64 bit安装流程因为我的笔记本是Window7操作系统，然后内存配置，只有8G，内存配置太低了，当然为了演示，我会将Hadoop
转载
2021-07-28 17:09:53
114阅读
Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点1、Hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点
转载
2024-05-17 12:55:21
70阅读
Hadoop系列之1、Zookeeper介紹
Hadoop系列之2、Zookeeper实操
Hadoop系列之-1、大数据介绍
Hadoop系列之-2、HDFS分布式文件系统
Hadoop系列之-3、HDFS高阶+实操
Hadoop系列之-4、MapReduce分布式计算
Hadoop系列之-5、MapReduce高阶部分
Hadoop系列之-6、Yarn资源调度器
Hadoop
转载
2023-07-14 16:08:49
57阅读
