备注：hadoop安装的坑是真的多，大家警惕1. 环境要求 X64的jdk1.8 使用 Java -version 查询jdk安装信息2.下载文件hadoop3.2.1下载下面是百度网盘的下载连接，也可以自行去官网下载 链接：https://pan.baidu.com/s/1WbZ
转载
2023-07-24 14:26:20
107阅读
文档内容：
1：下载《hadoop权威指南》中的气象数据
2：对下载的气象数据归档整理并读取数据
3：对气象数据进行map reduce进行处理
文档内容： 1：下载《hadoop权威指南》中的气象数据 2：对下载的气象数据归档整理并读取数据 3：对气象数据进行map reduce进行处理关键词：《Hadoop权威指南
转载
2023-07-19 15:51:49
57阅读
环境：三台虚拟机，centos7，hadoop2.9.2，zookeeper3.41、zookeeper集群 2、hadoop-env配置java_home路径（每个节点都要配置为这个节点所在及其的java home路径） 3、配置core-site.xml <!-- hdfs集群使用名称为mycluster的集群，在hdfs-site中配置的nameservices -->
配置VirtualBox 新建一个虚拟机 ps：步骤可参照我之前博客一、安装准备jdk-8u221-linux-x64.tarhadoop-2.6.0-cdh5.14.2.tar.gz ps:如何配置jdk可参照我之前的博客jdk安装配置这里就不一一赘述了话不多说我们直接开始 切换至software 文件目录： cd /software 将准备好的文件拖入software 目录下 将文件解压至 o
转载
2023-09-20 12:01:29
98阅读
Hadoop四、数据仓库基础与Apache Hive入门1. 数据仓库基本概念1.1 数据仓库概念1.1.1 数仓概念数据仓库（英语：Data Warehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持（Decision Support）。1.1.2 数仓专注分析数据仓库本身并不“生产”任何数据，其数据来源于
转载
2023-12-29 23:45:05
7阅读
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的核心是HDFS和MapReduce。目前在各大招聘网站，基于Hadoop的大数据技术存在大量的稀缺人才。正是基于此尚硅谷最新推出了一套基于Hadoop的大数据视频教程，本文免费分享给大家！Hadoop框架主要用来解决海量数据的
原创
2021-05-05 09:48:49
148阅读
文章目录〇、要点一、概念1.1 Hadoop是什么1.2 Hadoop发展历史1.3 Hadoop的三大发行版本1.4 Hadoop的优势1.5 Hadoop的组成1.5.1 HDFS架构概述1.5.2 Yarn架构概述1.5.3 MapReduce架构概述1.5.4 HDFS、Yarn、MapReduce三者的关系1.6 大数据技术生态体系1.7 推荐系统案例二、环境准备2.1 模板
转载
2023-12-08 12:52:43
26阅读
p01 课程整体介绍p02 大数据的概念p03大数据的特点p04 05 大数据应用场景p06 未来工作内容p07hadoop入门 课程介绍p08 09 hadoop是什么p 10 hadoop3大发行版本p11 hadoop优势p12 hadoop 1 2 3版本区别p13 HDFS概述NameNode DataNode SecondNameNodep14 Hadoop入门 YARN概述Resou
转载
2023-09-22 13:31:31
85阅读
目录准备工作：A.安装jdkB.集群之间进行秘钥认证C.修改节点的名称 解压缩安装包 修改配置文件1.修改 core-site.xml2,修改 hdfs-site.xml3.修改workers4.修改hadoop-env.sh 文件5.1每个节点都要进行安装包的解压缩，5.2配置文件分发到其他的节点，6.修改profile 配置文件异常：1.cannot s
转载
2024-05-09 12:41:55
270阅读
Hadoop版本主要分为原生Apache Hadoop版和Hadoop商业发行版两种，而其中商业发行版Hadoop多为原生Apache Hadoop的集群模式下的优化版，除少数社区版外，商业发行版大多需要付费使用，且对于初学者而言使用难度较大，因此本教程主要采用Apache Hadoop进行安装与使用方面教学。同时，兼顾一线企业实际使用差别和教学PC机器性能，本次课程将主要采用Apache Had
转载
2023-07-12 13:44:51
805阅读
在这里我使用的linux版本是CentOS 6.4 CentOS-6.4-i386-bin-DVD1.iso 下载地址： http://mirrors.aliyun.com/centos/6.8/isos/i386/
0.使用host-only方式 将Window
转载
2023-08-24 20:07:24
134阅读
hadoop安装真的到处是坑啊。下面分享一下我个人安装的过程与心得。也是为了做个笔记。一、首先说一下要准备的东西1.需要有一个系统，linux也好还是windows也好只要有一个就行，但是推荐用linux2.准备对应版本的jdk3.对应版本的hadoop开始首先我们来说一下你的安装机。你采用在本机上在虚拟一个出来借助虚拟及软件。一个也去租用一个云主机。也可以自己准备一台机器。下载ceonts6.5
转载
2023-07-20 17:49:41
182阅读
文章目录Hadoop1、安装2、基本操作总结 I know, i know 地球另一端有你陪我 HadoopHadoop是一个适合海量数据的分布式存储和分布式计算的平台三大组件hdfs： 是一个分布式存储框架，适合海量数据存储mapreduce： 是一个分布式计算框架，适合海量数据计算yarn： 是一个资源调度平台，负责给计算框架分配计算资源 1、安装1 上传 hadoop 安装包并解压至
转载
2023-08-21 11:40:33
120阅读
镜像环境：centos7_64位，可去官网进行下载hadoop版本：hadoop-2.8.5,可去官网下载安装hadoop的前提必须要安装jdk，这个很简单的，不易细说jdk的安装。一、hadoop下载，我这里下载的是hadoop-2.8.5.tar.gz二、hadoop安装（1）、在虚拟机下新建目录soft,命令：mkdir soft（2）、将下载的hadoop上传到虚拟机下，可使用工具File
转载
2023-07-18 13:03:24
96阅读
hadoop1. hadoop简介2.hadoop安装3. 单节点hadoop配置，做一个伪分布式hdfs4. 完全分布式的hdfs4.1 节点的热添加(不关闭dfs基础上添加节点)4.2 mapreduce(作用运行程序) 1. hadoop简介hadoop的核心是： HDFS: Hadoop Distributed File System 分布式文件系统 YARN: Yet Another
转载
2023-09-18 13:38:22
55阅读
Hadoop从这里开始!和我一起学习下使用Hadoop的基本知识，下文将以Hadoop Tutorial为主体带大家走一遍如何使用Hadoop分析数据!这个专题将描述用户在使用Hadoop MapReduce(下文缩写成MR)框架过程中面对的最重要的东西。Mapreduce由client APIs和运行时(runtime)环境组成。其中client APIs用来编写MR程序，运行时环境提供MR运行
转载
2024-08-02 14:43:07
47阅读
一、查看一堆文件共有多少行查看file1/file2目录下所有文件总共多少行hadoop fs -text file1/file2/* | wc -l二、正则表达式hadoop fs -text file1/file2/* | grep ','匹配file1/file2/*文件中含逗号'，'的内容。二、deflate文件 1、查看：（hdfs处理之后一种压缩文件），可以采用hadoop fs -
转载
2019-05-22 16:01:00
155阅读
目录1.概述2.环境准备3.hadoop安装3.1.下载安装配置3.2.伪分布式集群3.3.注意事项4.Hadoop集群的组成1.概述hadoop有三种安装模式单机模式，只在一台机器上运行，存储用的本地文件系统而不是HDFS。伪分布式模式，存储采用HDFS，名称节点和数据节点在同一台机器上。分布式模式，标准的分布式集群。做实验或者学习阶段选择伪分布式就好，本文将详细讲解在Linux搭建起一个伪分布
转载
2024-07-18 21:25:13
48阅读
在这里我使用的linux版本是CentOS 6.4
CentOS-6.4-i386-bin-DVD1.iso
下载地址：
http://mirrors.aliyun.com/centos/6.8/isos/i386/
转载
2024-05-20 10:22:14
283阅读
着重介绍了HDFS运行了示例程序wordcount，自己也试了一遍（用的伪分布式）1.建立数据（和讲师的操作有些不一样，不过我相信自己）2.运行wordcount程序3.查看结果（可以看出来，只要没空格，它都看作是一个单词） 接下来介绍了50030和50070查看任务和HDFS状态......其中如果想看日志的话除了命令行也可以直接输入http://localhost:50070/log
转载
2023-09-22 13:24:22
63阅读
