第三章、Hadoop基础操作目录结构:1.查看Hadoop集群的基本信息 1.1 查询集群的存储系统信息 1.2 查询系统的计算资源信息2.上传文件到HDFS目录 2.1 了解HDFS文件系统 2.2 掌握HDFS的基本操作 &nbs
转载
2023-07-28 18:39:31
393阅读
Hadoop基础入门详解一、Hadoop的组成:MapReduce(计算)——Hadoop1.x的时候也负责资源调度Yarn(资源调度)——Hadoop1.x的时候没有,是hadoop的资源管理器,主要管理CPU和内存HDFS(数据存储)Common(辅助工具)1、HDFS架构概述NameNode(nn):记录存储数据的位置—>存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副
转载
2023-07-14 15:03:38
398阅读
Hadoop是一个由Apache基金会所开发的分布式系统基础构架。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。他的目的是从单一的服务器扩展到成千上万的机器,将集群部署在多台机器,每个机器提供本地计算和存储。Hadoop框架最核心的设计是HDFS和MspReduce。关于Hadoop,首先我们需要了解Hadoop 1.0、Hadoop 2.0、Map
转载
2023-11-18 23:26:49
42阅读
实验目的要求 目的:(1)掌握数据仓库工具Hive的使用;要求:掌握数据仓库Hive的使用;能够正常操作数据库、表、数据; 实验环境 五台独立PC式虚拟机;主机之间有
转载
2023-07-25 09:52:04
146阅读
使用hadoop版本是DKH标准三节点发行版,DKHadoop版本的易用性比较好,环境部署要简单的多,参考此篇安装前请先下载DKHadoop版本,网盘链接:https://pan.baidu.com/s/1-427Sh6lTLrLAPh6KMOYVg 提取码:vg2w 第一部分:准备工作1、 大数据平台所需配置:(1) 系统:CentOS 6.
原创
2018-08-31 13:21:03
833阅读
hadoop入门学习教程--DKHadoop完整安装步骤使用hadoop版本是DKH标准三节点发行版,DKHadoop版本的易用性比较好,环境部署要简单的多,参考此篇安装前请先下载DKHadoop版本,网盘链接:https://pan.baidu.com/s/1-427Sh6lTLrLAPh6KMOYVg提取码:vg2w第一部分:准备工作1、大数据平台所需配置:(1)系统:CentOS6.564位
转载
2018-11-07 09:41:41
346阅读
hadoop入门视频教程,百度网盘
原创
2021-04-14 11:00:52
324阅读
安装centos,配置stable ip address,文件系统,根目录用户密码,hostname,安装相关工具打开centos,创建hadoop用户,密码。配置eth0,onboot=YES, 重启网卡。关闭iptables,selinux,安装vsftpd安装辅助工具:flashfxp,secureCRT。vsftp上传 JDK 和 Hadoop。安装JDK,检测。配置SSH,实现maste
转载
2023-05-23 17:30:59
123阅读
Hadoop 入门教程(Java操作HDFS)
原创
2022-07-07 11:13:55
599阅读
安装修改etc/hadoop下面的配置 获取JAVA_HOME位置echo $JAVA_HOMEhadoop-env.sh#export JAVA_HOME=${JAVA_HOME}export JAVA_HOME=/root/jdk1.8.0_151core-site.xml<configuration> <property> <name>fs
原创
2022-08-04 19:42:43
103阅读
此系列是本人浅读《Hadoop权威指南(第三版)》的一些用更通俗,好理解的形式做的总结,具体参考原版。 MapReduce是Hadoop的核心和基础,他是一个处理数据的编程模型,虽说有了hive之后因为非常简单易上手,很多不是程序员的人也可以很好的利用Had
转载
2023-09-01 08:43:46
70阅读
配置VirtualBox 新建一个虚拟机 ps:步骤可参照我之前博客一、安装准备jdk-8u221-linux-x64.tarhadoop-2.6.0-cdh5.14.2.tar.gz ps:如何配置jdk可参照我之前的博客jdk安装配置这里就不一一赘述了话不多说我们直接开始 切换至software 文件目录: cd /software 将准备好的文件拖入software 目录下 将文件解压至 o
转载
2023-09-20 12:01:29
98阅读
一、HDFS 使用基础 格式化配置HDFS文件系统,打开NameNode(HDFS服务器),然后执行 hadoop namenode -format 格式化HDFS后,启动分布式文件系统, $ start-dfs.sh 找出文件列表中的目录,文件状态,可以传递一个目录或文件名作为参数: hadoop
转载
2023-11-15 14:47:02
50阅读
假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动HADOOP1. 进入HADOOP_HOME目录。2. 执行sh bin/start-all.sh关闭HADOOP1. 进入HADOOP_HOME目录。2. 执行sh bin/stop-all.sh文件操作Hadoop使用的是HDFS
转载
2023-05-22 17:38:32
37阅读
hadoop基础学习Ubuntu基本操作快捷键常用命令目录与权限目录权限软件包的操作国内软件包源一般选取清华或者163等本地软件源制作Hadoop安装JDK,hadoop安装配置hadoop 基础与配置三种模式独立模式配置伪分布模式配置配置脚本配置SSH格式化HDFS系统完全分布模式配置(在s0上配置,拷贝到其它虚拟机上) Ubuntu基本操作这是一些基本的命令!其实在hadoop文件系统中的命
转载
2023-07-29 09:13:51
126阅读
新学期开始了,在学校的日子开始倒计时~~~有点矫情了。寒假在广州呆了一个月,没做什么,出去转了一圈,依然不知道找工作的事水有多深。期间看了一篇博文,感触良多。此前虽然钻研过不少技术,但是说白了就是CURD,没意思,没技术含量。早就打算坐下来看看Hadoop,但是一直没有找到合适的资料,昨天终于搜集到一份比较完整的,就此开始Hadoop的学习~~共勉!!学习视频下载地址 http://pan.bai
原创
2015-03-05 19:44:24
900阅读
HaDoop 0.23.0 学习笔记0.23 介绍Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在
原创
2014-04-17 14:12:41
709阅读
一、Hadoop入门目标:1. 掌握Hadoop基本知识,进行Hadoop的HDFS和MapReduce应用开发,搭建Hadoop集群。 2. 掌握Hbase基本知识,搭建Hbase集群,Hbase的基本操作 3. 掌握数据仓库基本知识,用Hive建立数据仓库,并进行多维分析二、什么是Hadoop 适合大数据的分布
转载
2023-10-02 20:15:28
86阅读
1、简单描述如何安装配置一个apache开源版hadoop,只描述即可,无需列出完整步骤,能列出步骤更好。 1) 安装JDK并配置环境变量(/etc/profile) 2) 关闭防火墙 3) 配置hosts文件,方便hadoop通过主机名访问(/etc/hosts) 4) 设置ssh免密码登录 5) 解压缩hadoop安装包,并配置环境变量 6) 修改配置文件($HADOOP_HOME/conf)
转载
2024-03-08 21:49:57
27阅读
hadoop入门(一)
一、概述
1.什么是hadoop
hadoop不仅是一个用于存储分布式文件系统,还是设计用来在有通用计算设备组成的大型集群上执行的分布式应用的基础框架。
hadoop框架最核心的设计是mapreduce和HDFS
1.2为什么要选择hadoop
转载
2023-09-22 12:49:20
53阅读