第三章、Hadoop基础操作目录结构:1.查看Hadoop集群的基本信息    1.1 查询集群的存储系统信息    1.2 查询系统的计算资源信息2.上传文件到HDFS目录    2.1 了解HDFS文件系统    2.2 掌握HDFS的基本操作  &nbs
转载 2023-07-28 18:39:31
393阅读
实验目的要求 目的:(1)掌握数据仓库工具Hive的使用;要求:掌握数据仓库Hive的使用;能够正常操作数据库、表、数据;          实验环境         五台独立PC式虚拟机;主机之间有
安装centos,配置stable ip address,文件系统,根目录用户密码,hostname,安装相关工具打开centos,创建hadoop用户,密码。配置eth0,onboot=YES, 重启网卡。关闭iptables,selinux,安装vsftpd安装辅助工具:flashfxp,secureCRT。vsftp上传 JDK 和 Hadoop。安装JDK,检测。配置SSH,实现maste
转载 2023-05-23 17:30:59
123阅读
Hadoop 入门教程(Java操作HDFS)
原创 2022-07-07 11:13:55
599阅读
安装修改etc/hadoop下面的配置 获取JAVA_HOME位置echo $JAVA_HOME​​hadoop-env.sh​​#export JAVA_HOME=${JAVA_HOME}export JAVA_HOME=/root/jdk1.8.0_151core-site.xml<configuration> <property> <name>fs
原创 2022-08-04 19:42:43
103阅读
    此系列是本人浅读《Hadoop权威指南(第三版)》的一些用更通俗,好理解的形式做的总结,具体参考原版。        MapReduce是Hadoop的核心和基础,他是一个处理数据的编程模型,虽说有了hive之后因为非常简单易上手,很多不是程序员的人也可以很好的利用Had
配置VirtualBox 新建一个虚拟机 ps:步骤可参照我之前博客一、安装准备jdk-8u221-linux-x64.tarhadoop-2.6.0-cdh5.14.2.tar.gz ps:如何配置jdk可参照我之前的博客jdk安装配置这里就不一一赘述了话不多说我们直接开始 切换至software 文件目录: cd /software 将准备好的文件拖入software 目录下 将文件解压至 o
假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动HADOOP1. 进入HADOOP_HOME目录。2. 执行sh bin/start-all.sh关闭HADOOP1. 进入HADOOP_HOME目录。2. 执行sh bin/stop-all.sh文件操作Hadoop使用的是HDFS
转载 2023-05-22 17:38:32
37阅读
hadoop基础学习Ubuntu基本操作快捷键常用命令目录与权限目录权限软件包的操作国内软件包源一般选取清华或者163等本地软件源制作Hadoop安装JDK,hadoop安装配置hadoop 基础与配置三种模式独立模式配置伪分布模式配置配置脚本配置SSH格式化HDFS系统完全分布模式配置(在s0上配置,拷贝到其它虚拟机上) Ubuntu基本操作这是一些基本的命令!其实在hadoop文件系统中的命
hadoop入门(一)   一、概述 1.什么是hadoop hadoop不仅是一个用于存储分布式文件系统,还是设计用来在有通用计算设备组成的大型集群上执行的分布式应用的基础框架。 hadoop框架最核心的设计是mapreduce和HDFS 1.2为什么要选择hadoop
转载 2023-09-22 12:49:20
53阅读
1、简单描述如何安装配置一个apache开源版hadoop,只描述即可,无需列出完整步骤,能列出步骤更好。 1) 安装JDK并配置环境变量(/etc/profile) 2) 关闭防火墙 3) 配置hosts文件,方便hadoop通过主机名访问(/etc/hosts) 4) 设置ssh免密码登录 5) 解压缩hadoop安装包,并配置环境变量 6) 修改配置文件($HADOOP_HOME/conf)
转载 2024-03-08 21:49:57
27阅读
1.导入pom依赖 <properties> ...... <hadoop.version>3.1.2</hadoop.version> </properties> <dependencies> <dependency> <groupId>org.apache.h
Apache Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。可以让用户
原创 2023-06-04 11:40:49
97阅读
# Hadoop编程入门教程 作为一名经验丰富的开发者,我将帮助你快速了解并入门Hadoop编程。Hadoop是一个开源的分布式计算系统,适用于大规模数据处理。下面我将为你介绍Hadoop编程的基本步骤,并提供相应的代码示例。 ## 整体流程 首先让我们来看一下学习Hadoop编程的整体流程: | 步骤 | 描述 | |------|------
原创 2024-05-20 11:20:36
80阅读
1. 执行命令将输入文件拷贝到分布式文件系统:$ bin/hadoop fs -put conf input$ bin/hadoop fs -get output output $ cat output/*在分布式文件系统上查看输出文件:$ bin/hadoop fs -cat output/*完成全部操作后,停止守护进程:$ bin/stop-all.sh2. Hadoop集群安装Hadoop
转载 2023-09-14 13:19:37
111阅读
前言Hadoop 在大数据技术体系中的地位至关重要,Hadoop 是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。这是一篇入门文章,Hadoop 的学习方法很多,网上也有很多学习路线图。本文的思路是:以安装部署 Apache Hadoop2.x 版本为主线,来介绍 Hadoop2.x 的架构组成、各模块协同工作原理、技术细节。安装不是目的,通过安装认识H
转载 2023-07-23 17:37:09
0阅读
1、 前面在伪分布模式下已经创建了一台机器,为了统一命名,hostname更名为hadoop01、然后再克隆2台机器:hadoop02、 hadoop03;将第一台机器hadoop01上的伪分布停止,创建一个新目录,重新安装hadoop,解压后,再分发到其他两台机器,具体按下面的步骤操作。2、 服务器功能规划hadoop01hadoop02hadoop03192.168.100.129192.16
转载 2023-07-20 23:24:36
196阅读
Hadoop新手篇:hadoop入门基础教程关于hadoop的分享此前一直都是零零散散的想到什么就写什么,整体写的比较乱吧。最近可能还算好的吧,毕竟花了两周的时间详细的写完的了hadoop从规划到环境安装配置等全部内容。写过程不是很难,最烦的可能还是要给每一步配图,工程量确实比较大。原计划准备接上一篇内容写dkhadoop的监控页面的参数,突然觉得还是有必要把上两周写的内容做一个汇总,这样方便需要
转载 2018-10-29 09:27:30
369阅读
首先复习一下hadoop中hdfs常用的命令/** * hadoop fs -mkdir 创建HDFS目录 * hadoop fs -ls 列出HDFS目录 * hadoop fs -copyFromLocal 使用-copyFromLocal 复制本地(local)文件到HDFS * hadoop fs -put 使用-put 复制本地(local)文件到HDFS *
转载 2023-07-05 23:47:31
43阅读
前言hadoop本身是不支持lzo压缩格式的,所以在对类库进行查询时,里面是不会显示lzo是否支持,如何让hadoop能够支持lzo压缩呢?下面我们开始正题!查询环境命令 输入hadoop checknative 笔者使用的hadoop版本为2.7.2,所以要使用lzo压缩组件必须对组件里的hadoop版本进行修改编译。这里就利用maven来对其进行改造。同理很多版本问题,可以利用此方法来解决。环
转载 2023-05-22 12:43:39
83阅读
  • 1
  • 2
  • 3
  • 4
  • 5