Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架。MapReduce的概念来源于Google实验室，它是一个简化并行计算的编程模型，适用于大规模集群上的海量数据处理，目前最成功的应用是分布式搜索引擎。随着2007年底该模式Java开源实现项目Apache Hadoop的出现，使得程序员可以轻松地编写分布式并行程序，并将其运行于计算机集群上，完成海量数据的
转载
2012-06-28 18:28:31
578阅读
hadoop简单介绍安装和配置一、hadoop简介1、hadoop介绍2、hadoop的特点3、hadoop的组成二、hadoop安装和运行模式1、安装JDK2、安装hadoop3、hadoop重要目录介绍4、hadoop运行模式介绍5、安全拷贝介绍1）安全拷贝scp(secure copy)1）远程同步rsync6、SSH免密登录介绍7、hadoop生产环境配置介绍1）集群配置2）历史服务器配
转载
2023-09-20 10:49:06
69阅读
安装配置hadoop安装直接执行hadoop任务配置伪分布式模式：修改$HADOOP_HOME/etc/hadoop/core-site.xml修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml格式化namenode启动hdfs检测是否启动成功和查看日志在hdfs上创建用户目录提交任务启动yarn模式修改配置文件启动yarn关闭yarn安装解压，配置环境变量(/etc/
转载
2023-06-01 09:16:31
120阅读
hadoop安装与配置
原创
2017-07-09 17:42:26
893阅读
一，新增用户sudo useradd -m hadoop -s /bin/bash 添加密码sudo passwd hadoop 附加权限sudo adduser hadoop sudo 切换到hadoop用户下，当运行sudo命令时出现：hadoop不再sudoers文件中，此事将被报告。 解决方法：切换到root用户下，打开 /etc/sudoers 文件...
原创
2021-06-03 09:26:03
340阅读
1评论
在这篇博文中，我将详细介绍如何在 Eclipse 中安装和配置 Hadoop。Hadoop 是处理大规模数据集的强大框架，而 Eclipse 则是一个流行的集成开发环境 (IDE)。安装这些工具可以让你更加高效地进行大数据开发。
## 环境准备
首先，我们需要确保我们的系统符合 Hadoop 和 Eclipse 的要求。一些关键的前置依赖包括 Java 开发工具包 (JDK)、Eclipse
一，新增用户sudo useradd -m hadoop -s /bin/bash 添加密码sudo passwd hadoop 附加权限sudo adduser hadoop sudo 切换到hadoop用户下，当运行sudo命...
原创
2021-10-25 11:24:53
228阅读
前提：安装VitualBox 以及Hadoop目录实验步骤小贴士实验中遇到的问题及解决方法实验步骤 1. 创建用户yh 在安装Ubuntu时直接设置用户yh，或者通过终端输入以下命令指示创建新的用户。我的是在安装Ubuntu时直
转载
2023-07-21 13:52:01
136阅读
一、从下载badoop、安装jdk、配置ssl无密码登录等内容都是一步步的按照《细细品味hadoop》来进行 区别在于，细细品味是以1.x为标杆编写的。所以关于2.x的配置文件的写法，参考本文而非《细细品味》  
转载
2023-09-20 10:49:26
66阅读
Linux环境下安装配置Hadoop参考Hadoop官方文档进行配置。一 、 先决条件Linux和Windows所需软件包括:Java™ 必须安装，通过Hadoop官方文档，提前检查匹配的版本。ssh 必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。此次安装的版本 Linux：CentOS-8.3.2011-x86_64 Hadoop：hadoop3.3.
转载
2023-10-06 20:36:04
231阅读
目录核心组件对比 适用场景对比任务执行流程对比SQL执行的流程对比容错对比核心组件对比Hadoop：是一个分布式数据存储和计算框架。
HDFS（Hadoop Distributed File System）：是一个分布式文件系统，能够大规模的数据分散存储在多个节点上，以提高数据的可靠性和处理效率。HDFS的主要职责是对数据的存储和管理，将大数据集分成多个数据块，并分配到不同的计算几
转载
2024-07-26 12:55:59
32阅读
Hadoop安装及配置目录一、虚拟机免密登录二、解压文件并授权1.解压文件2.授权用户和组三、配置环境变量和Hadoop1.配置环境变量2.更改配置文件3.Yarn配置 一、虚拟机免密登录 免密登录是为了后面启动Hadoop服务方便而操作，不然每个Hadoop服务启动都需要输入密码（如果本机已生成秘钥，则只需把id
转载
2023-08-04 11:20:56
75阅读
大数据技术之Hadoop（入门） 版本：V3.0 第1章 完全分布式运行模式（开发重点）分析：关闭防火墙、静态IP、主机名称） 2）安装JDK 3）配置环境变量 &n
转载
2023-07-30 13:45:17
72阅读
文章目录hadoop和zookeeper的安装与配置一. 安装好linux虚拟机、Xshell、Xftp二. 解压安装jdk、hadoop、zookeeper的压缩包三. 配置linux主机设置与环境四. 编写并添加hadoop的配置五. 编写zookeeper的配置六. 克隆机器（奇数）七. 启动集群配置ssh免密登录配图 hadoop和zookeeper的安装与配置附：配置文件的链接一. 安
转载
2023-07-20 17:40:11
412阅读
Hadoop学习笔记 大数据之处理工具Hadoop概念Hadoop是一个能够对大量数据进行分布式处理的软件框架。够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序，但是
转载
2023-11-12 14:10:54
261阅读
摘要前置（可选）使普通用户获取部分管理员权限网络联通配置修改主机名、修改主机名与IP地址的对应关系、关闭防火墙关闭防火墙、并设置开机不自启动ssh免密登录jdk的安装hadoop的安装启动Hadoop1.1前置（可选）使普通用户获取部分管理员权限操作步骤： 登陆虚拟控制台ctrl+alt+f2 登录管理员root和密码 打开sudoers文件：vim /etc/sudoers 将光标移动到第98行
转载
2023-07-12 11:23:49
176阅读
一．下载安装包1.Hadoop包http://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/2.Hive包https://mirrors.bfsu.edu.cn/apache/hive/hive-2.3.9/3.Hive的MySQL驱动https://dev.mysql.com/downloads/file/?id=4761974.安装jav
转载
2023-08-10 21:21:33
262阅读
粗略算算，从上周五到这周二，折腾Hadoop已经三天了。这三天我是过得诚惶诚恐，作为一个学徒，老大虽然没有说啥，但是我恨不得立马完成这些基本的部署工作，感觉拖了好久好久。简单的总结一下，第一天折腾Hadoop单机和伪分布式的安装，第二天在折腾Hive的安装，以失败告终，第三天折腾HBase的集群安装，在主节点上安装成功。分布式实时日志系统（四） 环境搭建之centos 6.4下hbase 1.0.
转载
2024-05-20 12:32:56
89阅读
三、快照二、主机名，IP，ssh免密登录1.修改主机名2.设置IP（各节点的IP从主节点依次排序，node1为30，node2则为31，以此类推）3.主机映射4.ssh免密登录三、JDK安装部署（三台虚拟机都要安装）四.关闭防火墙和SElinux五、修改时区并配置自动时间同步Hadoop的前置环境基本配置完成，建议快照保存六、Hadoop安装与部署一、Hadoop安装包下载二、Hadoop安装以及
转载
2024-07-30 15:41:25
135阅读
Hadoop集群安装部署与配置-201411191、集群环境说明主机列表主机名iprole系统版本node110.0.0.101masterrhel6.5node210.0.0.102slaverhel6.5node310.0.0.103slaverhel6.5JDK version: java 1.8 (download)hadoop version: hadoop-2.5.1 (downloa
转载
2024-02-13 20:40:11
44阅读
