作为一个初学者，当初安装Hadoop费了老劲，翻看各种教程查阅各种文档才勉强成功。现把安装步骤写在这里，供有缘人翻看。（Linux版本：Ubuntu18.04.1桌面版64位操作系统）安装步骤：如果是一个崭新的Ubuntu系统，很有可能还没有安装过Vim或者SSH。那么可以先做这些准备工作： 安装Vim
安装 SSH Server 设
在启动Hadoop成功后，并没有报错信息，jps查看进程，发现DFSZKFailoverController没有启动成功，后来发现是因为防火墙的原因，关掉重试就OK了
原创
2022-06-10 20:05:48
527阅读
Hadoop上机作业hadoop的官方网址是？http://hadoop.apache.org/Apache基金是什么？ Apache软件基金会（也就是Apache Software Foundation，简称为ASF），是专门为支持开源软件项目而办的一个非盈利性组织。在它所支持的Apache项目与子项目中，所发行的软件产品都遵循Apache许可证（Apache License）。Apache H
转载
2023-07-12 13:24:04
58阅读
安装前的准备准备的硬件与软件安装概述安装流程hadoop安装前的设置创建hadoop用户配置网络配置apache环境配置java环境配置ssh无密码登陆hadoop的安装放置文件解压缩设置JAVA环境单机及伪分布式配置单机配置伪分布式配置配置文件运行yarn的运行配置文件运行PATH环境变量 安装前的准备准备的硬件与软件虚拟机软件：VirtualBoxcentos7镜像：CentOS-7-x86
转载
2023-08-31 13:09:04
36阅读
1. 一定要选择稳定版，这样会不容易被一些可能是bug的问题搞的头昏脑涨。
教训1：第一次安装部署用了最新的0.18，首次配置用ip对文件系统的default进行设置，系统正常启动。但是运行程序出现reduce卡死，而且容易挂掉。看了一些帖子，说是用ip就会出现这样的问题。最后放弃ip，配置机器名hostname，出现slave
因为种种原因，今天又一次安装hadoop集群。清空了/tmp下的文件夹，重新启动集群，hadoop namenode -format 之后 start-all 可是没有发现DataNode的守护进程。查了些资料发现重 复格式化namenode之后会造成current/VERSION中id不同。因此不
转载
2017-06-25 10:33:00
164阅读
2评论
在启动mongodb的时候，如果配置文件的参数没有调好，会导致启动时的出错以及警告，那么我们来看看常见的警告的原因及解决方法启动mongodb时还正常，但是连接mongod的时候就出现警告了，提示WARNING: soft rlimits too low. rlimits set to 1024 processes, 32000 files打开日志文件，发现如下内容：2016-01-21T14:2
原创
2016-01-21 14:48:09
10000+阅读
检查事件日志的时候发现每次SQL Server启动的时候都有一些错误，看那意思是文件句柄找不到。 找了下面这篇文档，但仍然没有解决 ://.microsoft.com/technet/s...
转载
2009-07-07 09:14:00
132阅读
2评论
一、运行MapReduce程序出现的问题mapreduce.task.io.sort.mb无效 java.io.IOException: Invalid "mapreduce.task.io.sort.mb": 4096解决办法： 这个参数的值设置的过大了，不能超过2047，注意单位是mb二、当集群的某个从节点宕机了，怎么办？解决办法：先在挂掉的节点上重启ambari代理，使用ambari-a
原创
2021-07-06 17:18:15
1123阅读
在使用fuse-dfs挂载hadoop后，在本地使用ls浏览挂载的文件系统的内容，但使用ls后出现以下错误（/data/mount为挂载的本地目录路径）：
cannot access /data/mount: Input/output error
百思不得其解，还以为是fuse-dfs的问题无法挂载，经过一番研究后发现原来是因为目
原创
2012-04-01 17:59:49
2272阅读
1评论
一、运行MapReduce程序出现的问题mapreduce.task.io.sort.mb无效 java.io.IOException: Invalid "mapreduce.task.io.sort.mb": 4096解决办法： 这个参数的值设置的过大了，不能超过2047，注意单位是mb二、当集群的某个从节点宕机了，怎么办？
原创
2022-02-17 18:15:08
1027阅读
利用Shell命令与HDFS进行交互一、启动Hadoop二、利用Shell命令与HDFS进行交互1.目录操作2.文件操作 在学习HDFS编程实践前，我们需要启动Hadoop。执行如下命令： 一、启动Hadoopcd /usr/local/hadoop
./sbin/start-dfs.sh #启动hadoop二、利用Shell命令与HDFS进行交互终端输入如下命令，查看fs总共支持了哪些命令.
转载
2023-07-30 21:02:28
122阅读
Hadoop伪分布模式环境搭建 SSH 在搭建Hadoop环境之前，首先需要了解SSH。SSH 是一个安全协议。目前较可靠，专为远程登录服务器提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。在安装一个Hadoop集群时，需要专门指定一个服务器作为主节点，它将作为一个基站，负责联络所有的从节点（主节点经常要访问从节点，我们需要做到免密码即可访问从节点，否则，主节点每次视
测试环境的hive cli启动时报错：Unable to determine Hadoop version information.hive是一个shell:使用sh -x跟踪运行过程，可以看到其通过hadoop version获取hdfs的版本相关的代码如下：# Make sure we're using&
原创
2014-11-19 22:32:22
10000+阅读
点赞
1评论
在官网上下载elasticsearch-windows后,按照官方的步骤,解压,运行bin/elasticsearch.bat,但是启动时控制台报错,错误如下:[o.e.t.TransportService ] [qIMyueh] publish_address {127.0.0.1:9301}, bound_addresses {127.0.0.1:9301}, {[::1]:9301}
[
转载
2021-03-14 17:17:26
1273阅读
2评论
1. 配置ssh登录不须要改动/etc/ssh/sshd_config2. 新建hadoop用户时，home以下没有hadoop文件夹用以下命令创建useradd -m hadoop3. namenode无法启动，报 你的hostname/127.0.0.1 connection refuse改动/...
转载
2015-02-09 19:19:00
65阅读
2评论
1.先su进入root账户，然后 service iptables stop //关闭防火墙 start-all.sh //启动 2.启动是会显示，如果出错日志保存路径！！！基本所有问题都要去这些日志里面查看。 A.datanode 没有,tasktracker有. NameNode和DataNod
转载
2016-10-22 18:14:00
139阅读
2评论
#HHadoop运行官方Grep本地案例时 显示权限不够 图片如下这是执行bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output ‘dfs[a-z.]+’ 命令后的结果 用sudo执行此条命令后相同显示 求解答其中/*.xml文件已经拷贝到了input文件目录下bin/h
目录:一.安装ZooKeeper二.进入 zookeeper 命令行操作三.连接IDEA 使用代码操作 一.安装ZooKeeper1./opt下新建zookeeper文件夹，将安装包上传到文件夹内 2.解压 进入安装包目录cd /opt/ZooKeeper解压：tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz3.重命名为 zookeeper-3.5.7mv
在一个解决方案中，经常包含多个web项目，当设置某一个web项目为起始项目后，启动调试，会发现其他的web项目的端口也会一起打开，显示在电脑的右下方，其实开启其他端口有时是没必要的，只是多占用了系统内存，如何启动某个项目时只打开该项目自己使用的一个web端口呢，解决方法如下：选中要设置的项目，不要...
转载
2015-01-30 13:48:00
122阅读
2评论
