同样的：和上次的博文一样，也是一边写，一边操作，一边截图整理的文档，图片部分不方便一一上传，量大务繁，如有能帮助您的，或是有需求的，这里贴出文档具体，自行下载链接：http://pan.baidu.com/s/1eQ6RYy2 密码：hhph主要是参考的网上的教程：可取之点就是通过自己的理解，把一些自己在理解过程中的难点要点容易迷惑的点说一下。一、在Ubuntu下创建hadoop组和hadoop用
Ubuntu 14.04.3 LTS 配置 DNS Server
我们目的是用一台局域网机器完成 192.168.1.113 <-->cloudshield.com的解析，指定A记录和CNAME;0.关于Ubuntu 14.04.2 LTS 下载、安装、更新这里就直接跳过了; 1.下载安装工具 bind9 sudo apt-get i
转载
2024-08-21 08:28:20
114阅读
Ubuntu安装hadoop记录本次安装过程，本次安装使用64位Ubuntu14.04，JDK版本为1.8.0_111，hadoop版本为2.6.0。本篇文章介绍Ubuntu安装hadoop的准备工作，主要包括添加hadoop用户；安装SSH，并配置无密码登录；安装JDK并配置环境变量；安装hadoop。1） 安装linux虚拟机本教程使用VMware WorkStationPro，新建Ubunt
转载
2024-05-25 17:18:07
252阅读
VMWare9下基于Ubuntu12.10搭建Hadoop-1.2.1集群—整合Zookeeper和Hbase 这篇是接着上一篇hadoop集群搭建进行的，在hadoop-1.2.1基础之上安装zookeeper-3.4.5和hbase-0.94.20。上一篇： VMWare9下基于Ubuntu12.10搭建Hadoop-1.2.1集群安装zookeeper和hbase&nbs
转载
2024-09-13 13:21:15
25阅读
大概步骤分为：创建几台虚拟机（至少3台，可克隆）。配置Java环境。配置Hadoop环境。配置ssh免密码登陆。查看结果。别人的都是把配置ssh这个步骤放到前面了，这样想克隆的话就有点麻烦。所以放后面，很多东西不用配几次了。1、创建虚拟机有几台物理机最好，没有的话就下载虚拟机镜像吧，用VMware创建一台虚拟机（配置好环境后再克隆两台），不闲麻烦就创建3台一个个配置。 （1）、打开向导后选择类型时
转载
2024-03-30 08:12:26
39阅读
ftp（file translation protocol）文件传输协议sudo apt-get install vsftpd查看ftp运行状态 service vsftpd status开启ftp服务 sudo /etc/init.d/vsftpd start 或者 service vsftpd start关闭ftp服务 sudo /etc/init.d./vsftpd stop 或者 serv
转载
2024-04-14 15:38:25
67阅读
本文是在一个全新的Ubuntu 22.04 虚拟机上安装Hadoop 3.3.4。环境Ubuntu 22.04JDK 11Hadoop 3.3.4安装Hadoop首先安装JDK：# apt install openjdk-11-jdk-headless安装好以后查看：# java -version
openjdk version "11.0.17" 2022-10-18
OpenJDK Runti
转载
2024-04-17 12:12:44
27阅读
邮件服务器环境准备服务端部署客户端测试安装pop3协议Ubuntu一键部署 环境准备部署好dns邮件域名邮件域名ipwww.hoyeong.com192.168.200.160root@huhy:~# host www.hoyeong.com
www.hoyeong.com has address 192.168.200.160软件环境；ubuntu22服务端 ubuntu22客户端测试服务端部
转载
2024-04-09 13:24:48
100阅读
HDFS：是一个综合的文件系统抽象，提供了文件系统的各种借口。 HDFS整合了各种众多的文件系统，提供了一个抽象的文件系统 ————org.apache.hadoop.fs.FileSystem org.apache.hadoop.fs.FileSystem的实现 -org.apache.hadoop.fs.LocalFileSystem Implimen for local filesystem
转载
2024-04-07 10:31:04
38阅读
一、安装Wine（来自官方安装命令）如果您之前安装过来自其他仓库的 Wine 安装包，请在尝试安装 WineHQ 安装包之前删除它及依赖它的所有安装包（如：wine-mono、wine-gecko、winetricks），否则可能导致依赖冲突。1、对于64位系统，添加 32 位架构支持（对于32位的，似乎可以忽略此命令，不过加上也没有错）终端下执行：sudo dpkg --add-ar
我的 Hadoop1.2.1 分布式环境的配置是完全参考他的这篇博客。由于本人刚开始接触 Hadoop，所以在配置的过程中出现很多问题，cumtheima 百忙中给了不少解答和帮助，在这里表示感谢。同时，本文还参考了这篇文章： ，主要参考该文中Hadoop的一些配置信息以及问题解答。Hadoop1.2.1分布式环境的搭建链接： ，下面就我在配置过程中出现的问题及解决方法进行汇总：&nbs
Hadoop单机模式： 单机操作是Hadoop的默认操作模式，当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，会保守地选择最小配置，即单机模式。当配置文件为空时，Hadoop会完全运行在本地，因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。一、添加Hadoop用户组和用户1、创建用户
转载
2024-04-19 17:08:09
68阅读
本地ubuntu使用pem文件链接远程ubuntu//确保目录正确~
ssh -i ./mykeypair.pem user@ip
//权限不够的话
chmod 400 mykeypair.pem
//如果不行，那就600
chmod 600 mykeypair.pem复制本地文件至远程服务器//scp 本地文件地址 远程用户名@IP地址:+服务器内存放文件的地址
scp /home/mai
转载
2024-01-14 20:11:06
64阅读
------------------------------------------------环境：ubuntu 14.10vmware10.0Hadoop 2.6.0Jdk1.7------------------------------------------------1、下载eclipseeclipse-java-luna-SR2-linux-gtk-x86_64.tar.gz 
转载
2024-08-23 18:07:13
41阅读
Hadoop 版本：hadoop-1.2.1-bin.tar Jdk 版本：jdk-6u30-linux-i586 需要的软件：VMWare 9，ubuntu10.04 首先安装vmware9，然后在其中利用ubuntu的镜像安装3个虚拟机，具体方法可以搜到 在每个虚拟机中，执行以下操作： （1）创建hadoop
转载
2024-05-24 19:06:26
90阅读
尝试2.1安装失败，由于文件结构不太一样缺乏相关资料，也非做运维的，遂放弃改用成熟的hadoop 1.2.1版本。 ----------------------------------------单机模式----------------------------------------- 下载：hadoop-1.2.1.tar.gz 解压：tar -xzvf hadoop-1.2.1.tar.gz转
Linux下编译应用程序常常会出现如下错误：/usr/bin/ld: cannot find -lxxx意思是编译过程找不到对应库文件。其中，-lxxx表示链接库文件 libxxx.so。注：有时候，由于库文件是编译过程临时生成的，如果前面出错也会导致出现这种情况，下面针对的是由于本机系统环境缺失而引起的。一般出现这种错误有以下几种原因：1.系统缺乏对应的库文件；2.版本不对应；3.库文件的链接错
转载
2024-04-08 22:06:25
98阅读
由于没有那么多机器，就在自己的虚拟机上部署一套hadoop集群，这被称作伪分布式集群，但是不管怎么样，这里主要记录部署hadoop的过程以及遇到的问题，然后再使用一个简单的程序测试环境。
1、安装JAVA、下载hadoop程序包，配置hadoop的环境变量。
等于java的安装目录，将hadoop程序所在的目录添加到系统的PATH环境变量下，这样
转载
2024-09-20 14:16:15
74阅读
14/07/21 17:49:59 ERROR security.UserGroupInformation: PriviledgedActionException as:chenlongquan cause:org.apache.hadoop.mapred.FileAlreadyExistsExce
转载
2017-04-24 18:19:00
489阅读
2评论
分块：Block HDFS存储系统中，引入了文件系统的分块概念（block），块是存储的最小单位，HDFS定义其大小为64MB。与单磁盘文件系统相似，存储在 HDFS上的文件均存储为多个块，不同的是，如果某文件大小没有到达64MB，该文件也不会占据整个块空间。在分布式的HDFS集群上，Hadoop系统保证一个块存储在一个datanode上。 把File划分成Block，这个是物理上真真实实的进
转载
2024-05-02 22:41:42
54阅读
