环境：centos6.7，hadoop2.7.3，虚拟机VMware下载hadoop：http://apache.fayea.com/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gznamendoe 192.168.137.9 ; secondnode 192.168.137.15 ; datanode 192.168.137.16修改三台主
原创
2016-11-29 17:25:37
689阅读
点赞
1.解压并移动到相应目录，我习惯将软件放到/opt目录下，命令如下： tar -zxvf hadoop-2.7.3.tar.gz mv hadoop-2.7.3 /opt2.修改/etc/profile3.修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh4.修改$HADOOP_
原创
2017-05-10 23:26:00
683阅读
下载我们需要的 hadoop-eclipse-plugin-2.7.3.jar，winutils.exe 和 hadoop.dll记录安装中遇到的问题链接：https://pan.baidu.com/s/1g4QpGTJvF1IGd929L8bQxQ 提取码：97ey可以模仿TA，有问题留言
遇到问题请继续向下看，记得保存最底部有重点最近，发现新版
原创
2022-04-02 10:53:34
808阅读
下载我们需要的 hadoop-eclipse-plugin-2.7.3.jar，winutils.exe 和 hadoop.dll记录安装中遇到的问题链接：https://pan.baidu.com/s/1g4QpGTJvF1IGd929L8bQxQ提取码：97ey可以模仿TA，有问题留言https://www.cnblogs.com/supiaopiao/p/7240308....
原创
2021-06-21 16:45:15
274阅读
1、概述Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。hadoop三种安装模式：单机模式，伪分布式，真正分布式。因在实际生产中均会使用分布式方式进行部署，本博文也将采用分布式方式进行部署。2、环境说明主机名IP地址用途说明master192.168.0.128 作为HADOOP的Namenodeslave1192
转载
2023-07-16 22:25:51
99阅读
一、依赖文件安装 1.1 JDK 参见博文：二、文件准备 2.1 文件名称 hadoop-2.7.3.tar.gz 2.2 下载地址 &nb
转载
2024-05-17 12:58:09
194阅读
集群规划主机名ip安装的软件进程hadoop01192.168.1.101jdk、hadoopNN、DFSZKFailoverControllerhadoop02192.168.1.102jdk、hadoopNN、DFSZKFailoverControllerhadoop03192.168.1.103jdk、hadoopRMhadoop04192.168.1.104jdk、hadoop、zooke
转载
2017-03-09 15:49:50
913阅读
1.利用yum安装docker 2.确保docker安装完成后需要关闭防火墙并重启系统
systemctl stop firewallds
systemctl disable firewallds
注意：执行完上面的命令之后需要重启系统 reboot -h(重启系统)闭防火墙
3.需要关闭selinux 解决方法： 1：setenforce
原创
2023-01-09 17:16:47
119阅读
这几天在学习Hadoop相关的东西，前些时候，搭建了单机和伪分布式的集群。但是在搭建完全分布式集群的时候遇到很多问题，网上找到很多文章，感觉都有些差别，因此，再次汇总一下，把我的详细的搭建过程记录下来。参考了很多篇文章：http://www.w2bc.com/Article/19645 &n
转载
2017-03-09 15:47:20
599阅读
hadoop2.7.3 HA高可用集群安装环境准备Hadoop安装配置修改配置所有节点安装jdk1.8，ssh，配置hosts文件，配置centos680和centos681之间的互相免登陆，centos680到其他所有机器的免登陆，关闭防火墙。在centos682，centos683，centos684上安装Zookeeper3.4.9。复制hadoop-2.7.3.tar.gz到centos6
转载
2017-03-09 15:54:16
981阅读
一： 安装准备在虚拟机VWare下安装了四个redhat操作系统，下载路径：http://pan.baidu.com/share/link?shareid=3216417135&uk=2939827074&fid=917415041364300（快速方法:安装一个，克隆3个) rhel-server-6.3-x86_64-dvd.iso四个虚拟机网络互通设置 官网下载(hadoo
转载
2024-01-05 16:01:12
120阅读
1、背景介绍 Hadoop2.0.0之前，在一个HDFS集群中，NameNode存在单节点故障（SPOF）：因为集群中只有一个NameNode
原创
2024-08-15 13:51:29
50阅读
Hadoop认证代码分析Hadoop作为分布式系统，服务分布于多台服务器之间，提供多用户的访问机制，却有着极其简单的认证实现逻辑。 JAAS（Java Authentication Authorization Service）完整的提供了一个认证鉴权的框架，在Hadoop这个看似庞大的架构当中，借助这一体系，在一个单独的Java类中，实现了认证的绝大部分逻辑。 本文主要讲述Hadoop中的认证实现
转载
2023-07-12 11:21:04
85阅读
1、解压jdk压缩文件，在/etc/profile文件中配置jdk环境变量2、解压hadoop压缩文件，在/etc/profile文件中配置hadoop环境变量3、执行命令【source /etc/profile】4、在/etc/hosts文件中配置集群主机名和IP对应关系5、配置ssh免密码登录，在集群所有机器上执行ssh-keygen -t rsa命令，执行完后直接回车键，会在家目录下新建.s
原创
2017-01-04 22:03:44
705阅读
0: 设置系统登录相关Master要执行cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys如果用root用户sed -ri 's/^(PermitRootLogin ).*$/\1yes/' /etc/ssh/sshd_config编辑/etc/hosts1
原创
2017-02-24 12:02:06
6588阅读
1、单位测试中测试的是类中的方法，对每个类中的方法进行单独测试，测试方法与测试方法之间是独立的不相互依赖的，并且测试方法不能依赖外部的环境例如service中依赖dao，这个dao不是真实的，而是通过mock对象产生的，这就是单元测试2.集成测试，就是模块与模块之间相互依赖，如果测试service的时候，如果依赖dao，这个dao不是mock产生的，在容器中真实产生的，依赖真实的dao，那么这就是
转载
2024-04-19 11:51:14
133阅读
1\单元测试：
也称为模块测试，测试的对象是可独立编译或汇编的程序模块、软件构件或OO软件中的类（统称为模块），其目的是检查每个模块能否正确地实现设计说明中的功能、性能、接口和其他设计约束等条件，发现模块内可能存在的各种差错。
（单元测试是用来保证代码的正确性。单元测试能够帮我们充分了解代码的用法，从效果上而言，单元测试就像是能执行的文档，说明了在你用各种条件调用代码时
转载
2024-07-28 14:22:21
159阅读
单元性能测试之使用JUnitPerf测试多线程并发简介：单元测试和性能测试在测试领域属于要求相对较高的测试活动，也是测试工程师成长、向上发展的反向。单元测试评测我们的代码实现功能的情况，性能测试则企图分析应用程序的性能表现和负载能力。那么“单元性能测试”能做什么？我们可以这样说，单元性能测试以单元测试的形式对代码进行性能测试。单元性能测试像单元测试一样，需要测试人员编写测试代码，但现在关注的不是代
转载
2024-03-29 22:34:46
88阅读
单元测试： 单元测试：完成最小的软件设计单元（模块）的验证工作，目标是确保模块被正确的编码，使用过程设计描述作为指南，对重要的控制路径进行测试以发现模块内的错误，通常情况下是白盒的，对代码风格和规则、程序设计和结构、业务逻辑等进行静态测试，及早的发现和解决不易显现的错误。集成测试：集成测试：通过测试发现与模块接口有关的问题。目标是把通过了单元测试的模块拿来，构造一个在设计中所描述的程序结构，应当避
转载
2024-07-29 13:44:38
84阅读
单元测试，对软件在设计的最小单元中进行正确性检测的测试，将可能存在的错误在最小范围内发现并解决。对于单元测试中单元的含义，一般来说，要根据实际情况去判定其具体含义，如C语言中单元指一个函数，Java里单元指一个类，图形化的软件中可以指一个窗口或一个菜单等。总的来说，单元就是人为规定的最小的被测功能模块。单元测试是在软件开发过程中要进行的最低级别的测试活动，软件的独立单元将在与程序的其他部分
原创
2022-12-23 12:58:49
1142阅读
