配置HDFS联邦
配置etc/
hadoop/hdfs-site.xml<configuration>
<property>
<name>dfs.nameservices</name>
<value>ns1,ns
2</value>
</property>
&
原创
2014-11-25 22:24:15
1531阅读
hadoop-daemon.sh与hadoop-daemons.sh区别hadoop-daemon.sh只能本地执行hadoop-daemons.sh能远程执行1. 启动JNhadoop-daemons.sh start journalnodehdfs namenode -initializeSharedEdits //复制edits log文件到journalnode节点上，
原创
2015-11-11 14:40:23
2304阅读
1、关闭防火墙 systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动 查看防火墙状态firewall-cmd --state systemctl status f ...
转载
2021-09-17 20:23:00
430阅读
2评论
Hadoop 2.0产生背景 Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题 NameNode单点故障，难以应用于在线场景 NameNode压力过大，且内存受限，影响系统扩展性 MapReduce存在的问题 JobTracker访问压力大，影响系统
原创
2022-06-10 19:57:46
207阅读
在
2.x 终于实现了快照设置一个目录为可快照:hdfs dfsadmin -allowSnapshot <path>取消目录可快照hdfs dfsadmin -disallowSnapshot <path>生成快照hdfs dfs -createSnapshot <path>
原创
2014-11-25 22:26:11
1342阅读
上传hadoop安装包 上传到msater的/usr/local/soft/ hadoop-2.7.6.tar.gz 解压 tar -xvf hadoop-2.7.6.tar.gz 配置环境变量 vim /etc/profile 增加hadoop环境变量，将bin和sbin都配置到PATh中 exp ...
转载
2021-09-17 16:30:00
169阅读
2评论
今天尝试在Hadoop 2.x(YARN)上安装和配置LZO，遇到了很多坑，网上的资料都是基于Hadoop 1.x的，基本没有对于Hadoop 2.x上应用LZO，我在这边记录整个安装配置过程1. 安装LZO下载lzo2.06版本，编译位版本，
转载
2013-09-02 18:18:00
134阅读
HDFS2.0之HA 主备NameNode： 1、主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换； 2、主NameNode的信息发生变化后，会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中； 3、所有DataNode同时向两个NameNo
转载
2017-10-16 22:28:00
103阅读
2评论
HDFS联邦HDFS HAHDFS快照回顾: HDFS两层模型Namespace: 包括目录, 文件和块. 它支持所有命名空间相关的文件操作, 如创建, 删除, 修改, 查看所有文件和目录Block Storage Service (块存储服务) 包括两部分1. 在namenode中的块的管理提供datanode集群的注册, 心跳检测等功能.处理块的
原创
2014-11-25 22:23:18
1112阅读
HA结构图 HA是用来解决单点故障问题 DN: DataNode，启动时会往所有的NameNode汇报 NN: NameNode(主 Active(一个) 备 Standby(可以有多个)) JournalNodes:JournalNodes就是用来存储元数据的,是一个集群，节点数量必须为奇数个。
原创
2022-06-10 19:57:53
104阅读
代码下载地址；https://github.com/winghc/hadoop2x-eclipse-plugin.git$cd src/contrib/eclipse-plugin$ant jar -Dversion=2.3.
原创
2022-07-28 17:13:49
86阅读
mkdir -p /root/harbor/sslcd /root/harbor/sslopenssl genrsa -out ca.key 4096openssl req -x509 -new -nodes -sha512 -
原创
2022-01-19 10:29:32
211阅读
概览Spring Boot设计的核心理念就是对配置信息的管理采用约定优于配置，基于此理念我们开发过程中会大量的采用Spring Boot提供的默认项，相比传统的Spring Framework框架大大降低的配置项的数量，本文将详细介绍基于Spring Boot 2.x的配置体系，包括配置文件的介绍、如何自定义配置项、如何获取配置文件中的配置项、以及如何通过Profile实现特定的环境使用特定的配置
转载
2021-01-31 13:12:35
245阅读
mkdir -p /root/harbor/sslcd /root/harbor/sslopenssl genrsa -out ca.key 4096openssl req -x509 -new -nodes -sha512 -days 3650 \ -subj
原创
2021-07-19 11:49:34
164阅读
在 Hadoop 的 JAR 压缩包解压后的目录 hadoop-{VERSION} 中包含了 Hadoop 全部的管理脚本和 JAR 包，下面简单对这些文件或目录进行介绍。
（1）bin：Hadoop 最基本的管理脚本和使用脚本所在目录，这些脚本是 sbin 目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用 Hadoop。 （2）etc：Hadoop 配置文件所在的目录，包括 cor
转载
2023-11-08 23:46:35
97阅读
动手操作之前，请先将文本阅读完整，理解整体过程后再动手，相关注意事项需要了解清楚。本文为开发环境Rancher单机版安装，如需集群版安装可以详见官方文档。前置条件服务器已经安装docker并已启动docker服务。如果是内网安装，需要依赖docker私服harbor，你需要确保你harbor运行正常。docker服务已配置默认连接到私服harbor，并在服务器上使用 docker login 正常登录私服成功。将域名 harbor.goodcol.com 配置到服务器的 /etc/host
原创
2021-08-31 18:10:13
610阅读
动手操作之前，请先将文本阅读完整，理解整体过程后再动手，相关注意事项需要了解清楚。本文为开发环境Rancher单机版安装，如需集群版安装可以详见官方文档。
前置条件服务器已经安装docker并已启动docker服务。如果是内网安装，需要依赖docker私服harbor，你需要确保你harbor运行正常。docker服务已配置默认连接到私服harbor，并在服务器上使用 docker login
原创
2022-02-06 11:07:38
789阅读
解决 hadoop 2.x 配置 yarn 运行任务 Running job 卡住错误信息：21/06/24 18:56:40 WARN util.NativeCodeLoader: Un
原创
2023-06-08 15:00:22
268阅读
最低Java版本从7升级到8引入纠删码(Erasure Coding)主要解决数据量大到一定程度磁盘空间存储能力不足的问题.HDFS中的默认3副本方案在存储空间中具有200%的额外开销。但是，对于I/O活动相对较少冷数据集，在正常操作期间很少访问其他块副本，但仍然会消耗与第一个副本相同的资源量。纠删码能勾在不到50%数据冗余的情况下提供和3副本相同的容错能力，因此，使用纠删码作为副本机制的改进是自
原创
2022-06-24 11:43:40
529阅读
一、常用端口组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口，用于数据传输HDFSDataNode50075dfs.datanode.http.addresshttp服务的端口HDFSDataNode50475dfs.datanode.https.addresshttps服务的端口HDFSDataNode50020dfs
原创
2017-06-28 17:36:27
10000+阅读
