在
2.x 终于实现了快照设置一个目录为可快照:hdfs dfsadmin -allowSnapshot <path>取消目录可快照hdfs dfsadmin -disallowSnapshot <path>生成快照hdfs dfs -createSnapshot <path>
原创
2014-11-25 22:26:11
1342阅读
1、关闭防火墙 systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动 查看防火墙状态firewall-cmd --state systemctl status f ...
转载
2021-09-17 20:23:00
430阅读
2评论
Hadoop 2.0产生背景 Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题 NameNode单点故障，难以应用于在线场景 NameNode压力过大，且内存受限，影响系统扩展性 MapReduce存在的问题 JobTracker访问压力大，影响系统
原创
2022-06-10 19:57:46
207阅读
文章目录第1 章 RxJava 简介 1第2 章 RxJava 基础知识 13第3 章 创建操作符 64第4 章 RxJava 的线程操作 81第5 章 变换操作符和过滤操作符 107第6 章 条件操作符和布尔操作符 145第7 章 合并操作符与连接操作符 160第8 章 RxJava
原创
2021-08-26 13:57:32
378阅读
配置HDFS联邦配置etc/
hadoop/hdfs-site.xml<configuration>
<property>
<name>dfs.nameservices</name>
<value>ns1,ns
2</value>
</property>
&
原创
2014-11-25 22:24:15
1524阅读
上传hadoop安装包 上传到msater的/usr/local/soft/ hadoop-2.7.6.tar.gz 解压 tar -xvf hadoop-2.7.6.tar.gz 配置环境变量 vim /etc/profile 增加hadoop环境变量，将bin和sbin都配置到PATh中 exp ...
转载
2021-09-17 16:30:00
169阅读
2评论
我能学到什么？ 通过这篇文章，你可以独立的创建Spring Boot的入门Demo，你会感觉到搭建一个WEB平台是多少简单容易，我们来开始吧！什么是Spring Boot ?用过Spring全家桶的都知道，用Spring开发WEB有大量的xml文件，这对于维护来说并不是很友好，这种情况Spring也只知道这对于开发者不友好，所以Spring Boot诞生了，Spring Boot...
原创
2021-07-14 11:44:27
159阅读
HDFS2.0之HA 主备NameNode： 1、主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换； 2、主NameNode的信息发生变化后，会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中； 3、所有DataNode同时向两个NameNo
转载
2017-10-16 22:28:00
103阅读
2评论
HA结构图 HA是用来解决单点故障问题 DN: DataNode，启动时会往所有的NameNode汇报 NN: NameNode(主 Active(一个) 备 Standby(可以有多个)) JournalNodes:JournalNodes就是用来存储元数据的,是一个集群，节点数量必须为奇数个。
原创
2022-06-10 19:57:53
104阅读
代码下载地址；https://github.com/winghc/hadoop2x-eclipse-plugin.git$cd src/contrib/eclipse-plugin$ant jar -Dversion=2.3.
原创
2022-07-28 17:13:49
86阅读
HDFS联邦HDFS HAHDFS快照回顾: HDFS两层模型Namespace: 包括目录, 文件和块. 它支持所有命名空间相关的文件操作, 如创建, 删除, 修改, 查看所有文件和目录Block Storage Service (块存储服务) 包括两部分1. 在namenode中的块的管理提供datanode集群的注册, 心跳检测等功能.处理块的
原创
2014-11-25 22:23:18
1112阅读
hadoop-daemon.sh与hadoop-daemons.sh区别hadoop-daemon.sh只能本地执行hadoop-daemons.sh能远程执行1. 启动JNhadoop-daemons.sh start journalnodehdfs namenode -initializeSharedEdits //复制edits log文件到journalnode节点上，
原创
2015-11-11 14:40:23
2304阅读
课程章节：
第1章Spring Boot 2.X快速入门45分钟1节
1-1Spring Boot 2.x 快速上手[免费观看]45:51
第2章Spring Boot 常用配置1小时44分钟3节
2-1Spring Boot Web常用配置[免费观看]33:15
2-2日志配置[免费观看]28:59
2-3环境切换与自定义配置[免费观看]41:59
第3章Thymeleaf模板引擎入门1小时22分钟3节
3-1环境准备与循环迭代[免费观看]42:43
3-2分支与判断[免费观看]31:43
3-3作用域取值[免费观看]07:38
第4章Spring Boot与MVC2小时14分钟7节
4-1SpringBoot与MVC.[免费观看]26:41
4-2AJAX的应用与处理[免费观看]27:43
4-3上传文件的处理[免费观看]29:30
4-4获取
原创
2018-04-26 09:25:05
2391阅读
点赞
3评论
1.1 Hadoop简介从Hadoop官网获得Hadoop的介绍：http://hadoop.apache.org/(1)What Is Apache Hadoop?TheApache Hadoop project develops open-source software for reliable, scalable, distributed comput
原创
2015-04-07 15:44:45
1012阅读
在 Hadoop 的 JAR 压缩包解压后的目录 hadoop-{VERSION} 中包含了 Hadoop 全部的管理脚本和 JAR 包，下面简单对这些文件或目录进行介绍。
（1）bin：Hadoop 最基本的管理脚本和使用脚本所在目录，这些脚本是 sbin 目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用 Hadoop。 （2）etc：Hadoop 配置文件所在的目录，包括 cor
转载
2023-11-08 23:46:35
97阅读
准备工作IDE:IntelliJIDEA2020.3Java环境jdk1.8在官网快速创建SpringBoot项目下面开始进入正题：进入https://start.spring.io/(https://start.spring.io/)生成一个初始项目!image.png(https://s2.51cto.com/images/blog/202208/20131215_63006d2f5117f7
原创
2022-08-20 13:12:39
227阅读
Influxdb 2.x 快速入门
Influxdb是由Golang 构建的时序数据库，由于由Go语言构建使得其跨平台部署相对方便。用户只需下载其可执行文件到相应系统执行即可。核心概念示例数据（解释某些概念用）_time_measurementlocationscientist_field_value2019-08-18T00:00:00Zcensusklamathandersonbe
转载
2024-01-16 12:29:26
1247阅读
Egg.js 是一个基于 Koa.js 的企业级 Node.js 框架，它可以帮助开发者快速构建高效、可扩展的 Web 应用。Egg.js 提供了一套完整的开发工具和约定，旨在简化开发过程，提高开发效率。本文将带你从零开始入门 Egg.js 2.x，帮助你快速了解和使用这个强大的框架。
Elasticsearch是什么？Elasticsearch是一个基于Lucene的搜索服务器，Elasticsearch也是使用Java编写的，它的内部使用Lucene做索引与搜索，但是它的目的是使用全文检索变得简单，通过隐藏Lucene的复杂性，取而代之的提供一套简单一致的RESTful API。Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎。它可以被下面这样准确的形容：一个分布式的实时文档存储，每个字段 可以被索引与搜索一个分布式实时分析搜索引擎
原创
2021-06-08 10:43:02
238阅读
最低Java版本从7升级到8引入纠删码(Erasure Coding)主要解决数据量大到一定程度磁盘空间存储能力不足的问题.HDFS中的默认3副本方案在存储空间中具有200%的额外开销。但是，对于I/O活动相对较少冷数据集，在正常操作期间很少访问其他块副本，但仍然会消耗与第一个副本相同的资源量。纠删码能勾在不到50%数据冗余的情况下提供和3副本相同的容错能力，因此，使用纠删码作为副本机制的改进是自
原创
2022-06-24 11:43:40
529阅读
