hadoop三大发行版本： apache、cdh、hdp apache: www.apache.org 软件下载：(http://www.apache.org/dist)hadoop是基于Java编写的框架，由大量廉价的计算机组成的集群运行海量数据的分布式并行处理计算平台hadoop1.X的组件：（两大组件） HDFS：分布式文件系统 MapReduce：分布式离线计算框架 hadoop2.X的组
转载
2023-10-12 22:37:19
75阅读
Hadoop集群安装维护文档
原创
2013-09-27 14:03:24
1554阅读
Hadoop运维人员,负责为Hadoop提供一个高效和可靠的作业执行环境,很多时候,需要从全局出发,通过调整一些关键参数以提供系统的性能和吞吐量.总体上看,Hadoop运维需要从硬件选择,操作系统参数调优,JVM参数调优,Hadoop参数调优四个方面着手进行调优 1.硬件选择 在硬件环境中,应着重提高Master机的物理性能(使用更好的CPU和更大的内存等等). Hadoop自身是主
# Redis的安装和维护
Redis是一个开源的内存数据库，常用于缓存、会话存储和消息队列等应用场景。本文将介绍如何安装和维护Redis，以及常用的操作示例。
## 安装Redis
首先，我们需要下载并安装Redis。以下是在Ubuntu系统上安装Redis的步骤：
1. 更新包列表：`sudo apt update`
2. 安装Redis：`sudo apt install redis
日常运维 升级 问题处理方法日常运维进程管理由于配置文件的更改，需要重启生效，或者是进程自己因某种致命原因终止，或者发现进程工作出现异常等情况下，需要进行手动进程的关闭或启动，或者是增删节点过程中的需要，进程的关闭与启动，使用hadoop-daemon.sh start|stop datanode/namenode/journalnode/zkfc
yarn-daemon.sh start|sto
转载
2023-07-23 22:50:19
108阅读
Hadoop下，HDFS运维算是一个非常重要的过程。对于生产而言，海量数据被存储到了HDFS中，如果HDFS挂了，那么导致生产环境无法工作是小，遗失数据而造成的后果将更加巨大。下面总结下CDH体系下HDFS基础运维知识。首先得从HDFS下的NameNode开始，简介下NameNode的工作机制当我们把NameNode格式化后会产生如下目录结构${dfs.name.dir}/current/VERS
转载
2023-07-13 17:50:08
60阅读
我们接着Hadoop集群搭建1的文章继续搭建Hadoop集群。我们先前在Hadoop集群搭建1的时候已经克隆好了slave1和slave2两台虚拟机了。现在，我们如果是16G或者是更高内存的朋友，可以直接打开三台虚拟机，否则，最好一台一台的开，我们先修改slave1的配置。因为，从master直接克隆过来的slave1IP地址和主机名都是相同的，所以，我们需要修改。先停止防火墙服务，再修改主机名。
转载
2023-07-21 14:50:55
47阅读
# Hadoop日常维护
## 什么是Hadoop
Hadoop是一个由Apache开发的开源框架，用于分布式存储和处理大规模数据集。它基于Google的MapReduce论文和Google File System设计而成，提供了可靠、高效地处理大规模数据的解决方案。
## Hadoop日常维护
在使用Hadoop进行数据处理的过程中，对Hadoop集群进行日常维护是非常重要的。这包括监控
fastDFS安装文档一安装环境1服务器环境服务器系统角色组172.16.1.5centos6.9tracker、storage、nginxgroup1172.16.1.6centos6.9tracker、storage、nginxgroup12软件版本软件包版本号fastDFSV5.11libfastcommonV1.0.36fastdfsnginxmoduleV1.1.6nginxV1.10.
原创
2022-11-10 16:24:59
313阅读
Datanode块扫描器各个datanode运行一个块扫描器，定期检测节点上的所有块，从而在客户端读到坏块之前及时检测和修复坏块。可以依靠DataBlockScanner所维护的块列表依次扫描块，查看是否存在校验和错误。扫描器利用节流机制，来维持datanode的磁盘带宽。 默认情况下，扫描器每隔三周就会检测块，以应对可能的磁盘故障，这个周期由dfs.datanode.scan.period.ho
转载
2023-11-01 13:44:15
47阅读
经验文档，写了很久了，现在贴出来吧，慢慢积累。1. 机器配置 NO.资产编号IP主机名配置1 192.168.42.20server1CPU：双核Pentium(R) Dual-Core CPU E5400 @ 2.70GHz内存：4
Hadoop安装及配置目录一、虚拟机免密登录二、解压文件并授权1.解压文件2.授权用户和组三、配置环境变量和Hadoop1.配置环境变量2.更改配置文件3.Yarn配置 一、虚拟机免密登录 免密登录是为了后面启动Hadoop服务方便而操作，不然每个Hadoop服务启动都需要输入密码（如果本机已生成秘钥，则只需把id
转载
2023-08-04 11:20:56
55阅读
# Spark和Hadoop的安装
在大数据领域中，Spark和Hadoop是两个非常重要的开源框架。Spark是一个快速、通用的大数据处理引擎，而Hadoop是一个可靠的、可扩展的分布式存储和处理系统。本文将介绍如何安装Spark和Hadoop，并提供相应的代码示例。
## 1. 安装Java环境
首先，我们需要安装Java环境。Spark和Hadoop都是基于Java开发的，所以需要先安
原创
2023-09-14 08:40:26
120阅读
1.添加一个DataNode集群扩容需要添加新DataNode，通常情况是需要添加存储，虽然有时也为了添加IO带宽或减小单台机器失效的影响。 在运行中的HDFS集群上增加新的DataNode是一个在线操作或者说是热操作。 步骤如下： 1. 把DataNode的IP地址加入dfs.hosts参数指定的文件中。每个IP地址占用一行。 2. 以HDFS超级用户或者有类似特权的用户执行命令hado
随着Apache Hadoop的起步，云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。 尽管Hadoop被设计为运行在行业标准的硬件上，提出一个理想的集群配置不想提供硬件规格列表那么简单。 选择硬件，为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性。(比如，IO密集型工作负载的用户将会为每个核心主轴投资更多)。 在这个博客帖子中，你将会学到一些
转载
2023-10-26 08:32:41
93阅读
1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help
2、显示关于某个命令的详细信息
$ bin/hadoop fs -help command-name
3、用户可使用以下命令在指定路径下查看历史日志汇总
$ bin/hadoop job -history output-dir #这条命令会显示作业的细节信息，失败和终止的任务细节。
4、关于作业的更多细节，
转载
2023-07-04 14:33:28
235阅读
智能CDN安装和维护手册
一． 系统安装
1. 系统选用
系统：CentOS5.5以上，原则上使用64位系统！
2. 系统分区
/boot 100M
/ 5-10G
Swap 4-8G
/mynet/logs 20G
/mynet 第一块盘剩余空间
别的盘根据系统的不同挂载不同目录
3. 软件选择
原创
2011-12-02 19:51:40
1845阅读
点赞
1评论
# Hadoop维护手顺
Hadoop是一个开源的分布式存储和计算框架，用于处理大规模数据。在使用Hadoop的过程中，我们需要对其进行维护，以确保系统正常运行。本文将介绍Hadoop维护的一般手顺，并提供一些代码示例。
## 1. 数据备份
在使用Hadoop时，数据备份是非常重要的。我们可以使用HDFS的命令行工具来备份数据。以下是一个简单的数据备份示例:
```markdown
``
虽然PLC是专门在现场使用的控制装置，在设计制造时已采取了很多措施，使它对工业环境比较适应，但是为了确保整个系统稳定可靠，还是应当尽量使PLC有良好的工作环境条件， 并采取必要的抗干扰措施。因此，PLC在安装和维护时应注意以下几点问题：1.PLC的安装安装PLC时，要避开下列场所：（1）环境温度超过0 ~ 50℃的范围；（2）相对湿度超过85%或者存在露水凝聚（由温度突变或其他因素所引起的）；（3
原创
2023-06-12 09:46:50
108阅读
下周准备去某地做Hadoop相关的技术培训，主要负责讲解Hadoop的安装部署和运维部分，赶制了一份PPT，将平时工作中遇到的问题也提取了一下，希望能对Hadoop运维相关人员有所帮助，算是个补上的运维记录吧，错误数据均来自以前日常工作中的Hadoop日志。也有一点点跟Hadoop相关的非保密数据，拿出来晒晒。目前公司的数据规模如下，相比大公司不算是很大的数据量，但是也不是很小。 接收日
转载
2023-08-28 16:54:13
99阅读
