0.大数据技术分类 1.批处理框架：Mapreduce 批处理历史数据 2.流处理框架：storm 一直处理源源不断的数据 3.混合处理框架：spark1.生态圈核心项目 1.HDFS分布式文件系统 2.yarn调
转载
2023-11-23 19:54:33
165阅读
hadoop完全分布式集群搭建环境准备安装zookeeper下载zookeeper安装包解压安装包创建zookeeper配置文件(conf/zoo.cfg)启动zookeeper安装hadoop下载hadoop安装包解压安装包修改配置文件分发安装包，将hadoop的安装包传输到其他的机器启动journalnode格式化zkfc并启动(hadoop1)格式化namenode并启动(hadoop1)
转载
2023-07-20 17:40:44
124阅读
（一）备份namenode的元数据namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。1、将元数据复制到远程站点（1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器[plain] view plain copy #!/bin/ba
转载
精选
2016-05-11 18:21:43
1282阅读
前几章我们介绍了 Hadoop 的 MapReduce 和 HDFS 两大组件，内容比较基础，看完后可以写简单的 MR 应用程序，也能够用命令行或 Java API 操作 HDFS。但要对 Hadoop 做深入的了解，显然不够用。因此本章就深入了解一下 MapReduce 应用的运行机制，从而学习 Hadoop 各个组件之间如何配合完成 MR 作业。本章是基于 Hadoop YARN 框架介绍，Y
3. 通过 Ambari 安装 HBase、Hive 等外围应用除了一些基础的 Hadoop 应用组件，在企业实际应用中还会集成一些其他生态组件，这些组件可以减少开发工作量，提高工作效率，最常用的就是 Hive 这个外围组件。目前 Hive 已成了很多企业的应用标配。Hive 发展到现在，为了迎合多种计算引擎，也出现了多种运行模式，最早出现的是 Hive on MapReduce，这种运行模式主要
转载
2023-10-28 16:31:30
1024阅读
目录文章导读Hadoop下载Hadoop解压Hadoop高可用配置核心配置hdfs配置yarn配置mapred配置修改hadoop-env.sh配置环境变量分发安装包 启动Zookeeper启动Hadoop启动journalnodehdfs格式化zkfc格式化namenode主从同步启动HDFS启动YARN在hadoop02节点上手动启动备用的resourcemanager参考文章文章导
转载
2023-07-14 15:28:45
75阅读
# 列出分片信息 mongos> use admin mongos> db.runCommand( { listshards : 1 } ) { "shards" : [ { "_id" : "shard1", "host" : "sh1/127.0.0.1:28021,127.0.0.1:2802
转载
2017-08-08 15:13:00
130阅读
2评论
分片用户管理 不通过mongos连接分片 通过mongos创建的用户无法直接登录shard，必须单独给shard创建自己的用户 用户创建规则 连接分片 /data/tianyiyun/mongodb-linux-x86_64-amazon-3.6.2/bin/mongo --port 20001 集
原创
2023-08-18 11:32:22
49阅读
# Redis集群运维管理平台
Redis是一种高性能的开源内存数据库，广泛应用于缓存系统和消息队列等场景。在实际应用中，Redis集群的运维管理是一个重要的任务，包括监控集群健康状态、处理故障、调整集群配置等。为了简化这些操作，我们可以开发一个基于Web的Redis集群运维管理平台。
## 概述
该平台主要功能包括以下几个方面：
- 监控集群的健康状态，包括节点是否正常运行、内存使用情况
原创
2023-12-20 09:00:50
61阅读
一、生产环境部署的隐形战场 在某次跨城数据中心迁移项目中，我们曾遇到一个典型的Hadoop集群部署困境。当将200+节点集群从物理机
K8S集群管理和运维是指对Kubernetes（K8S）集群的监控、维护和管理工作。在K8S集群管理和运维中，需要关注集群的健康状态、资源利用率、故障排查、扩容缩容等工作。本文将从整体流程入手，详细介绍如何实现K8S集群管理和运维。
### 整体流程
下表列出了K8S集群管理和运维的流程，包括监控、维护和管理。
| 步骤 | 操作
原创
2024-03-18 11:23:15
122阅读
本博客整体内容包括nginx静态服务器
了解nginxnginx具体实现的功能nginx简单使用nginx的代理
正向代理反向代理反向代理简单案例反向代理解决跨域问题nginx 动静分离的实现(提高访问速度)
了解什么是动静分离和优缺点动静分离配置动静分离案例nginx的负载均衡的实现(负责多台服务器提供服务)
了解什么是负载均衡实现负载均衡案例nginx 限流的实现(提高
转载
2024-05-28 12:03:07
65阅读
一、为什么要弄redis集群集群技术是构建高性能网站架构的重要手段，试想在网站承受高并发访问压力的同时，还需要从海量数据中查询出满足条件的数据，并快速响应，我们必然想到的是将数据进行切片，把数据根据某种规则放入多个不同的服务器节点，来降低单节点服务器的压力。上篇redis_主从我们讲到了 Redis 的主从复制技术，当实现了多节点的 master-slave 后，我们也可以把它叫做集群，但我们今天
转载
2023-09-11 21:23:55
51阅读
集群简介：
Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施（installation）。
Redis 集群不支持那些需要同时处理多个键的 Redis 命令， 因为执行这些命令需要在多个 Redis 节点之间移动数据， 并且在高负载的情况下， 这些命令将降低 Redis 集群的性能， 并导致不可预测的行为。
Redis
转载
2024-06-20 08:21:22
44阅读
# Hadoop运维概述
Hadoop是一个开源框架，主要用于分布式存储和处理大数据。它的核心组件包括Hadoop分布式文件系统（HDFS）和MapReduce计算模型。在Hadoop的日常运维中，管理员需要关注集群的健康状态、任务的执行情况以及数据的安全性。本文将通过关系图和状态图，介绍Hadoop运维的基本概念，并提供一些代码示例。
## Hadoop集群架构
在深入运维之前，先来看一下
在实际的生产环境运维一个Hadoop集群有一些必须要关注的事情。 1、Namenode的高可靠性 2、节点配置与管理 3、Mapreduce的内存配置 4、启用trash 首要的是保证数据安全可靠，其次再去考虑存储效率、计算效率、运维效率的优化与提高，当你觉得Hadoop集群的性能太差太差...
转载
2013-11-26 09:08:00
178阅读
2评论
1.处理hadoop的namenode宕机 处理措施：进入hadoop的bin目录，重启namenode服务./hadoop-daemon.sh start namenode2.处理hadoop的jobtacker宕机 处理措施：进入hadoop的bin目录，重启jobtacker服务 操作命令：cd path/to/hadoop/bin ./hadoop-daemon.sh start
转载
2023-09-01 08:03:03
99阅读
redis哨兵，集群和运维
原创
2024-08-19 13:38:04
58阅读
hadoop运维报错总结初衷case1功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 初衷把平常工作中遇到的问题报错
转载
2024-04-19 18:18:50
178阅读
第二章Hadoop架构简介本章包括l Hadoop架构l 分布式集群l HDFS架构l YARN架构本章介绍Hadoop架构。在你学习管理Hadoop集群之前，有必要先了解下Hadoop的集群架构。Hadoop包括两个基础层：存储层HDFS，处理层YARN。本章非常关键，因为它引入了几个关键术语，以及相关的守护进程和进程相互配合，完成hadoop数据
转载
2023-08-04 11:18:10
214阅读
