从这篇开始记录一下集群迁移的事情早先因为机房没地方，就已经开始规划集群搬机房的事情，最近终于开始动手了，我会把这次不停机迁移的过程遇到的主要问题和矛盾以及各种解决方法记录下来。集群规模说大不大，几百台，总容量30PB左右。Hadoop使用CDH 5.5.1加一些自定义patch的rpm打包编译版本。总的方案是集群不停机，在两个机房之间架设专线，旧机房decommission，拉到新机房recomm
转载
2023-12-02 20:56:59
94阅读
运维部知识库管理办法V1版随着业务系统对于IT系统依赖性提高，IT技术愈加复杂，变更日趋频繁。系统高可用要求极大提高，快速响应各种需求，灵活支撑业务发展，高效迭代下保持稳定,运维的压力也像山一样的成堆增长，收费运营越来越依赖于收费系统稳定性。因此，如何快速提高运维水平是运维中心目前最急迫的需求。接下来需要通过提高运维水平及技术能力来提升整个运维的运行效率。与完美的业务机制相比 ，只差了一个完美的运
转载
2023-12-24 13:59:32
89阅读
安装包下载Index of /dist/spark spark集群的master和work单独启动要单独启动那么必须先启动master,然后在启动worktar -zxvf spark-3.0.0-bin-hadoop2.7.tgz配置环境变量sudo vi /etc/profile.d/my_en.sh#SPARK_HOME
export SPARK_HOME=/home/atguig
# 运维削Spark的全过程指导
## 引言
Apache Spark 是一个强大的分布式计算框架，但如果没有恰当的运维管理，可能会导致性能瓶颈或资源浪费。本文将为刚入行的小白提供一个详细的步骤指南，教你如何实现运维削Spark。
## 流程概述
实施运维削Spark的流程可以分为以下几个步骤：
| 序号 | 步骤 | 描述
原创
2024-10-29 03:58:38
38阅读
# Spark平台运维基础
Apache Spark是一个开源大数据计算框架，提供了快速的集群计算能力。随着大数据的普及，Spark逐渐成为数据工程师和数据科学家的重要工具。然而，Spark应用的稳定性和性能依赖于良好的运维实践。本文将探讨Spark平台的运维，旨在提供一些实用的技巧与代码示例，帮助读者更好地管理和维护Spark集群。
## Spark运维的基本概念
在运维Spark集群的过
Docker 镜像/容器命令、运维命令
• 镜像与容器的使用
• 镜像操作
• 容器操作
• 容器资源使用情况
• 默认输出
• 只返回当前的状态
• 只输出指定的容器
• 格式化输出的结果
转载
2023-07-11 06:33:38
110阅读
# 如何实现“运维 Redis 集群”
## 一、整体流程
首先我们需要了解搭建 Redis 集群的整体流程，下面是一个简单的步骤表格：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 安装 Redis 软件 |
| 2 | 配置 Redis 集群节点 |
| 3 | 启动 Redis 集群 |
| 4 | 验证 Redis 集群配置 |
## 二
原创
2024-06-29 05:36:31
64阅读
**ES集群运维指南**
作为一名经验丰富的开发者，我将向你介绍如何进行ES集群的运维工作。ES（Elasticsearch）是一个基于Lucene的开源搜索引擎，常用于构建实时搜索和分析系统。在实践中，我们需要对ES集群进行不断的监控和维护，以确保其稳定性和性能。
下面是整个ES集群运维的流程：
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 部署ES集群 |
原创
2024-05-07 10:36:08
91阅读
一、ceph守护服务管理 官方文档 ceph节点可以使用一条命令影响所有服务，也可以更细粒度的去管理单独的守护进程，比如systemctl start ceph.target 指令将停止此节点上所有的ceph相关进程，包括osd、mgr等等，也可以使用systemctl start ceph-osd ...
转载
2021-09-12 17:35:00
344阅读
2评论
Kubernetes 集群运维的实现方式基本可以分为以下几个步骤：准备环境、安装 Kubernetes、创建集群、进行集群管理和维护。
步骤 | 动作 | 代码示例
--- | --- | ---
1 | 准备环境 | 安装 Docker，并启动 Docker 服务
2 | 安装 Kubernetes | 导入 Kubernetes GPG 公钥添加 Kubernetes 的 apt repos
原创
2024-01-23 10:48:26
132阅读
更新configserver信息 1.登录一个configserver节点,查看configserver信息 直接修改原来的数据会报错 2.查看rs的帮助命令 rs帮助命令 /data/mongod/package/mongodb-linux-x86_64-amazon-3.6.2/bin/mong
原创
2023-08-18 11:35:52
71阅读
环境注意，系统版本对安装MHA有影响OS：三台 CentOS Linux release 7.3.1611 (Core)mysql： mysql Ver 14.14 Distrib 5.7.12, for Linux (x86_64)MHA： mha4mysql-0.58服务器信息10.150.132.103 VIP
10.150.132.100 master
10.150.132.101
Segment镜像概述当Greenplum数据库高可用性被启用时，有两种类型的Segment：主Segment和镜像Segment，每个主Segment都有一个对应的镜像Segment。主Segment从Master接收请求来对该Segment的数据库做更改并且接着把那些更改复制到对应的镜像。如果主Segment变成不可用，数据库请求会被转移到镜像Segment。Segment镜像采用了一种物理文
转载
2024-04-03 10:34:00
90阅读
# 优化Kubernetes集群运维体系：运维日报
在现代云原生架构中，Kubernetes（K8s）作为一个强大的容器编排工具，越来越多地被企业采用。然而，随着集群规模的扩大，Kubernetes的运维复杂性也随之增加。本文将探讨如何优化Kubernetes集群的运维体系，并通过编写运维日报来实现这一目标。
## 1. 什么是运维日报？
运维日报是一种记录和总结日常运维工作的文档，包括系统
原创
2024-10-24 04:31:17
127阅读
0.大数据技术分类 1.批处理框架：Mapreduce 批处理历史数据 2.流处理框架：storm 一直处理源源不断的数据 3.混合处理框架：spark1.生态圈核心项目 1.HDFS分布式文件系统 2.yarn调
转载
2023-11-23 19:54:33
165阅读
Spark 大数据计算框架、架构、计算模型和数据管理策略及 Spark 在工业界的应用。围绕 Spark 的 BDAS 项目及其子项目进行了简要介绍。目前，Spark 生态系统已经发展成为一个包含多个子项目的集合，其中包含 SparkSQL、Spark Streaming、GraphX、 MLlib 等子项目，本章只进行简要介绍，后续章
原创
2017-07-07 13:36:38
3676阅读
点赞
1评论
# Spark的监控运维入门指南
## 引言
Apache Spark作为一个高效的大数据处理引擎，广泛应用于数据分析和处理。然而，随着应用的复杂性增加，如何监控和运维Spark集群就显得尤为重要。本篇文章将为你提供一个基础的Spark监控运维流程，帮助你快速上手。
## 监控运维流程概述
在进行Spark监控运维时，我建议按照以下步骤进行：
| 步骤 | 描述 |
|------|--
前面的文章介绍了MongoDB副本集和分片集群的做法，下面对MongoDB集群的日常维护操作进行小总结： MongDB副本集故障转移功能得益于它的选举机制。选举机制采用了Bully算法，可以很方便从分布式节点中选出主节点。Bully算法是一种协调者(主节点)竞选算法，主要思想是集群的每个成员都可以声
原创
2022-01-17 11:50:36
1971阅读
内存分配优化 每个节点都有125G的内存 内存设置规则 32GB是ES一个内存设置限制，那如果你的机器有很大的内存怎么办呢？现在的机器内存普遍增长，你现在都可以看到有300-500GB内存的机器。 首先，我们建议编码使用这样的大型机 其次，如果你已经有了这样的机器，你有两个可选项： 你主要做全文检索
原创
2023-08-18 11:37:46
55阅读
（一）备份namenode的元数据namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。1、将元数据复制到远程站点（1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器[plain] view plain copy #!/bin/ba
转载
精选
2016-05-11 18:21:43
1282阅读
