基于RRDTOOL+CACTI性能监视系统的架构一、概述 Linux下用的最多的是MRTG的性能监视，MRTG配置比较简单，MRTG的确是非常好的东东，但我认为它毕竟已经是一套很旧的软件了，其作者在多年前就已经开发了RRDTool代替该软件，现在已经发展得很成熟。既然有更好的选择，为什么我们还要用MRTG呢？ 简单的说，rrdtool就是一个强大的绘图的引擎，很多语言都可以调用rrdtool绘图。
转载
2024-03-25 22:33:32
104阅读
1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help
2、显示关于某个命令的详细信息
$ bin/hadoop fs -help command-name
3、用户可使用以下命令在指定路径下查看历史日志汇总
$ bin/hadoop job -history output-dir #这条命令会显示作业的细节信息，失败和终止的任务细节。
4、关于作业的更多细节，
转载
2023-07-04 14:33:28
271阅读
从这篇开始记录一下集群迁移的事情早先因为机房没地方，就已经开始规划集群搬机房的事情，最近终于开始动手了，我会把这次不停机迁移的过程遇到的主要问题和矛盾以及各种解决方法记录下来。集群规模说大不大，几百台，总容量30PB左右。Hadoop使用CDH 5.5.1加一些自定义patch的rpm打包编译版本。总的方案是集群不停机，在两个机房之间架设专线，旧机房decommission，拉到新机房recomm
转载
2023-12-02 20:56:59
94阅读
一、系统centOS7以上，至少三台主机 添加ip 主机名映射关系：（每台主机都要做）vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localho
转载
2024-07-30 16:12:34
36阅读
在前的文章中介绍过《CDH集成的kerberos迁移实战》,由此也考虑到kerberos单
原创
2022-11-26 23:24:01
601阅读
CDH 安装 市场上免费大数据框架主要有三个版本，原生的 Apache 版本，Clou
转载
2020-08-11 16:44:00
256阅读
2评论
运维与大数据接轨，能否让自己看到新的“曙光”呢？能否让自己薪资翻倍成功？
转载
2021-07-13 18:06:09
10000+阅读
转载的，个人感觉写的很实在，简单明了，精辟！
运维工作尤其是linux运维，其实最考验你的能力，因为需要学习的东西实在太多，
你既要懂网络：思科华为设备的配置；
要懂性能调优：包括lamp或者lnmp的性能调优，也包括linux操作系统调优；
要懂数据库mysql或者nosql（例如mongodb）：
要懂编程语言：Shell是最基本的，还要学习perl，pyth
转载
精选
2012-02-06 11:59:15
8655阅读
2评论
本期来分享一个cdh企业运维实战案例，将现有集群CDH版本由5.x版本升级为6.3.x版本。
原创
2022-12-11 00:51:21
788阅读
应用运维应用运维负责线上服务的变更、服务状态监控、服务容灾和数据备份等工作，对服务进行例行排查、故障应急处理等工作。详细的工作职责如下所述。1.设计评审在产品研发阶段，参与产品设计评审，从运维的角度提出评审意见，使服务满足运维准入的高可用要求。2.服务管理负责制定线上业务升级变更及回滚方案，并进行变更实施。掌握所负责的服务及服务间关联关系、服务依赖的各种资源。能够发现服务上的缺陷，及时通报并推进解
转载
2023-07-27 21:04:17
1127阅读
发展至今，云计算提供三种形式的云服务，基础设施即服务(IaaS)，平台即服务(PaaS)和软件即服务(SaaS)。尽管这三种服务形式有所差异，其最终的目的就是为用户提供服务(Service)的，而不仅仅是软硬件和各种资源。下面小编将带你了解一下为何说这三种云服务最终拼的都是运维，以下将了解一下关于云计算的技术难点和云计算的门槛。PaaS+IaaS+SaaS云计算的技术难点到今天，云计算的工业实现已
转载
2024-02-27 13:38:34
1306阅读
运维的工作层次来分，又分为硬件运维、桌面运维、系统运维、数据库运维和应用运维。他们运维的设备，小的从个人电脑，大的到数以亿计的高精尖计算设备（比如 大型机 ）。根据公司 IT 系统规模的不同，运维团队小至1 人，大至数百人。每晚通宵达旦，为 IT 系统保驾护航。有句行话“累成狗，起的比鸡早，睡得比猪晚”。就这样还是种种抱怨和不满。我对运维总结成了两句话：“技术只是手段，业务才是王道”。运维的好坏评
转载
2023-08-30 16:31:42
657阅读
部署：环境规划、代码托管、自动化部署、差异配置文件处理等。监控：某个新业务上线，是否能够有效的监控、如何知道某个接口被调用的多少次？安全：都谁可以调用本业务的接口？（黑白名单），能调用多少次？（频率限制）。备份：该业务是否可以做负载均衡？负载均衡需要考虑什么（数据同步）？日志：该业务都产生哪些日志？日志如何收集、日志如何归档、日志保留时间。根据自己的经验将运维所需的技能分为几类：部署：系统安装、软
转载
2024-03-20 21:01:27
254阅读
产出的价值无非2点(无论是小事还是大事，有价值的事情，就必须要去做，方法和工具都是灵活的。1.节约成本。2.724小时保证业务不间断运行。1）成本预算必须要做，否则当业务收支平稳的时候，boss就非常关心了:1.机器配置统一化,业务也知道配置的选择，而不是迷茫，狮子大开口。2.业务人数评估(正常量和突发量)3.各业务产品功能和逻辑梳理，包括使用场景。前期怎么做，后期扩展的方案有哪些？slb-web
转载
2018-02-05 10:26:55
6821阅读
点赞
在Kubernetes（K8S）中，运维（Operations）是一个至关重要的方面，它涉及到保持集群的高可用性、监控集群的健康状态、处理故障等。运维的系统可以帮助我们更有效地管理K8S集群，并确保应用程序的可靠运行。在接下来的文章中，我将向您介绍如何实现一个基本的运维系统，并为您提供相应的代码示例。
### 运维系统的实现流程
下面是实现一个基本运维系统的流程，我们将使用Prometheus
原创
2024-05-20 10:14:24
295阅读
术语名词IDC–（Internet Data Center)互联网数据中心，主要服务包括整机租用、服务器托管、机柜租用、机房租用、专线接入和网络管理服务等。广义上的IDC业务，实际上就是数据中心所提供的一切服务。客户租用数据中心
原创
2022-03-23 15:46:16
1485阅读
概述本文将简单介绍运维数据分析系统 Elastic Stack，并描述其基础部署过程。简介ELK（Elasticsearch + Logstash + Kibana）用于日志集中分析系统，Elasticsearch
用于存储、搜索、分析数据，Logstash 用于接收并处理数据，Kibana 提供 Web UI 管理数据，客户端通过 Logstash-Forwarder
将指定的日志数据传递数据给
转载
2024-02-26 19:51:35
168阅读
运维（Operation and maintenance）一般是指对大型组织已经建立好的网络软硬件的维护，其中传统的运维是指信息技术运维（IT运维）。所谓IT运维管理，是指单位 IT 部门采用相关的方法、手段、技术、制度、流程和文档 等，对IT 运行环境（如软硬件环境、网络环境等）、IT 业务系统和 IT 运维人员进行的综合管理。 随着信息化进程
转载
2023-11-07 15:58:00
609阅读
企业要求其企业信息系统的维护人员具备专门的信息知识，使用有效的监控工具，长期实时地为企业服务，还能根据企业的业务发展的需要随时重构其维护的人员结构和流程。但企业信息系统运维的实际情况却往往不尽如人意。IT运维外包能使IT人员从繁琐的事务性工作中解放出来，使其在业务、客户服务等方面可以投入更多精力，实现更多的效益。IT运维外包流程主要包括以下4个关键环节：1、外包战略制定外包必须首先保证企业的核
转载
2023-09-25 16:06:17
82阅读
# 理解运维经理、运维主管、运维架构师和运维总监之间的区别
在现代IT企业中，运维（Operations）是保证系统正常运行的关键环节。在运维团队中，有不同的职位负责不同的职责，包括运维经理、运维主管、运维架构师和运维总监。本文将帮助你深入理解这些角色之间的区别，并告诉你如何有序地开展相关工作。
## 职位职责流程
为了更好地理解这些角色的职责，我们可以通过以下表格来总结每个职位的主要职责：
