之前几周的时间一直是在围绕DKhadoop的运行环境搭建写分享，有一些朋友留言索要了dkhadoop安装包，不知道有没有去下载安装一探究竟。关于DKHadoop下载安装基本已经讲清楚了，这几天有点空闲把大快DKM大数据运维管理平台的内容整理了一些，作为DKHadoop相配套的管理平台，是有必要对DKM有所了解的。DKM 是DKHadoop管理平台。作为大数据平台端到端Apache Hadoop 的
转载
2024-07-26 01:13:01
58阅读
1、负责公司大数据平台的部署、管理、优化、监控报警，保障平台服务7*24稳定可靠高效运行；2、深入理解公司大数据平台架构，发现并解决性能瓶颈，支撑业务和数据量的快速增长；3、开发大数据自动化运维、监控报警、故障处理相关脚本和工具； 4、负责Hadoop/spark/kafka等集群服务、业务监控、持续交付、应急响应、容量规划等。 大数据生态圈部署实战(最好是自动化的部署)：这块
转载
2024-08-15 00:49:56
25阅读
文章目录1 基本概念1.1 什么是Hive1.2 Hive 的优缺点1.3 Hive 架构原理1.4 Hive 和数据库比较2 Hive 安装2.1 Hive 安装部署2.2 MySQL 安装2.3 Hive元数据配置到 MySQL2.4 使用元数据服务的方式访问 Hive2.5 使用 JDBC方式访问 Hive2.6 Hive 常用交互命令2.7 Hive 常见属性配置3 Hive 数据类型3
转载
2023-09-25 21:28:43
122阅读
负责hbase跨机房迁移，数据同步，备份，升级性能问题处理，regionserver扩缩容，hmaster处理,监控hadoop,yarn,zk部署小文件处理,datanode oom处理，大数据运维故障处理
原创
2024-07-07 20:11:58
2阅读
众所周知，云计算改变了整个传统IT产业的基础架构，而大数据则改变了IT业务模式。那么在云计算大数据时代，传统的Linux系统运维应该怎么顺应技术的发展呢？今天我们就来聊一聊大数据运维工程师。1.运维工程师都有哪些岗位一图胜千言，针对运维工程师在公司都有哪些岗位，我们不妨看看下面这张图。2.大数据运维的工作职责【职责1】规划部署01 根据业务规划和未来业务演进评估集群规模、存储规模、算力需求、技术选
转载
2023-10-08 20:31:54
22阅读
先自我包装一下，本人是这个实在人。由于要生存，就面临着找工作。学习期间学校C#语言，但是对这个技术不是很感兴趣，也很少写代码。于是乎毕业找工作到处碰壁，好不容易有个公司收留我，就去上班了，工作了一个月，由于对代码的厌恶，很快就辞职待业了！回到家中，左思右想，自己到底适合干什么，IT互联网公司那么多，总有一份工作适合自己的，就说说最近这份工作吧！是做反恐情报侦察，大数据系统运维工作的，接下来我就说说
转载
2024-05-16 22:01:52
21阅读
运维通俗的理解即为运行和维护，来保证系统和网站的正常运行，维护它们的安全。保证7×24小时的正常运行，数据的稳定、不丢失，并持续进行系统及网站的优化。那它具体是做什么的呢？1. 备份有备无患，总是没错的！！！从数据库的备份、程序的备份到系统的备份，通过备份的方式，来防止数据的丢失。以免数据的故障或其他原因，让数据都消失了，造成一场不小的“灾难”。2. 监视对日常的系统进行监视和管理，避免出现不必要
转载
2023-10-23 09:38:10
97阅读
ELK的概述ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被成为Elastic Stack。其中Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。像类似百度、谷歌这种大数据全文搜索引擎的场景都可以使用Elasticsearch作为底层支持框架，可见Elasticsearch提供的搜索
转载
2024-10-28 11:23:49
35阅读
俗话说的好：工欲善其事，必先利其器！一款好的工具可以让你事半功倍，尤其是在大数据时代，更需要强有力的工具通过使数据有意义的方式实现数据可视化，还有数据的可交互性；我们还需要跨学科的团队，而不是单个数据科学家、设计师或数据分析员；我们更需要重新思考我们所知道的数据可视化，图表和图形还只能在一个或两个维度上传递信息， 那么他们怎样才能
在今天的大数据时代，大数据平台的运维搭建是至关重要的，而Kubernetes（K8S）作为一个功能强大的容器编排工具，可以帮助我们更高效地管理大规模的容器化应用。在本文中，我将教会你如何实现大数据平台运维搭建，通过使用K8S来管理和部署大数据应用。
整个搭建过程可以分为以下几个步骤：
| 步骤 | 操作 |
|-----|------|
| 1 | 搭建K8S集群 |
| 2 | 部署
原创
2024-04-30 10:57:17
71阅读
在Kubernetes（K8S）中实现大数据运维监控系统是一项非常重要的任务，它可以帮助我们监控集群中的大数据应用和资源使用情况，从而更好地进行运维管理。在本篇文章中，我将指导你如何实现一个简单的大数据运维监控系统。
### 流程概览
首先，让我们来看一下整个实现过程的流程概览：
| 步骤 | 操作 |
| --- | --- |
| 1 | 配置Prometheus和Grafana监控组件
原创
2024-05-24 10:07:02
87阅读
大数据开发独揽大权大数据技术很早就在BAT这些公司生根发芽，但直到14、15年大数据技术才广泛应用在各大互联网公司，大数据技术由此深入各行各业。 此时大数据开发人才非常紧缺，很多公司大数据从立项，到大数据平台构建，到项目整个流程开发，到后期大数据项目的运维，都是由大数据开发人员一手完成（此时少有专业大数据运维人才）。但随着公司数据越来越多，业务越来越复杂，大数据集群规模越来越大，大数据团队也越来越
Linux运维工程师到底是做什么的? 如果你想要进入运维管理领域这一行，首先你应该了解linux运维工程师是干什么的。他主要是对Linux下各种网络服务、应用系统、监控系统等进行自动化脚本开发的工作，并根据项目对系统进行性能优化。 Linux运维
转载
2024-08-07 08:46:57
33阅读
最近后台收到很多私信，内容大都差不多，总结下来就是：目前在学习大数据专业，想提前了解一下大数据开发工程师的工作职责是怎么的？需要提前准备些什么？大数据分了哪些岗位？笔者已从事数据开发工作三年有余，结合自己的工作经历和几位同行的经验来聊聊这几个问题。希望可以帮到你。1、什么是大数据？大数据的几个明显的特点：海量的数据数据多样性数据增速快以上特点带来了数据的存储和计算问题，大数据技术的出现就是为了解决
转载
2023-11-11 22:43:26
18阅读
数据库管理 备份MONGODB服务器 执行mongodump //默认使用本地连接127及端口连接本地数据库 数据库恢复到备份之前的状态: mongorestore --drop
原创
2017-12-12 16:38:07
3552阅读
点赞
大数据运维学习指南，技术栈要求等，建议收藏！
转载
2021-06-23 11:00:39
1538阅读
一、概述 数据 库运维服务服务是指针对用户数据库开展的软件安装、配置优化、备份策略选择及实施、数据恢复、数据迁移、故障排除、预防性巡检等一系列服务。二、主要服务内容 1、数据库安装与配置；主要指定制数据库安装配置方案，检查软件安装环境，安装数据库软件，完成数据库配置，并测试之；
转载
2024-10-21 13:37:29
48阅读
数字时代监控运维系统数据量暴增，指标、日志、代码堆栈、网络数据包等等时间序列数据从每天几百兆采集量膨胀到每天上百GB，上TB。由于故障总是偶发，而监控数据在故障发生回朔时才更有价值。如何利用这些低价值密度的海量数据呢？传统监控系统要么只是针对指标、日志等单一类型数据提供分析能力，要么只针对网络、基础设施、应用中间件提供监控能力。随着应用系统快速复杂化，、企业现有数据孤岛式的监控系统已经严重阻碍
转载
2024-01-15 11:49:58
22阅读
一．滴滴DB架构介绍一般来说，自动化运维都会根据自己原有的架构来设计自动化运维平台，上图是滴滴DB的架构图，最上面是TGW LVS，也就是大家所熟悉的VIP，接下来是代理层dbproxy。代理层下面是MySQL的主从关系，一般情况是一主、一备主和一个从库，如果读取操作多，QPS会比较高，从库也需相应的增多。同时还要有MySQL高可用的监控来应对主库挂了等等的异常情况。运维监控，我们是使用最常见
转载
2024-05-16 23:30:40
46阅读
当前，随着电商节日的增多（6.18、双十一、双十二）、平台拉新趋于频繁，大促活动也越来越普遍。作为一个电商平台，每年都会有一次，甚至几次的流量“大考”。数据库作为系统的重要节点，其稳定性和性能格外重要，数据库的全力保障是一个大的挑战。电商大促，这场没有硝烟的战争很多人已有体会，在此不再赘述。现在，我们直接切入主题--数据库如何 积极应对，全力保障 大促活动。这个题目分解为三个部
转载
2023-10-09 22:05:22
149阅读
