一、镜像1、docker search image_name - 搜索docker hub上的镜像// 搜索 image_name 镜像docker search image_name/* 筛选搜索的镜像 */// 筛选 官方版本(is-official) 的镜像docker search --filter "is-official=true" image_name// 筛选 自动...
原创
2021-09-09 14:20:08
221阅读
一、镜像1、docker search image_name - 搜索docker hub上的镜像// 搜索 image_name 镜像docker search image_name/* 筛选搜索的镜像 */// 筛选 官方版本(is-official) 的镜像docker search
原创
2022-03-04 14:07:44
146阅读
1、负责公司大数据平台的部署、管理、优化、监控报警，保障平台服务7*24稳定可靠高效运行；2、深入理解公司大数据平台架构，发现并解决性能瓶颈，支撑业务和数据量的快速增长；3、开发大数据自动化运维、监控报警、故障处理相关脚本和工具； 4、负责Hadoop/spark/kafka等集群服务、业务监控、持续交付、应急响应、容量规划等。 大数据生态圈部署实战(最好是自动化的部署)：这块
之前几周的时间一直是在围绕DKhadoop的运行环境搭建写分享，有一些朋友留言索要了dkhadoop安装包，不知道有没有去下载安装一探究竟。关于DKHadoop下载安装基本已经讲清楚了，这几天有点空闲把大快DKM大数据运维管理平台的内容整理了一些，作为DKHadoop相配套的管理平台，是有必要对DKM有所了解的。DKM 是DKHadoop管理平台。作为大数据平台端到端Apache Hadoop 的
众所周知，云计算改变了整个传统IT产业的基础架构，而大数据则改变了IT业务模式。那么在云计算大数据时代，传统的Linux系统运维应该怎么顺应技术的发展呢？今天我们就来聊一聊大数据运维工程师。1.运维工程师都有哪些岗位一图胜千言，针对运维工程师在公司都有哪些岗位，我们不妨看看下面这张图。2.大数据运维的工作职责【职责1】规划部署01 根据业务规划和未来业务演进评估集群规模、存储规模、算力需求、技术选
负责hbase跨机房迁移，数据同步，备份，升级性能问题处理，regionserver扩缩容，hmaster处理,监控hadoop,yarn,zk部署小文件处理,datanode oom处理，大数据运维故障处理
前期提要：本文案例中使用到的设备Windows 8 笔电一台阿里云 ECS 服务器一台本文案例中使用到的工具VS CodeMongoDB Compass本文案例中项目技术栈FrontEnd： Vue + NuxtBackEnd： Node + ExpressDataBase： Mongo1. 项目配置首先要有一个项目，本例中项目技术栈见 “前情提...
原创
2021-09-09 14:17:15
408阅读
前期提要：本文案例中使用到的设备Windows 8 笔电一台阿里云 ECS 服务器一台本文案例中使用到的工具VS CodeMongoDB Compass本文案例中项目技术栈FrontEnd： Vue + NuxtBackEnd： Node + ExpressDataBase：
原创
2022-03-04 14:05:07
310阅读
运维通俗的理解即为运行和维护，来保证系统和网站的正常运行，维护它们的安全。保证7×24小时的正常运行，数据的稳定、不丢失，并持续进行系统及网站的优化。那它具体是做什么的呢？1. 备份有备无患，总是没错的！！！从数据库的备份、程序的备份到系统的备份，通过备份的方式，来防止数据的丢失。以免数据的故障或其他原因，让数据都消失了，造成一场不小的“灾难”。2. 监视对日常的系统进行监视和管理，避免出现不必要
先自我包装一下，本人是这个实在人。由于要生存，就面临着找工作。学习期间学校C#语言，但是对这个技术不是很感兴趣，也很少写代码。于是乎毕业找工作到处碰壁，好不容易有个公司收留我，就去上班了，工作了一个月，由于对代码的厌恶，很快就辞职待业了！回到家中，左思右想，自己到底适合干什么，IT互联网公司那么多，总有一份工作适合自己的，就说说最近这份工作吧！是做反恐情报侦察，大数据系统运维工作的，接下来我就说说
数据库管理 备份MONGODB服务器 执行mongodump //默认使用本地连接127及端口连接本地数据库 数据库恢复到备份之前的状态: mongorestore --drop
原创
2017-12-12 16:38:07
3527阅读
点赞
大数据运维学习指南，技术栈要求等，建议收藏！
转载
2021-06-23 11:00:39
1396阅读
做职业教育数十年，看着新技术潮流如井喷状发展，从开始的Java、Android、到IOS如何选，到Java、Web前端、PHP如何选，然后还有纠结Java和Python如何选，现在又有好多同学问我，姐，Java全栈和Java怎么选。是的，在男女都怕入错行的年代下，选择个行业，还得选岗位，进IT还得选编程语言。谁叫选择那么多，前景和“钱”景似乎也都还不错呢！看上去有各自的优势，于是同学们懵了！那我是
转载
2023-08-13 10:45:14
65阅读
在Kubernetes（K8S）中实现大数据运维监控系统是一项非常重要的任务，它可以帮助我们监控集群中的大数据应用和资源使用情况，从而更好地进行运维管理。在本篇文章中，我将指导你如何实现一个简单的大数据运维监控系统。
### 流程概览
首先，让我们来看一下整个实现过程的流程概览：
| 步骤 | 操作 |
| --- | --- |
| 1 | 配置Prometheus和Grafana监控组件
在今天的大数据时代，大数据平台的运维搭建是至关重要的，而Kubernetes（K8S）作为一个功能强大的容器编排工具，可以帮助我们更高效地管理大规模的容器化应用。在本文中，我将教会你如何实现大数据平台运维搭建，通过使用K8S来管理和部署大数据应用。
整个搭建过程可以分为以下几个步骤：
| 步骤 | 操作 |
|-----|------|
| 1 | 搭建K8S集群 |
| 2 | 部署
最近后台收到很多私信，内容大都差不多，总结下来就是：目前在学习大数据专业，想提前了解一下大数据开发工程师的工作职责是怎么的？需要提前准备些什么？大数据分了哪些岗位？笔者已从事数据开发工作三年有余，结合自己的工作经历和几位同行的经验来聊聊这几个问题。希望可以帮到你。1、什么是大数据？大数据的几个明显的特点：海量的数据数据多样性数据增速快以上特点带来了数据的存储和计算问题，大数据技术的出现就是为了解决
Linux运维工程师到底是做什么的? 如果你想要进入运维管理领域这一行，首先你应该了解linux运维工程师是干什么的。他主要是对Linux下各种网络服务、应用系统、监控系统等进行自动化脚本开发的工作，并根据项目对系统进行性能优化。 Linux运维
之前几周的时间一直是在围绕DKhadoop的运行环境搭建写分享，有一些朋友留言索要了dkhadoop安装包，不知道有没有去下载安装一探究竟。关于DKHadoop下载安装基本已经讲清楚了，这几天有点空闲把大快DKM大数据运维管理平台的内容整理了一些，作为DKHadoop相配套的管理平台，是有必要对DKM有所了解的。DKM 是DKHadoop管理平台。作为大数据平台端到端Apache Hadoop 的
运维技术栈是指在Kubernetes（K8S）环境下实现自动化部署、监控、扩展和管理的一系列工具和技术的集合。对于刚入行的小白而言，掌握运维技术栈可以帮助他更好地管理和维护K8S集群。下面我来向你介绍如何实现运维技术栈，并提供代码示例：
整体流程如下表所示：
| 步骤 | 详细说明 |
什么是运维 首先我们谈一谈什么是运维。 很多人对运维有自己的理解，他们认为运维是一件特别简单的事情。当我们企业购买了一些信息化的产品，硬件、软件等，我们需要有一个团队让它正常的运转。但是在运转的过程当中，不可避免的会出现各种问题，这就需要有一个专门的团队来做保障。如果你只是把运维简单的理解为一个平台，我觉得这种认识可能比较肤浅。到底什么是运维呢？网上有很多理解 ，关
