最近后台收到很多私信，内容大都差不多，总结下来就是：目前在学习大数据专业，想提前了解一下大数据开发工程师的工作职责是怎么的？需要提前准备些什么？大数据分了哪些岗位？笔者已从事数据开发工作三年有余，结合自己的工作经历和几位同行的经验来聊聊这几个问题。希望可以帮到你。1、什么是大数据？大数据的几个明显的特点：海量的数据数据多样性数据增速快以上特点带来了数据的存储和计算问题，大数据技术的出现就是为了解决
转载
2023-11-11 22:43:26
18阅读
SpringBoot运维实用篇
回到SpringBoot基础篇->运维实用篇-->开发实用篇->原理篇 下面就从运维实用篇开始讲，在运维实用篇中，我给学习者的定位是玩转配置，为开发实用篇中做各种技术的整合做好准备工作。与开发实用篇相比，运维实用篇的内容显得略微单薄，并且有部分知识模块在运维实用篇和开发实用篇中都要讲一部分，这些内容
转载
2023-08-07 23:22:05
128阅读
1、负责公司大数据平台的部署、管理、优化、监控报警，保障平台服务7*24稳定可靠高效运行；2、深入理解公司大数据平台架构，发现并解决性能瓶颈，支撑业务和数据量的快速增长；3、开发大数据自动化运维、监控报警、故障处理相关脚本和工具； 4、负责Hadoop/spark/kafka等集群服务、业务监控、持续交付、应急响应、容量规划等。 大数据生态圈部署实战(最好是自动化的部署)：这块
转载
2024-08-15 00:49:56
25阅读
文章目录一、Java开发常用命令1、前言2、常用命令简介3、常用命令详解3.1 基础命令3.2 磁盘,文件,目录相关操作3.3 检索相关3.4 网络相关3.5 监控linux性能命令二、Linux必备150个命令大全 一、Java开发常用命令1、前言一般java开发者来说，或多或少都会接触到linux，因为许多服务都需要部署等，因此一些java常用的linux命令需要每一个java开发者都了解。
转载
2023-06-23 23:33:52
216阅读
cat命令： 参数： -n 或 --number 由 1 开始对所有输出的行数编号 -b 或 --number-nonblank 和 -n 相似，只不过对于空白行不编号 -s 或 --squeeze-blank 当遇到有连续两行以上的空白行，就代换为一行的空白行 -v 或 --show-nonp ...
转载
2021-09-09 11:23:00
104阅读
2评论
一、导学 掌握Linux命令是高级Java工程师必备的技能之一，但并不是每个人都能完全掌握，绝大部分Java初中级工程师只知道少数的cd/ls/mkdir/rm等非常简单的命令，但是只会这些命令是完全不够的，如果想要提升技术壁垒，晋升成为大牛程序员，掌握最实用的Linux命令是不可或缺的。文本作者结合多年企业开发经验，将最实用的Linux命令进行了清晰的分类，逐条罗列，对照反
转载
2023-07-31 19:22:59
46阅读
负责hbase跨机房迁移，数据同步，备份，升级性能问题处理，regionserver扩缩容，hmaster处理,监控hadoop,yarn,zk部署小文件处理,datanode oom处理，大数据运维故障处理
原创
2024-07-07 20:11:58
2阅读
在Kubernetes (K8S) 中进行Linux运维开发是当前云计算领域的热门技术之一，本文将介绍如何进行这项工作，并为刚入行的小白提供指导和示例代码。
### 步骤概述
下面是整个过程的步骤概述：
| 步骤 | 操作 |
|------|------|
| 1. 安装Kubernetes集群 | 部署Kubernetes集群，可使用Minikube、kubeadm等 |
| 2. 编写运
原创
2024-05-28 11:14:59
39阅读
众所周知，云计算改变了整个传统IT产业的基础架构，而大数据则改变了IT业务模式。那么在云计算大数据时代，传统的Linux系统运维应该怎么顺应技术的发展呢？今天我们就来聊一聊大数据运维工程师。1.运维工程师都有哪些岗位一图胜千言，针对运维工程师在公司都有哪些岗位，我们不妨看看下面这张图。2.大数据运维的工作职责【职责1】规划部署01 根据业务规划和未来业务演进评估集群规模、存储规模、算力需求、技术选
转载
2023-10-08 20:31:54
22阅读
运维不仅仅是懂Linux就行，因为还有一大部分的Windows运维，最近看一个报道说，windows的服务器占了47.71%。嗯，向windows运维人员致敬。当然我们这篇文章不是说运维除了懂Linux，还要懂Windows，而是涉及运维的其他方方面面。 环境部署 一开始这个世界是开发的，然后才是运维的。 开发实现产品逻辑，将产品开发完成后，然后提交运维进行部署
转载
2023-06-23 23:31:40
109阅读
运维通俗的理解即为运行和维护，来保证系统和网站的正常运行，维护它们的安全。保证7×24小时的正常运行，数据的稳定、不丢失，并持续进行系统及网站的优化。那它具体是做什么的呢？1. 备份有备无患，总是没错的！！！从数据库的备份、程序的备份到系统的备份，通过备份的方式，来防止数据的丢失。以免数据的故障或其他原因，让数据都消失了，造成一场不小的“灾难”。2. 监视对日常的系统进行监视和管理，避免出现不必要
转载
2023-10-23 09:38:10
97阅读
先自我包装一下，本人是这个实在人。由于要生存，就面临着找工作。学习期间学校C#语言，但是对这个技术不是很感兴趣，也很少写代码。于是乎毕业找工作到处碰壁，好不容易有个公司收留我，就去上班了，工作了一个月，由于对代码的厌恶，很快就辞职待业了！回到家中，左思右想，自己到底适合干什么，IT互联网公司那么多，总有一份工作适合自己的，就说说最近这份工作吧！是做反恐情报侦察，大数据系统运维工作的，接下来我就说说
转载
2024-05-16 22:01:52
21阅读
下载安装包： 1 http://www.groovy-lang.org/download.html 安装： 1 2 unzip apache-groovy-sdk-2.5.8.zip -d /usr/local ln -sv groovy-2.5.8/ groovy 配置环境变量： 1 2 3 4
转载
2020-10-09 17:19:00
160阅读
运维数据库和开发
作为一名经验丰富的开发者，你对Kubernetes（K8S）的运维数据库和开发的整个流程应该是非常熟悉的。现在有一位刚入行的小白不知道如何实现“运维数据库和开发”，接下来我将详细教会他整个流程。
整个流程可以分为以下几个步骤：
| 步骤 | 操作 |
|------------------------|--
原创
2024-05-17 11:34:41
67阅读
ELK的概述ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被成为Elastic Stack。其中Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。像类似百度、谷歌这种大数据全文搜索引擎的场景都可以使用Elasticsearch作为底层支持框架，可见Elasticsearch提供的搜索
转载
2024-10-28 11:23:49
35阅读
俗话说的好：工欲善其事，必先利其器！一款好的工具可以让你事半功倍，尤其是在大数据时代，更需要强有力的工具通过使数据有意义的方式实现数据可视化，还有数据的可交互性；我们还需要跨学科的团队，而不是单个数据科学家、设计师或数据分析员；我们更需要重新思考我们所知道的数据可视化，图表和图形还只能在一个或两个维度上传递信息， 那么他们怎样才能
数据库管理 备份MONGODB服务器 执行mongodump //默认使用本地连接127及端口连接本地数据库 数据库恢复到备份之前的状态: mongorestore --drop
原创
2017-12-12 16:38:07
3552阅读
点赞
大数据运维学习指南，技术栈要求等，建议收藏！
转载
2021-06-23 11:00:39
1538阅读
一、概述 数据 库运维服务服务是指针对用户数据库开展的软件安装、配置优化、备份策略选择及实施、数据恢复、数据迁移、故障排除、预防性巡检等一系列服务。二、主要服务内容 1、数据库安装与配置；主要指定制数据库安装配置方案，检查软件安装环境，安装数据库软件，完成数据库配置，并测试之；
转载
2024-10-21 13:37:29
48阅读
大数据开发独揽大权大数据技术很早就在BAT这些公司生根发芽，但直到14、15年大数据技术才广泛应用在各大互联网公司，大数据技术由此深入各行各业。 此时大数据开发人才非常紧缺，很多公司大数据从立项，到大数据平台构建，到项目整个流程开发，到后期大数据项目的运维，都是由大数据开发人员一手完成（此时少有专业大数据运维人才）。但随着公司数据越来越多，业务越来越复杂，大数据集群规模越来越大，大数据团队也越来越
