CDH 安装 市场上免费大数据框架主要有三个版本，原生的 Apache 版本，Clou
转载
2020-08-11 16:44:00
256阅读
2评论
工欲善其事，必先利其器。缺少好的运维软件，让很多HPC管理员在各种问题间疲于奔命。诺熵集群大数据采集分析软件（Neuentro bigData Collect and Anylisys Software, NDCAS）， 是HPC集群运维的利器。NCAS可以采集系统各项性能指标，作业信息，帮助您：提高集群可靠性，主动预警，缩短集群故障时间；快速发现性能瓶颈，优化集群性能；深入了解业务需求，掌握业务
转载
2024-05-13 09:18:15
77阅读
1、负责公司大数据平台的部署、管理、优化、监控报警，保障平台服务7*24稳定可靠高效运行；2、深入理解公司大数据平台架构，发现并解决性能瓶颈，支撑业务和数据量的快速增长；3、开发大数据自动化运维、监控报警、故障处理相关脚本和工具； 4、负责Hadoop/spark/kafka等集群服务、业务监控、持续交付、应急响应、容量规划等。 大数据生态圈部署实战(最好是自动化的部署)：这块
转载
2024-08-15 00:49:56
25阅读
1.安装环境 CentOS-6.5 Python-2.7.12 setuptools-29.0.1 pip-9.0.1 2.编译Python sudo yum install -y gcc sudo yum install -y gcc-c++ sudo yum install -y wget su
转载
2020-11-06 09:55:00
312阅读
2评论
先自我包装一下，本人是这个实在人。由于要生存，就面临着找工作。学习期间学校C#语言，但是对这个技术不是很感兴趣，也很少写代码。于是乎毕业找工作到处碰壁，好不容易有个公司收留我，就去上班了，工作了一个月，由于对代码的厌恶，很快就辞职待业了！回到家中，左思右想，自己到底适合干什么，IT互联网公司那么多，总有一份工作适合自己的，就说说最近这份工作吧！是做反恐情报侦察，大数据系统运维工作的，接下来我就说说
转载
2024-05-16 22:01:52
21阅读
负责hbase跨机房迁移，数据同步，备份，升级性能问题处理，regionserver扩缩容，hmaster处理,监控hadoop,yarn,zk部署小文件处理,datanode oom处理，大数据运维故障处理
原创
2024-07-07 20:11:58
2阅读
众所周知，云计算改变了整个传统IT产业的基础架构，而大数据则改变了IT业务模式。那么在云计算大数据时代，传统的Linux系统运维应该怎么顺应技术的发展呢？今天我们就来聊一聊大数据运维工程师。1.运维工程师都有哪些岗位一图胜千言，针对运维工程师在公司都有哪些岗位，我们不妨看看下面这张图。2.大数据运维的工作职责【职责1】规划部署01 根据业务规划和未来业务演进评估集群规模、存储规模、算力需求、技术选
转载
2023-10-08 20:31:54
22阅读
本文将从大数据集群面临的挑战、自动化运维系统的设计原则、工具选择等方面阐述大数据集群的自动化运维实现思路。
转载
2021-07-27 09:42:13
1729阅读
一、安装本地Maven 点此进入maven官网下载 选择左侧Download 点击箭头所指的链接进行下载，本文采用3.5.4进行安装 下载完成后，选择一个路径进行解压（本文选用 D:\JAVA\apache-maven-3.5.4 路径） 然后配置path环境变量,如图 系统变量:MAVEN_HOM
转载
2020-06-09 15:01:00
222阅读
2评论
sqoop 是什么：在关系数据库和hadoop之间数据的相互转换的工具。安装：原生安装：appache１．解压安装，２．重命名sqoop-1.4.5-cdh5.4.4/sqoop-env-template.sh 为sqoop-env.sh３．修改sqoop-env.sh配置：填写Hadoop，hba
转载
2020-08-13 11:41:00
112阅读
2评论
1.flume简介 Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2.安装和使用说明
转载
2020-08-13 11:38:00
170阅读
2评论
1 Retrying connect to server Flink on yarn 依赖 hadoop 集群，在没有启动hadoop之前，直接执行Flink启动命令 ./bin/yarn-session.sh -n 1 -jm 1024 -tm 4096 结果就是flink连不上ResourceM
转载
2020-07-06 15:49:00
2854阅读
2评论
方法一：使用Pycharm的终端安装 一、网络爬虫 1、安装requests包 作用：简洁且简单的处理HTTP请求的第三方库 网址：https://pypi.org/project/requests/ pip install requests 2、安装scrapy包 作用：快速、高层次的Web获取框
转载
2020-06-09 18:38:00
117阅读
2评论
运维通俗的理解即为运行和维护，来保证系统和网站的正常运行，维护它们的安全。保证7×24小时的正常运行，数据的稳定、不丢失，并持续进行系统及网站的优化。那它具体是做什么的呢？1. 备份有备无患，总是没错的！！！从数据库的备份、程序的备份到系统的备份，通过备份的方式，来防止数据的丢失。以免数据的故障或其他原因，让数据都消失了，造成一场不小的“灾难”。2. 监视对日常的系统进行监视和管理，避免出现不必要
转载
2023-10-23 09:38:10
97阅读
著名作家狄更斯曾经说过：“这是最好的时代，这是最坏的时代”。自04年大数据理念的提出之后，数据中心似乎也如同雨后春笋般掘地而起，也似乎从那个时代开始。我们的机房运维人员如同夸父追逐太阳苦苦挣扎在海量的线路和设备中，早已经被折磨得精疲力尽。
1、大数据时代数据中心的运维管理现状
2、大数据时代数据中心的智能运维解决方案
原创
2021-07-12 10:41:46
408阅读
基于以上wiki服务的报错，一开始怀疑是网络的问题，首先查看了阿里云的网络监控，再次查看了我们的vpn服务监控（因为我们在集
原创
2023-07-23 00:26:33
139阅读
Idea版本（2018.1.5） Scala版本（2.11.0） Java版本（1.8.0_151） 创建Scala的Maven项目 Idea新建项目如图，输入GroupId和ArtifactId之后点击“下一步”->配置Maven home目录（默认即可）->输入工程名“完成”，Idea自动构建项
转载
2020-06-11 15:26:00
194阅读
2评论
ELK的概述ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被成为Elastic Stack。其中Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。像类似百度、谷歌这种大数据全文搜索引擎的场景都可以使用Elasticsearch作为底层支持框架，可见Elasticsearch提供的搜索
转载
2024-10-28 11:23:49
35阅读
俗话说的好：工欲善其事，必先利其器！一款好的工具可以让你事半功倍，尤其是在大数据时代，更需要强有力的工具通过使数据有意义的方式实现数据可视化，还有数据的可交互性；我们还需要跨学科的团队，而不是单个数据科学家、设计师或数据分析员；我们更需要重新思考我们所知道的数据可视化，图表和图形还只能在一个或两个维度上传递信息， 那么他们怎样才能
数据库管理 备份MONGODB服务器 执行mongodump //默认使用本地连接127及端口连接本地数据库 数据库恢复到备份之前的状态: mongorestore --drop
原创
2017-12-12 16:38:07
3552阅读
点赞
