3. 通过 Ambari 安装 HBase、Hive 等外围应用除了一些基础的 Hadoop 应用组件，在企业实际应用中还会集成一些其他生态组件，这些组件可以减少开发工作量，提高工作效率，最常用的就是 Hive 这个外围组件。目前 Hive 已成了很多企业的应用标配。Hive 发展到现在，为了迎合多种计算引擎，也出现了多种运行模式，最早出现的是 Hive on MapReduce，这种运行模式主要
转载
2023-10-28 16:31:30
1024阅读
hadoop完全分布式集群搭建环境准备安装zookeeper下载zookeeper安装包解压安装包创建zookeeper配置文件(conf/zoo.cfg)启动zookeeper安装hadoop下载hadoop安装包解压安装包修改配置文件分发安装包，将hadoop的安装包传输到其他的机器启动journalnode格式化zkfc并启动(hadoop1)格式化namenode并启动(hadoop1)
转载
2023-07-20 17:40:44
124阅读
# Kubernetes运维案例
## 概述
欢迎来到Kubernetes（简称K8S）的运维案例指南！Kubernetes是一个功能强大的容器编排平台，可以帮助您管理和部署容器化应用程序。在本文中，我将向您展示如何利用K8S进行运维操作。不用担心，我会一步步指导您进行操作。
## 步骤概览
| 步骤 | 操作 |
|------|-------|
| 1. | 安装Kubernetes
原创
2024-04-25 10:19:37
120阅读
随着银行业务形态的增多、体量的变大，系统规模快速扩大，每天产生的数据信息呈几何式增长，其中包括大量的客户数据、交易数据和运行数据等，它们具有非常大的潜在价值，也是大数据应用的基础来源。这些信息数据量十分巨大，但却分散在各个中心服务器或者设备的不同位置，对运维数据的统一管理、监控、信息挖掘变得越来越困难，也使得运维工作量越来越大。背景根据中国银监会《商业银行信息科技风险管理指引》（银监发〔2009〕
转载
2024-08-21 08:26:12
83阅读
# Hadoop运维概述
Hadoop是一个开源框架，主要用于分布式存储和处理大数据。它的核心组件包括Hadoop分布式文件系统（HDFS）和MapReduce计算模型。在Hadoop的日常运维中，管理员需要关注集群的健康状态、任务的执行情况以及数据的安全性。本文将通过关系图和状态图，介绍Hadoop运维的基本概念，并提供一些代码示例。
## Hadoop集群架构
在深入运维之前，先来看一下
在实际的生产环境运维一个Hadoop集群有一些必须要关注的事情。 1、Namenode的高可靠性 2、节点配置与管理 3、Mapreduce的内存配置 4、启用trash 首要的是保证数据安全可靠，其次再去考虑存储效率、计算效率、运维效率的优化与提高，当你觉得Hadoop集群的性能太差太差...
转载
2013-11-26 09:08:00
178阅读
2评论
0.大数据技术分类 1.批处理框架：Mapreduce 批处理历史数据 2.流处理框架：storm 一直处理源源不断的数据 3.混合处理框架：spark1.生态圈核心项目 1.HDFS分布式文件系统 2.yarn调
转载
2023-11-23 19:54:33
165阅读
1.处理hadoop的namenode宕机 处理措施：进入hadoop的bin目录，重启namenode服务./hadoop-daemon.sh start namenode2.处理hadoop的jobtacker宕机 处理措施：进入hadoop的bin目录，重启jobtacker服务 操作命令：cd path/to/hadoop/bin ./hadoop-daemon.sh start
转载
2023-09-01 08:03:03
99阅读
hadoop运维报错总结初衷case1功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 初衷把平常工作中遇到的问题报错
转载
2024-04-19 18:18:50
178阅读
Hadoop# Hadoop MapReduce八大步骤以及Yarn工作原理详解Map阶段:- 第一步: 通过FileInputFormat读取文件, 解析文件成为key, value对, 输出到第二步.- 第二步: 自定义Map逻辑, 处理key1, value1, 将其转换为key2, value2, 输出到第三步.Shuffle阶段://数据分区，排序，分组，规约，合并等过程）- 第三步:
转载
2023-09-01 09:34:20
88阅读
大数据需要负责公司产品的技术支持、安装调试、客户使用培训及相关硬件的安装调试。下面是学习啦小编为您精心整理的大数据运维工程师的工作职责。大数据运维工程师的工作职责1职责：1、负责和参与公司大数据基础架构平台规划，运维，监控和优化工作，保障数据平台服务的稳定性和可用性;2、研究大数据前沿技术，改进现有系统的服务和运维架构，提升系统可靠性和可运维性;3、负责和参与自动化运维系统及平台的建设;4、负责优
转载
2023-10-06 23:47:11
61阅读
第二章Hadoop架构简介本章包括l Hadoop架构l 分布式集群l HDFS架构l YARN架构本章介绍Hadoop架构。在你学习管理Hadoop集群之前，有必要先了解下Hadoop的集群架构。Hadoop包括两个基础层：存储层HDFS，处理层YARN。本章非常关键，因为它引入了几个关键术语，以及相关的守护进程和进程相互配合，完成hadoop数据
转载
2023-08-04 11:18:10
214阅读
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢 1、列出所有Hadoop Shell支持的命令
$ bin/hadoop fs -help
2、显示关于某个命令的详细信息
$ bin/hadoop fs -help command-nam
转载
2023-10-03 11:49:02
108阅读
四、Ipython 交互式解释器1、Ipython 简介IPython外加一个文本编辑器Windows系统下是IPython加notepad++，Linux系统下是IPython加vim配合使用，写起代码来体验很流畅，很容易获取到写代码时候的那种“流体验”。IPython的设计目的是在交互式计算和软件开发这两个方面最大化地提高生产力，它鼓励一种“执行-探索”的工作模式，支持matplotlib等库
转载
2023-11-21 22:03:33
87阅读
# Python 运维案例入门指南
作为一名刚入行的小白，你可能对运维工作有些陌生，但使用 Python 来实现自动化运维是一个不错的起点。本文将为你提供一个简单的运维案例，并详细介绍每一步如何用 Python 实现。
## 运维流程概述
首先，让我们来看一下实现这一运维案例的整体流程：
| 步骤 | 操作 | 描述
原创
2024-09-02 05:30:36
43阅读
红帽中级RHCE证书有什么用——很多对红帽认证有兴趣的朋友都想知道，RHCE考了之后作用大不大，对自己以后的升职加薪是否有帮助?红帽认证工程师(RHCE全称为Red Hat Certified Engineer)属于红帽Linux的中级水平认证，考生必需已获得RHCSA认证，难度相对RHCSA更大，适合有基础的Linux运维管理员，主要考察对下列服务的管理与配置能力：①、熟练配置防火墙规则链与SE
转载
2023-11-08 22:04:07
142阅读
运维项目案例通常涉及使用Kubernetes（K8S）进行容器编排和管理。在这篇文章中，我将向你展示如何实现一个简单的运维项目案例，帮助你更好地理解这个过程。
### 步骤概览
下面是实现一个基本运维项目案例的步骤概览：
| 步骤 | 描述 |
|--------|------------------------|
| 1 | 创建一个K
原创
2024-04-25 10:20:44
214阅读
mysql运维过程中的小 tips1.查询数据库不同引擎下表和索引的大小select engine,count(*) table_num,
concat(truncate(sum(DATA_LENGTH/1024/1024),2),'MB') table_size,
concat(truncate(sum(INDEX_LENGTH/1024/1024),2),'MB') index_size ,
转载
2024-09-25 11:04:30
44阅读
# 实现Hadoop运维证书的流程
## 步骤
| 步骤 | 操作 |
|------|------------------------|
| 1 | 生成SSH密钥对 |
| 2 | 配置Hadoop集群节点 |
| 3 | 配置Hadoop用户权限 |
| 4 | 测试SSH连接 |
原创
2024-07-10 04:08:35
50阅读
启动HDFS并运行MapReduce程序1. 分析 （1）配置集群 （2）启动、测试集群增、删、查 （3）执行WordCount案例2. 执行步骤（1）配置集群（a）配置：hadoop-env.shLinux系统中获取JDK的安装路径：[atguigu@ hadoop101 ~]# echo $JAVA_HOME
/op
