本文来自魅族云平台系统架构师梁鹏在听云应用性能管理大讲堂—《魅族基础架构运维之路》分享总结 很高兴能在这里跟大家做一个分享和交流。我叫梁鹏，来自魅族云平台，主要是负责魅族系统运维、平台建设和自动化的工作。很感谢听云邀请我过来，今天我分享的主题主要是魅族基础系统架构运维之路，主要分三个方面给大家做介绍：1、发展历程；2、运营现状；3、系统运维的未来。 在正式分享之前，先跟大家说一
转载
2024-02-26 22:00:29
46阅读
3. 通过 Ambari 安装 HBase、Hive 等外围应用除了一些基础的 Hadoop 应用组件，在企业实际应用中还会集成一些其他生态组件，这些组件可以减少开发工作量，提高工作效率，最常用的就是 Hive 这个外围组件。目前 Hive 已成了很多企业的应用标配。Hive 发展到现在，为了迎合多种计算引擎，也出现了多种运行模式，最早出现的是 Hive on MapReduce，这种运行模式主要
转载
2023-10-28 16:31:30
1024阅读
hadoop完全分布式集群搭建环境准备安装zookeeper下载zookeeper安装包解压安装包创建zookeeper配置文件(conf/zoo.cfg)启动zookeeper安装hadoop下载hadoop安装包解压安装包修改配置文件分发安装包，将hadoop的安装包传输到其他的机器启动journalnode格式化zkfc并启动(hadoop1)格式化namenode并启动(hadoop1)
转载
2023-07-20 17:40:44
124阅读
一、运维是什么？运维是一个广义概念，可以理解为运行和维护，这也和具体的学习以及工作息息相关，要想进行维护，首先要先把服务搭建起来，也就是先运行。这里我们所说的运维是指对服务器和数据库及集成环境的运维。二、运维要学什么？如果不喜欢大段文字，请直接看加粗字体： 操作系统：linux、windows 常用服务：RAID、vsftpd、samba、ssh 安全知识：iptables、firewalld、s
转载
2023-08-15 15:03:13
176阅读
此文来自 http://os.51cto.com/art/201209/355125.htm 特此转载备忘 接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用的不
运维顾名思义负责运行、维护，主要是保障产品上线后的稳定运行，对在此期间出现的各种问题进行快速解决，并在日常工作中不断优化系统架构和部署的合理性，以提升服务的性能、可用性。运维工程师是负责维护并且确保整个服务系统的高可用性，同时不断优化系统架构提升部署效率、优化资源利用率提高整体的ROI。运维工程师是一个统称其中有很多分类，包括：桌面运维工程师、网络运维工程师、系统运维工程师、基础运维工程师等。随时
转载
2023-07-21 23:28:33
8阅读
# Hadoop运维概述
Hadoop是一个开源框架，主要用于分布式存储和处理大数据。它的核心组件包括Hadoop分布式文件系统（HDFS）和MapReduce计算模型。在Hadoop的日常运维中，管理员需要关注集群的健康状态、任务的执行情况以及数据的安全性。本文将通过关系图和状态图，介绍Hadoop运维的基本概念，并提供一些代码示例。
## Hadoop集群架构
在深入运维之前，先来看一下
在实际的生产环境运维一个Hadoop集群有一些必须要关注的事情。 1、Namenode的高可靠性 2、节点配置与管理 3、Mapreduce的内存配置 4、启用trash 首要的是保证数据安全可靠，其次再去考虑存储效率、计算效率、运维效率的优化与提高，当你觉得Hadoop集群的性能太差太差...
转载
2013-11-26 09:08:00
178阅读
2评论
0.大数据技术分类 1.批处理框架：Mapreduce 批处理历史数据 2.流处理框架：storm 一直处理源源不断的数据 3.混合处理框架：spark1.生态圈核心项目 1.HDFS分布式文件系统 2.yarn调
转载
2023-11-23 19:54:33
165阅读
1.处理hadoop的namenode宕机 处理措施：进入hadoop的bin目录，重启namenode服务./hadoop-daemon.sh start namenode2.处理hadoop的jobtacker宕机 处理措施：进入hadoop的bin目录，重启jobtacker服务 操作命令：cd path/to/hadoop/bin ./hadoop-daemon.sh start
转载
2023-09-01 08:03:03
99阅读
什么是IT基础架构？网络定义：IT基础架构是相对于IT应用架构而言的，指的是为了各种应用系统能够顺利、可靠地运行，而提供的一系列硬件、软件的集合体。正是因为有了这些IT基础架构的各种设施，IT应用架构才能运行并提供服务。网度释义：IT基础架构指的是客户端设备(服务器、存储、网络设备/交换机/路由器、管理设备/上网行为管理/流量控制系统、安全设备/防火墙等设备)，也就是基础硬件平台。 什
转载
2023-07-07 11:21:19
177阅读
hadoop运维报错总结初衷case1功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 初衷把平常工作中遇到的问题报错
转载
2024-04-19 18:18:50
178阅读
Hadoop# Hadoop MapReduce八大步骤以及Yarn工作原理详解Map阶段:- 第一步: 通过FileInputFormat读取文件, 解析文件成为key, value对, 输出到第二步.- 第二步: 自定义Map逻辑, 处理key1, value1, 将其转换为key2, value2, 输出到第三步.Shuffle阶段://数据分区，排序，分组，规约，合并等过程）- 第三步:
转载
2023-09-01 09:34:20
88阅读
大数据需要负责公司产品的技术支持、安装调试、客户使用培训及相关硬件的安装调试。下面是学习啦小编为您精心整理的大数据运维工程师的工作职责。大数据运维工程师的工作职责1职责：1、负责和参与公司大数据基础架构平台规划，运维，监控和优化工作，保障数据平台服务的稳定性和可用性;2、研究大数据前沿技术，改进现有系统的服务和运维架构，提升系统可靠性和可运维性;3、负责和参与自动化运维系统及平台的建设;4、负责优
转载
2023-10-06 23:47:11
61阅读
第二章Hadoop架构简介本章包括l Hadoop架构l 分布式集群l HDFS架构l YARN架构本章介绍Hadoop架构。在你学习管理Hadoop集群之前，有必要先了解下Hadoop的集群架构。Hadoop包括两个基础层：存储层HDFS，处理层YARN。本章非常关键，因为它引入了几个关键术语，以及相关的守护进程和进程相互配合，完成hadoop数据
转载
2023-08-04 11:18:10
214阅读
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢 1、列出所有Hadoop Shell支持的命令
$ bin/hadoop fs -help
2、显示关于某个命令的详细信息
$ bin/hadoop fs -help command-nam
转载
2023-10-03 11:49:02
108阅读
hadoop 性能调优与运维 硬件选择 1) hadoop运行环境 2) 原则一： 主节点可靠性要好于从节点 原则二：多路多核，高频率cpu、大内存， namenode 100万文件的元数据要消耗800M内存，内存决定了集群保存文件数的总量， resourcemanager同时运行的作业会消耗一定的
原创
2021-07-27 16:05:35
1075阅读
开发服务器 vs 生产服务器特性开发服务器（Flask 内置）生产服务器（如 Gunicorn、uWSGI）性能单线程，无法处理高并发。多进程/多线程，支持高并发。安全性无内置安全防护，不适合暴露到公网。支持安全加固，适合生产环境。适用场景本地开发、调试。生产环境部署。启动方式flask rungunicorn app:app（示例）Flask 内置服务器仅用于开发，不适用于生产环境。生产环境中需
目录一、集群部署规划二、集群搭建1、安装JDK（1）卸载linux自带jdk（2）上传自己的jdk （3）解压jdk到自定义目录/opt/module（4）配置jdk环境变量（5）source 环境变量，使之生效（6）查看JDK（7）同步JDK和环境变量到其它服务器2、进入hadoop安装包3、解压hadoop安装包4、添加hadoop环境变量5、测试是否安装成功6、Hadoop配置文件
转载
2023-08-20 07:51:29
134阅读
系统运维基础运维等级系统备份日志轮换安全措施登陆权限资源、网络监
原创
2022-06-28 19:55:58
409阅读
