Hadoop 大数据平台运维工程师须掌握的基本命令 1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help
2、显示关于某个命令的详细信息
$ bin/hadoop fs -help command-name
3、用户可使用以下命令在指定路径下查看历史日志汇总
$ bin/hadoop job -history output-dir #这条命令会显示作
hadoop运维报错总结初衷case1功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 初衷把平常工作中遇到的问题报错
转载
2024-04-19 18:18:50
178阅读
前言在运维集群的时候，我们有的时候需要去知道哪些文件存在未被及时关闭的情况。否则会造成一定程度上的资源泄露，比如内存无缘无故就被耗掉了。可能有人会想，好端端的文件，为什么会存在未被关闭的情况呢？答案是有可能的，当...
转载
2020-01-12 19:08:00
66阅读
2评论
前言在运维集群的时候，我们有的时候需要去知道哪些文件存在未被及时关闭的情况。否则会造成一定程度上的资源泄露，比如内存无缘无故就被耗掉了。可能有人会想，好端端的文件，为什么会存在未被关闭的情况呢？答案是有可能的，当...
转载
2020-01-12 19:08:00
67阅读
2评论
新手必会用深黄色（8-15k）标记，老鸟必会深黄色+浅蓝色(15-25K)标记==============================================操作系统：Centos,Ubuntu,Redhat,suse,Freebsd网站服务：nginx,apache,lighttpd,php,tomcat,resin数据 库：MySQL,MariaDB,Pos
原创
2017-11-08 09:42:16
783阅读
包&产品管理工具Chocolatey：Chocolatey是Windows下一款开
原创
2023-06-15 07:27:48
162阅读
Linux运维人员必会开源运维工具体系说明：不同的技术人员，在不同的阶段确定知识边界非常重要，否则，虽然是千里马，但是不知道终点在哪，最终累死也达不到目标。新手必会用深黄色（8-15k）标记，老鸟必会深黄色+浅蓝色(15-25K)标记==============================================操作系统：Centos,Ubuntu,Redhat,suse,Freebs
转载
2017-10-12 13:20:28
1074阅读
点赞
许多公司依赖Linux来运维关键应用程序和服务,这也意味着Linux监控工具是整体信息技术管理战略的重要部分.虽然Linux设备很受欢迎，但实时管理中并没有那么理想化，因为许多工具在设计时并没有考虑到Linux监控。这里就需要借助一些外部软件了,所以linux运维工具是必不可少的。一款好的软件不仅可以保证您的服务器正常运行,还可以对其做自动的故障排除,有助于您的合理运维.下面小编为您介绍5款lin
转载
2024-02-15 20:41:53
89阅读
Python运维工具介绍1–fabric
fabric是一个Python写的运维工具。他使用python完全实现了ssh客户端的协议。使得之前的服务器部署，维护，获得当前服务器状态等需要ssh上服务器的工作，可以完全的自动化运行。这种工具对于我这种喜欢折腾的人来说，无疑是种解脱。Get Start 如何安装 安装Python。 官方网站
安装easy_in
转载
2023-08-28 08:28:24
140阅读
前言之前或多或少分享过一些内存模型、对象创建之类的内容，其实大部分人看完都是懵懵懂懂，也不知道这些的实际意义。直到有一天你会碰到线上奇奇怪怪的问题，如：线程执行一个任务迟迟没有返回，应用假死。接口响应缓慢，甚至请求超时。CPU 高负载运行。这类问题并不像一个空指针、数组越界这样明显好查，这时就需要刚才提到的内存模型、对象创建、线程等相关知识结合在一起来排查问题了。正好这次借助之前的一次生产问题来聊
转载
2024-06-04 18:59:53
111阅读
3. 通过 Ambari 安装 HBase、Hive 等外围应用除了一些基础的 Hadoop 应用组件，在企业实际应用中还会集成一些其他生态组件，这些组件可以减少开发工作量，提高工作效率，最常用的就是 Hive 这个外围组件。目前 Hive 已成了很多企业的应用标配。Hive 发展到现在，为了迎合多种计算引擎，也出现了多种运行模式，最早出现的是 Hive on MapReduce，这种运行模式主要
转载
2023-10-28 16:31:30
1024阅读
异构存储主要解决，不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。Hadoop的存储类型和存储策略有;1异构存储shell操作1、查看当前有哪些存储策略可以用[atguigu@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies-listPolicies2、为指定路径（数据存储目录）设置指定的存储策略hdfs storagepolicies -setS
原创
2021-03-14 09:59:15
621阅读
有很多开源自动化运维工具都很好用如ansible/salt stack等，完全不用重复造轮子。只不过，很多运维同学学习Python之后，苦于没小项目训练，本篇演示用Python写一个批量操作主机的工具，大家空余时候可以试着写写，完善完善。1 思路分析在运维工作中，古老的方式部署环境、上线代码可能都需要手动在服务器上敲命令，不胜其烦。所以，脚本，自动化工具等还是很有必要的。我觉得一个批量操作工具应该
转载
2023-09-14 10:23:39
199阅读
这是《Linux 运维工程师必备的80个监控工具》的下篇，上篇请点击：Linux运维工程师必备的80个监控工具全集(上） 与系统有关的监控30nmom[26] nmon 将数据输出到屏幕上的，或将其保存在一个以逗号分隔的文件中。你可以查看 CPU，内存，网络，文件系统，前列 进程。数据也可以被添加到 RRD 数据库中用于进一步分析。 31Conky[27] Conky 能监视很多的操作系统数据。它
转载
2024-05-07 09:02:59
138阅读
https://github.com/fanux/sealos/blob/master/k8s/utlis.go
转载
2023-06-16 21:12:21
246阅读
linux运维人员必会开源运维工具体系说明：不同的技术人员，不同的阶段确定知识边界非常重要，否则，就像马拉车，不知道终点在哪，累死也达不到目标。例如拿8K要学多少，拿15K要学多少。一个新手也许只想拿8k结果各种学,学了2年，发现都学了，结果8k还是拿不到，归根结底，没边界瞎学，熊瞎子掰苞米，掰一个丢一个，学知识是有周期的，学太多又拖太长和没学差不多，2016年5月更新！新手必会用深黄色（8-15
原创
2016-06-29 12:21:24
2191阅读
点赞
1评论
这是学习笔记的第 1928 篇文章
有句话说，工欲善其事，必先利其器，在MySQL方向尤其如此。 技术规划的时候，会发现有一些事情需要前置，比如说MySQL里面的工具，如果等到实际碰到了各色的问题再来统一，就比较难了。有沟通成本，人力成本，技术沉淀和持续交付等等的成本，这些最好提前和团队有一个基本的沟通，
转载
2023-09-17 11:14:08
192阅读
paramiko 模块paramiko是一个用于做远程控制的模块，使用该模块可以对远程服务器进行命令或文件操作，值得一说的是，fabric和ansible内部的远程管理就是使用的paramiko来现实。它是基于Python实现的 SSH2远程安全连接，支持认证及密钥方式。可以实现远程命令执行、文件传输、中间SSH代理等功能。官网地址： http://www.paramiko.orgpa
转载
2023-07-03 20:22:45
289阅读
一、运维监控基础1.报告网路/系统/业务运行状况2.提前发现被监控设备的问题二、监控的资源类别硬件监控：CPU、内存、磁盘I/O系统监控：存活状态、进程数、用户数、磁盘使用率网络监控：故障点监测、出站流量、入站流量应用监控：Web/FTP等服务、TCP/UDP端口检测三、监控服务平台Cacti---------基于SNMP协议的监控软件，强大的绘图能力Nagios-------基于Agent监控，
转载
2024-05-11 17:16:48
161阅读
链接：https://cloud.51cto.com/art/202010/628604.htm你是否还在大量控制台窗口中监控容器，还是对使用终端命令充满热情?而使用Docker的图形用户界面(GUI)工具，则可以更简单的对容器进行管理，并提高效率。而且它们都是免费的。 PortainerPortainer是一款Web应用程序基于开源Zlib许可证。支持Linux，Mac OS X，Wi
转载
2023-07-14 11:14:05
214阅读
