闭关修炼ing的最近发布

常用Linux Shell命令组合-- 运维常用总结

1.删除0字节文件find.-typef-size0-execrm-rf{}\;find.typef-size0-delete2查看进程，按内存从大到小排列ps-e-o“%C:%p:%z:%a”|sort-k5-nr3按cpu利用率从大到小排列ps-e-o“%C:%p:%z:%a”|sort-nr4打印说cache里的URLgrep-r-ajpg/data/cache/|strings|grep“

shell 命令运维

转载 2019-04-24 10:09:28 559 阅读 1点赞

Java反射获取类和对象信息概念解析

反射可以解决在编译时无法预知对象和类是属于那个类的，要根据程序运行时的信息才能知道该对象和类的信息的问题。在两个人协作开发时，你只要知道对方的类名就可以进行初步的开发了。获取类对象Class.forName(StringclazzName)静态方法调用类的class属性，Person.class返回的就是Person的class对象（推荐使用）调用某个对象的getClass()方法具体使用还是要根

java

反射

类加载

转载 2018-06-07 14:40:44 641 阅读

我的友情链接

51CTO博客开发传递正能量学神IT-Linux讲师-MK51CTO学院官方博客老男孩linux培训学神IT教育-讲师MK马哥Linux培训7732617吴光科-京峰Linux运维培训itil学习笔记曾垂鑫的技术专栏Suzf Blog笨鸟先飞思科技术交流峰云，就她了。myEIT桂素伟谦虚若愚、求知如渴张宇(数据恢复)王伟爱维Linux韩立刚滴水穿石孙杰我们一起追过的MSSQL王春海的博客似水流年

原创 2017-11-22 23:11:40 567 阅读

SparkStreaming 性能调优

在开发Spark Streaming应用程序时，要结合集群中各节点的配置情况尽可能地提高数据处理的实时性。在调优的过程中，一方面要尽可能利用集群资源来减少每个批处理的时间；另一方面要确保接收到的数据能及时处理掉。运行时间优化设置合理的批处理时间和窗口大小Spark Streaming中作业之间通常存在依赖关系，后面的作业必须确保前面的作业执行结束后才能提交，若前面的作业的执行时间超过了设置的批处理

性能调优

sparkStreaming

原创 2017-10-11 20:08:55 3771 阅读

java类的初始化过程

、java类中的字段，第一步是自动初始化，比如定义了 Java代码 private int i; 由于没有给其赋值，i会被自动赋值为0。这个步骤是仅限于类中的字段的，如果方法中的临时变量，不会有这个动作。而且如果在方法中使用未经赋值的变量，编译会不通过 2、第二步是指定初始化 Java代码 &n

java

类加载

转载 2017-10-09 11:44:38 1123 阅读 1点赞

MySQL 调优/优化的 100 个建议

MySQL是一个强大的开源数据库。随着MySQL上的应用越来越多，MySQL逐渐遇到了瓶颈。这里提供 101 条优化 MySQL 的建议。有些技巧适合特定的安装环境，但是思路是相通的。我已经将它们分成了几类以帮助你理解。MySQL监控MySQL服务器硬件和OS（操作系统）调优：1、有足够的物理内存，能将整个InnoDB文件加载到内存里 —— 如果访问的文件在内存里，而不是在磁盘上，InnoDB会快

mysql

优化

原创 2017-10-01 13:15:02 759 阅读

工作流调度器Azkaban的安装配置

Azkaban安装部署准备工作Azkaban Web服务器azkaban-web-server-2.5.0.tar.gzAzkaban执行服务器azkaban-executor-server-2.5.0.tar.gzMySQL目前azkaban只支持 mysql,需安装mysql服务器,本文档中默认已安装好mysql服务器,并建立了 root用户,密码root.下载地址:htt

工作

azkaban

流调度器

原创 2017-09-29 18:47:35 1198 阅读

Hadoop的MapReduce执行流程图

Hadoop的MapReduce shuffle过程，非常重要。只有熟悉整个过程才能对业务了如指掌。MapReduce执行流程输入和拆分：不属于map和reduce的主要过程，但属于整个计算框架消耗时间的一部分，该部分会为正式的map准备数据。分片（split）操作： split只是将源文件的内容分片形成一系列的 I

过程

hadoop

shuffle

原创 2017-09-29 11:24:07 4257 阅读

Linux 需要掌握的一些命令

1. tar创建一个新的tar文件$ tar cvf archive_name.tar dirname/解压tar文件$ tar xvf archive_name.tar查看tar文件$ tar tvf archive_name.tar2. grep在文件中查找字符串(不区分大小写)$ g

命令

Linux

原创 2017-09-28 08:03:37 478 阅读 1点赞

linux 定时任务crontab详解

在LINUX中，周期执行的任务一般由cron这个守护进程来处理[ps -ef|grep cron]。cron读取一个或多个配置文件，这些配置文件中包含了命令行及其调用时间。cron的配置文件称为“crontab”，是“cron table”的简写。一、cron服务　　cron是一个linux下的定时执行工具，可以在无需人工干预的情况下运行作业。　　service crond start

linux

crontab

定时任务

转载 2017-09-25 10:53:53 1568 阅读 1点赞

spark入门知识和job任务提交流程

spark是Apache开源社区的一个分布式计算引擎，基于内存计算，所以速度要快于hadoop.下载地址spark.apache.org安装复制一台单独的虚拟机，名c修改其ip，192.168.56.200修改其hostname为c，hostnamectl set-hostname c修改/etc/hosts加入对本机的解析重启网络服务 systemctl restart network上传spa

入门

job

spark

原创 2017-09-24 13:50:38 1774 阅读 1点赞

十二条Linux运维面试必备经典笔试/面试题，来挑战一下

又到了一年一度的秋招，作为运维方向，看了一些面经，收集了一些笔试面试题，总结了一下，贴出来仅供参考，有错误的地方还请指出.1.Linux设置环境变量暂时的：export MYNAME=”new name”echo $MYNAMEnew name永久的：通过改变/etc/profile实现EG: export CLASSPATH=./jav

面试题

linux运维

转载 2017-09-20 14:45:23 812 阅读 1收藏

MySQL计算百分比方法介绍

根据相应条件抽出相应count数（myCount）抽出总count数(totalCount)计算百分比：myCount / totalCount * 100四舍五入：使用ROUND函数ROUND(number，要保留的小数位)，ROUND(myCount / totalCount * 100,1)下面给出示例供参考： SELECT ROUND(T1.co/T2.

函数

MySQL

百分比

原创 2017-09-19 14:40:27 10000+阅读

大数据flume日志采集系统详解

一.flume介绍 flume 是一个cloudera提供的高可用高可靠，分布式的海量日志收集聚合传输系统。Flume支持日志系统中定制各类数据发送方，用于收集数据。同时flume提供对数据进行简单处理，并写到各种数据接收方(可定制)的能力。二.功能介绍日志收集Flume最早是Cloudera提供的日志收集系统，目前是Apache下的

搭建

flume

采集日志

原创 2017-09-19 12:46:31 10000+阅读 1点赞

hadoop shell命令字典详解

可以带着下面问题来阅读：1.chmod与chown的区别是什麽？2.cat将路径指定文件的内容输出到哪里？3.cp能否是不同之间复制？4.hdfs如何查看文件大小？5.hdfs如何合并文件？6.如何显示当前路径下的所有文件夹和文件7.rm删除文件失败的原因什么？8.如何查看文件的创建时间9.查看文件命令的内容有哪些？能否说出三种？10.如何判断文件是否存在？11.如何创建0字节文件对于命令，我们一

命令

shell

hadoop

转载 2017-09-18 09:19:37 1626 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

脚踏实地前行者