闭关修炼ing的博客_Oracle,数据库,服务器,Docker,Hadoop,管理软件,自动化运维,Spark,linux运维,mysql,scala原创

我的友情链接

51CTO博客开发传递正能量学神IT-Linux讲师-MK51CTO学院官方博客老男孩linux培训学神IT教育-讲师MK马哥Linux培训7732617吴光科-京峰Linux运维培训itil学习笔记曾垂鑫的技术专栏Suzf Blog笨鸟先飞思科技术交流峰云，就她了。myEIT桂素伟谦虚若愚、求知如渴张宇(数据恢复)王伟爱维Linux韩立刚滴水穿石孙杰我们一起追过的MSSQL王春海的博客似水流年

原创 2017-11-22 23:11:40 567 阅读

SparkStreaming 性能调优

在开发Spark Streaming应用程序时，要结合集群中各节点的配置情况尽可能地提高数据处理的实时性。在调优的过程中，一方面要尽可能利用集群资源来减少每个批处理的时间；另一方面要确保接收到的数据能及时处理掉。运行时间优化设置合理的批处理时间和窗口大小Spark Streaming中作业之间通常存在依赖关系，后面的作业必须确保前面的作业执行结束后才能提交，若前面的作业的执行时间超过了设置的批处理

性能调优

sparkStreaming

原创 2017-10-11 20:08:55 3771 阅读

MySQL 调优/优化的 100 个建议

MySQL是一个强大的开源数据库。随着MySQL上的应用越来越多，MySQL逐渐遇到了瓶颈。这里提供 101 条优化 MySQL 的建议。有些技巧适合特定的安装环境，但是思路是相通的。我已经将它们分成了几类以帮助你理解。MySQL监控MySQL服务器硬件和OS（操作系统）调优：1、有足够的物理内存，能将整个InnoDB文件加载到内存里 —— 如果访问的文件在内存里，而不是在磁盘上，InnoDB会快

mysql

优化

原创 2017-10-01 13:15:02 759 阅读

工作流调度器Azkaban的安装配置

Azkaban安装部署准备工作Azkaban Web服务器azkaban-web-server-2.5.0.tar.gzAzkaban执行服务器azkaban-executor-server-2.5.0.tar.gzMySQL目前azkaban只支持 mysql,需安装mysql服务器,本文档中默认已安装好mysql服务器,并建立了 root用户,密码root.下载地址:htt

工作

azkaban

流调度器

原创 2017-09-29 18:47:35 1198 阅读

Hadoop的MapReduce执行流程图

Hadoop的MapReduce shuffle过程，非常重要。只有熟悉整个过程才能对业务了如指掌。MapReduce执行流程输入和拆分：不属于map和reduce的主要过程，但属于整个计算框架消耗时间的一部分，该部分会为正式的map准备数据。分片（split）操作： split只是将源文件的内容分片形成一系列的 I

过程

hadoop

shuffle

原创 2017-09-29 11:24:07 4257 阅读

Linux 需要掌握的一些命令

1. tar创建一个新的tar文件$ tar cvf archive_name.tar dirname/解压tar文件$ tar xvf archive_name.tar查看tar文件$ tar tvf archive_name.tar2. grep在文件中查找字符串(不区分大小写)$ g

命令

Linux

原创 2017-09-28 08:03:37 478 阅读 1点赞

spark入门知识和job任务提交流程

spark是Apache开源社区的一个分布式计算引擎，基于内存计算，所以速度要快于hadoop.下载地址spark.apache.org安装复制一台单独的虚拟机，名c修改其ip，192.168.56.200修改其hostname为c，hostnamectl set-hostname c修改/etc/hosts加入对本机的解析重启网络服务 systemctl restart network上传spa

入门

job

spark

原创 2017-09-24 13:50:38 1774 阅读 1点赞

MySQL计算百分比方法介绍

根据相应条件抽出相应count数（myCount）抽出总count数(totalCount)计算百分比：myCount / totalCount * 100四舍五入：使用ROUND函数ROUND(number，要保留的小数位)，ROUND(myCount / totalCount * 100,1)下面给出示例供参考： SELECT ROUND(T1.co/T2.

函数

MySQL

百分比

原创 2017-09-19 14:40:27 10000+阅读

大数据flume日志采集系统详解

一.flume介绍 flume 是一个cloudera提供的高可用高可靠，分布式的海量日志收集聚合传输系统。Flume支持日志系统中定制各类数据发送方，用于收集数据。同时flume提供对数据进行简单处理，并写到各种数据接收方(可定制)的能力。二.功能介绍日志收集Flume最早是Cloudera提供的日志收集系统，目前是Apache下的

搭建

flume

采集日志

原创 2017-09-19 12:46:31 10000+阅读 1点赞

Spark SQL 中 dataFrame 学习总结

dataFrame多了数据的结构信息。就是schema。RDD是分布式的 Java对象的集合。DataFrame是分布式的Row对象的集合。DataFrame 提供了详细的结构信息，可以让sparkSQL清楚的知道数据集中包含哪些列，列的名称和类型各是什么? RDD是分布式的 Java对象的集合。DataFrame是分布式的Row对象的集合。DataFrame除

SQL

dataSet

spark

原创 2017-09-13 14:44:15 2725 阅读

shell常用的命令

alias 给命令取一个绰号 $ c='clear'cd 改变当前路径 $ cd /etc 将当前路径改为/etc $ cd &

linux

脚本

shell

原创 2017-08-29 20:03:20 545 阅读

linux搭建本地YUM源配置详细步骤

1.1. 为什么要制作本地YUM源YUM在Linux上使用源码的方式安装软件非常麻烦，使用yum可以简化安装的过程. 1.2. YUM源的原理YUM源其实就是一个保存了多个RPM包的服务器，可以通过http的方式来检索、下载并安装相关的RPM包1.3 制作本地YUM源1.准备一台Linux服务器，用最简单的版本CentOS-6.7-x86_64-minimal.iso

linux

本地

yum

原创 2017-08-29 14:09:20 7718 阅读 1点赞

linux搭建NTP时间服务器步骤

NTP服务器时用于局域网时间同步的。可以保证局域网所有的服务器与时间服务器保持同步。某些应用对时间的实时性要求比较高。要求必须统一时间，所以时间服务器的配置很重要。互联网的时间服务器有很多。例如免费的有复旦大学的NTP服务器: ntpdate ntp.fudan.edu.cn. 南京大学时间服务器: ntp.nju.edu.cn等等。NTP的服务监听端口是UDP的123端口

linux

服务器

ntp

原创 2017-08-29 11:12:49 1115 阅读

VNC viewer远程连接linux桌面

做过Linux运维的朋友都知道，我们一般很少直接与服务器接触。都是通过终端来连接处理一些事物。本人常用的终端有图形界面的是vnc viewer还有命令行界面xshell，当然各有千秋，喜欢使用哪个都可以。下面简单介绍一下，使用vncserver 连接Linux的操作步骤。 1.Linux安装 vnc server&n

linux

远程

vnc

原创 2017-08-28 10:37:23 9455 阅读 1点赞

vim编辑器常用命令

vim是linux系统下强大的文本编辑器。相信熟悉linux开发环境的程序猿和运维们都玩的不错。下面简单介绍一下常用的操作命令，希望对大家有所帮助Macros 宏qa: 从一个已注册的宏记录开始查找q 从末尾记录开始@a Multiple File 多文件编辑:e 从缓存中编辑一个文件:bn 进入下一个缓存:bd 删除文件缓存或关闭文件:sp fn 在新窗口打开一个文件或在缓存中打开Wi

命令

vim

思维导图

原创 2017-08-23 11:40:00 443 阅读

Spark 整合hive 实现数据的读取输出

实验环境: linux centOS 6.7 vmware虚拟机spark-1.5.1-bin-hadoop-2.1.0apache-hive-1.2.1eclipse 或IntelJIDea 本次使用eclipse.代码: import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSpark

spark

hvie

整合案例

原创 2017-08-16 15:46:39 10000+阅读 3点赞 1收藏

IntelJIdea 如何修改控制台字体大小和主题

写spark 代码时感觉输出的信息字体太小，看着不太舒服。有时候感觉主题太亮，可以这样调节一下。Ctrl+Alt+S [ Settings ]------> Editor----> Color and Fonts ------>Console Fonts选择size 字体大小和喜欢的字体类型。设置后确定，字体和主题就会变为自己喜欢的。

console

IntelJIDea

原创 2017-08-14 17:12:25 5503 阅读

JVM 性能优化详解

Jvm入门前言堆：比方说有一个xxx.class文件，里面有一些类的定义，这些类的定义需要放在某些地方，类的定义放在方法区，方法区也叫永久区，在程序运行中，我会不断的new 对象，list，hashMap，这些对象存放了大量的数据，给它开辟了一块比较大的空间，主要是保存对象，这块空间称为堆。栈：我的程序在运行过程中，本质上启动一个线程，就算没有thread，也有main线程

java

jvm

原创 2017-08-07 16:22:38 492 阅读

linux下不能上网的问题解决思路

前言: 相信不少新手刚接触linux时候很难下手，对于这种命令行的操作系统。可以一时不习惯，没关系，慢慢来，尽可能的多使用命令就学会了。学习linux，大家可能都想上网吧，该如何才能访问外网呢。linux下有三种网络模式，分别是桥接，仅主机和NAT模式。具体使用情况看使用需求。简单介绍一下几种网络模式: 1&

网络

linux

外网访问

原创 2017-08-02 17:23:26 853 阅读 1点赞

Spark Streaming 实现数据实时统计案例

Spark 是一个基于内存式的分布式计算框架。具有高性能，高效可扩展，容错等优点。今天讲解一下spark的流计算，其实它也不完全是实时的流计算，算是一种准实时的流计算。上图讲解运行环境:需要linux环境下的spark环境本例用的centOS 6.5x64 因为需要使用TCP协议传输数据，所以需要安装一个nc插件。安装方式: yum install ncxxx 或者挂载光盘安装安装后启

spark

Streaming

流式计算

原创 2017-08-02 16:59:35 4791 阅读

yarn模式运行spark作业所有属性详解

摘要:Spark 参数调优，可以大大提高工作中程序的运行效率。下面简单介绍一下这些常用的调优参数属性名称默认值含义spark.yarn.am.memory 512m client模式下，YARN Application Master使用的内存总量spark.yarn.am.cores 1 client模式下

调优

spark

yarn

原创 2017-08-01 10:12:15 5877 阅读

Spark 参数传递问题解析

一 . sparkconf 这个需要在代码里面写，在代码里面写了，那么就不能更改了，即便你在外面传递了一个参数，最终也会在代码里面生效，它的优先级最高二 . sparksubmit / spark-shell 等脚本，一般在这里面传递，针对我这个应用的参数三 . 配置文件在conf 目录下，注意如果需要让参数生效，得template 去掉: 默认的

优化

参数

spark

原创 2017-08-01 08:42:15 1317 阅读

每日一句

不管你多么不愿意承认，对大多数人来说，生活的本质在于重复。我们并没有自己想象的那么强大，别太为难自己。

生活

感悟

原创 2017-07-28 20:28:17 643 阅读

生活随想

人生，在坎坷中前行。在忙碌中收获。在悲喜中经历，在痛苦中领悟，在得失中选择。在奋斗中坚定！苦了，才懂得满足；败了，才体会成功。感恩大家。过好人生每一天

生活

原创 2017-07-27 18:33:28 302 阅读 1点赞

Spark Shuffle过程详细分析

在MapReduce中shuffle和Spark的shuffle的过程有一些区别。这里做一下具体的介绍。Mapreduce的shuffle过程图解Spark shuffle过程图解注意:spark shuffle过程中没有分区和排序的过程，而且存储结果存储在内存中，所以速度要比mapreduce要快很多。先就到这里吧，图解的说明应该比较清晰了。有问题欢迎留言

mapreduce

shuffle

spark

原创 2017-07-26 17:08:56 1123 阅读

Spark 分析网站排名热度

需求:/ 解决是一个各个子模块内的热度排名--》排名得用sortBy ---》（可能就是简单的排序，或者是二次排序） ---》// 前面有一个wordCount---》算出次数出来 --》考虑什么作为key//算的一个网站下面，每个子模块下面的网页热度前2名：// 算的一个网站下面，每个子模块下面的网页热度前2名 --》每个子模块下面的网页的次数的前2名// 在实际开发中，

排名

spark

原创 2017-07-25 13:20:57 683 阅读

java二分查找算法

算法：当数据量很大适宜采用该方法。采用二分法查找时，数据需是有序不重复的。基本思想：假设数据是按升序排序的，对于给定值 x，从序列的中间位置开始比较，如果当前位置值等于 x，则查找成功；若 x 小于当前位置值，则在数列的前半段中查找；若 x 大于当前位置值则在数列的后半段中继续查找，直到找到为止。假设有一个数组 { 20,21,22,23,24,25,26,27public

java

二分法

原创 2017-07-24 15:05:02 493 阅读

Spark 编程实战之经典算法TOP K

Top K Top K算法有两步，一是统计词频，二是找出词频最高的前K个词。 1.实例描述假设取Top 1，则有如下输入和输出。输入： Hello World Bye World Hello Hadoop Bye Hadoop Bye Hadoop Hello Hadoop

算法

spark

TopK

原创 2017-07-21 16:17:55 3153 阅读

sparkRDD 算子的创建和使用

spark是大数据领域近几年比较火的编程开发语言。有众多的好处，比如速度快，基于内存式计算框架。不多说直接讲 spark的RDD 算子的使用。如果有spark环境搭建等问题，请自行查找资料。本文不做讲述。spark rdd的创建有两种方式:1>从集合创建。也就是从父rdd继承过来2>从外部创建。import java.util.Arrays; import java

spark

rdd

算子

原创 2017-07-18 17:11:49 528 阅读

spark 入门及集群环境搭建

软件环境: VMware workstation 11.0linux ：CentOS 6.7hadoop-2.7.3jdk-1.0.7_67spark-2.1.0-bin-hadoop2.7/安装虚拟机和jdk就不再此赘述。直接讲解安装hadoop和spark的安装。一。下载hadoop源码包。点击此处下载: http://hadoop.apache.org/ 1

集群

Hadoop

spark

原创 2017-07-13 19:51:31 602 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

脚踏实地前行者