yongqiao的博客_Java,python,Mysql,Oracle,自动化运维,操作系统,Hadoop,linux笔记,python笔记,基础shell脚本

一次yarn服务unhealthy状态处理

自从hadoo集群新加了9个节点之后，有时候发现yarnweb页面有1个或者几个unhealthy状态的节点，但是过一会又正常了，但这种状态经常引起后台的监控的报警。查看了异常节点的日志显示如下yarn的本地日志目录使用超过了90%，然后df看了下，根目录使用率100%了才30G的大小怪不得对比新老节点的磁盘大小发现老节点的大小在20T....修改了新加节点yarn配置文件重新定义了中间态目录，重

异常处理

原创 2019-07-23 21:46:20 2121 阅读 1点赞

R数据框操作 fourth day

#导入数据集install.packages("readxl")library(readxl)tianmao<-read_excel('tianmaoTV.xlsx',skip=1)#创建新变量tianmao['total_sales']<-tianmao$current_price*tianmao$month_sales_count

导入数据

新变量

提取子集

删除子集

原创 2019-06-21 01:53:57 1716 阅读 1点赞

shell基础第四题

对日志进行筛选假如日志的格式如下：以IP开头需要筛选出IP并统计数量x.x.x.x-bkljkl+flkdjjjx.x.x.x-lglk+gkljmfklhawk命令打印出第一段IP地址-F以指定分隔符，如果不指定默认就以空白字符awk'{print$1}'打印出来的IP可定是有重复的需要进行排序把相同的IP进行排列到相邻sort-n表示以数字的形式今昔排序如果不加N则以ASCII

awk

sort

uniq

原创 2019-06-20 01:45:03 675 阅读 1点赞

R 复杂数据类型third day

#矩阵是将R行和列组成的数组数据元素要求是同一种类型函数：matrixdata矩阵的元素向量的形式nrow行数ncol列数byrow是否按照行排列默认是列排序true按行false按列dimnames可选对行列进行命名m<-matrix(1:6,nrow=2,ncol=3,byrow=T,dimnames=list(c('r1','r2'),c('c1

矩阵

数组

数据框

列表

原创 2019-06-20 01:34:18 1469 阅读 1点赞

每天一个shell脚本

1.要求每天生产一个日期文件，例如2018-08-18.log文件，并把磁盘的使用情况写到这个文件中，（暂时先不添加定时任务）日期命令date常用参数:date+%Y-%m-%d年月日也可以写为date+%Fdate-d指定描述的时间date+%H小时date+%M分钟date+%S秒date+%T时间date+%w星期例如上个月date-d‘-1day’前一天+%F'-1month

date命令

原创 2019-06-19 00:36:39 1182 阅读 1点赞

R基础数据类型2DAY

1、向量有序向量的元素有对应的位置下标从1开始元素类型统一常用的数值、字符，逻辑值num1<-c()函数把元素变成数值或者列表num2<-1:10字符型向量创建char<-c('a','b',"c")字符型需要加引号单引号或者双引号都可以创建逻辑向量logit<-c(TRUE,FALSE,T,F)逻辑中只能是TRUE或者F

数据类型

字符串

数值

原创 2019-06-19 00:20:36 1669 阅读

R语言可视化one-day

R和Rstudio介绍Rstudio界面介绍基础操作编辑器实现代码不全更有效率用户更专注于报告撰写数据分析操作是Rstudio实际执行是R函数getwd()查看当前的工作路径保存代码命令交互式运行窗×××互式控制台环境面板之前输出的结果选中变量点击扫把是删除history命令历时信息file工作文件plots输出图像的结果packages包的信息helpR的帮助文档file>newprojec

R学习

可视化

原创 2019-06-18 00:33:19 1082 阅读

每天一个shell命令脚本

文件和目录列表ls命令最基本的形式会显示当亲目录下的文件和目录目录和文件会显示颜色区分。如果终端是不支持彩色的可以加-F选项目录后会有一个正斜线/ls-a显示隐藏文件，在Linux上隐藏文件是文件名以点号开始的文件。每个用户的家目录都有三个.bash开头的文件/etc/profile:此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行.并从/etc/profile.d目录的配置文

ls

shell

命令

脚本

原创 2018-08-03 00:45:12 1320 阅读

每天一个shell命令和脚本

常见linux目录名称/虚拟目录的根目录。/bin二进制目录/boot启动目录。存放启动文件/dev设备目录/etc系统配置目录/home主目录，linux在这里创建用户目录/lib库目录。存放系统和应用的库文件/media媒体目录，可移动媒体设备的常用挂载点/opt可选目录，常用于存放第三方软件包和数据文件/proc进程目录，存放现有硬件及当前进程的相关信息/rootroot用户的主目录/sbi

cd

命令

脚本

原创 2018-08-01 00:17:27 1164 阅读

python 学习笔记2

python中文编码python默认的编码格式是ASCII格式，在没修改格式编码时无法正确打印汉字。解决方法只要在开头加入#conding=utf-8[root@qiaolinux-02python]#python1.pyFile"1.py",line2SyntaxError:Non-ASCIIcharacter'\xe4'infile1.pyonline2,b

列表

元组

原创 2018-07-31 23:07:06 1514 阅读

python学习笔记1

shell负责简单的系统管理工具做运维自动化还是python满足大部分自动化需求，又能做C/S架构又能用WEB框架快速开发出高大上的web界面高薪python流行比较快linuxwindowsmac查看Linuxpython版本退出exit()crtl+d在官网上下载pythonwww.python.org下载windos2.7python版本扩展名是.msi文件直接双击安装加入window是的环

pip

安装

python

安装

原创 2018-07-25 00:02:16 959 阅读

批量执行远程脚本

rsync远程传输执行不加expecteof直接退出在执行的命令之后加上settimeout-1永远不超时时间指定host和要传输的文件执行分发系统构建文件列表里面的路径必须是全局路径源目录目标目录都是/list.txt文件列表里面文件路径要保证对方机器上也有相同的路径也可以在rsync+R可以自动创建IPlist列表保证做同步的密码一致性创建rsync.sh脚本报错没加权限远程执行命令定义exe

批量执行

远程脚本

原创 2018-04-26 22:55:57 3057 阅读 1评论

分发系统 expect

远程执行命令传输文件准备上线的代码知道机器的IP地址和用户密码然后用expect脚本用rsync推送到机器上安装软件然后编辑脚本sethost变量setpasswd变量spawnssh用户@$host/root/.ssh/known_hostsinteract结束脚本保留登陆expecteof会退出登陆第一次登陆会提示yesorno\r回车执行成功登陆另一台主机远程执行命令expect遇到的提示符

分发系统

expect

原创 2018-04-26 00:42:16 742 阅读

告警系统

邮件脚本放到/mail/mail.pygserver发邮件的服务mail.sh收揽时间控制脚本t_s当前时间的时间戳t_s2两个小时以前的时间戳差值大于两个小时判断log是否存现然后把时间戳写到日志里面大于3600然后发邮件第一次结束之后定时任务每分钟执行一次再次执行文件存在ts_s2是上次的时间戳变量更新tail-1小与3600执行另一种情况不大于10计数写入日志t_s2两个小时之前的时间戳如果

告警

系统

原创 2018-04-24 22:51:13 1894 阅读

监控系统脚本

监控脚本存放位置创建子目录主脚本放在bin下cd~/bin/下主脚本取IP地址取当前目录判断是否在当前目录日志输出错误日志和正确日志配置文件位置conf/mon.confto_mon_cdb0监控1不监控httpdphp_socket502logfilemon_request_count定义是否要监控是0是1cdshares/load.shload负载负载大于10的时候$send大于1执行发邮件脚

监控

系统

脚本

原创 2018-04-23 23:17:42 1201 阅读

shell函数

shell函数function可以省略执行编辑执行编辑执行之后显示的是fun1.sh的参数定义一个加法的函数执行显示IP数组元素打印数组元素获取数组元素的个数定义元素元素赋值更改替换删除元素unset数组分片seq表示截取元素数组替换告警系统需求冷门监控分布式监控每台机器都可以独立监控主程序

shell

函数

原创 2018-04-22 23:06:03 1383 阅读 1点赞

shell3

计算1-100所以数字的和执行过程依次相加文件循环foriinseq13;doecho$i;done创建一个带空格的文件循环之后分割成两个for在循环的时候会把空格或者回车挡车当成分割符while循环负载命令执行结果让脚本一直执行打开个虚拟端screen循环脚本执行过程跳出循环执行continue结束本次循环执行3满足条件只执行一次重头执行exit退出脚本执行exit定义退出数字echo$?con

sehll

循环

原创 2018-04-19 23:35:49 679 阅读 1点赞

shell2

逻辑判断if判断elif其他条件if;then;fiif;then;eles;fiif;then;elif;;then;else;;if-f判断文件是否是普通文件且存在-d判断目录是否存在-r是否可读-x是否可执行if用法-z判断是否为空-n判断是否部位空变量需要用双引号引起来判断用户里面是否有-q过滤caseread让用户输入字符串case

case

shell2

原创 2018-04-19 01:29:54 612 阅读 1点赞

linuxshell介绍

函数减少重复的代码定时任务自动化的减少人工干预#！/bin/bash解释说明执行环境给文件增加执行权限chkconfig:23451090启动级别启动顺序关闭顺序sh-n检查脚本语法date介绍年月日小时分钟秒周大写W今年的第几周cal日历昨天的日期月份年份时间戳shell脚本的变量变量代替频繁出现的字符串

date

原创 2018-04-17 23:05:02 601 阅读 1点赞

自定义监控

监控某台web的80端口并出图查看80端口链接数编写脚本授权编辑配置文件增加自定义脚本名字路径count建值[*]没有参数有的话逗号分隔重启服务验证在客户端执行脚本用zabbix命令-s指定IP浏览器监控配置主机-aming02-监控项添加完之后图形创建触发器配置邮件告警接受人主题内容服务器创建脚本位置创建脚本定义发邮件服务定义y用户密码更改权限验证管理-用户-创建用户-报警媒介用户组修改权限配置

自定义监控

原创 2018-04-16 23:25:13 759 阅读 1点赞

主动模式和被动模式客户端

客户端服务端有公网IP客户端只有内网IP只能客户端制定IPTABLES规则NAT配置主机群组模版预设一些监控项目的集合主机没有启动agent添加主机线添加群组创建主机客户端IP添加完之后应用集监控项的一个集合更方便的管理监控项监控项监控的项CUP相关触发器针对某一个项目设置一个告警规则定义告警级别图形可以成图有历史数据自动发现规则磁盘分区使用量使用比例创建模版自动发现没有复制按钮导出模版生产xml

自定义

监控配置

乱码修改

原创 2018-04-16 22:47:11 775 阅读 1点赞

监控

zabbix比nagios配置更方便C/S架构zabbix监控流程安装zabbixagent客户端get服务端的工具安装相关包启动mysqletc/my.cnf编辑配置文件设置默认的字符集创建库和用户导入数据解压导入数据zabiix库启动服务进程还在但是没有监听端口查看日志文件less/var/log/zabbix/zbbix_server.log不能连接mysql修改配置文件/etc/zabbi

监控

zabbix

原创 2018-04-12 23:03:15 535 阅读 1点赞

DR模式搭建

更改两台RS的网管DR上编辑脚本ifdownens33ifupens33ifconfig绑定虚拟网卡ens33:2-ggetway两个RS写入脚本吧VIP绑定在lo上keepalived+lvs一台安装keepalived编辑文件查询rs状态rs1rs2启动查看规则停止133服务之后再重新查询keepalived有自动把宕机的rs剔除的功能DR上绑定VIP和$IPV不需要执行RS的脚本还是要执行N

DR

转载 2018-04-12 00:29:24 688 阅读

负载均衡集群介绍

网络七层模型nginx可以根据目录名字确定NAT模式当访问量很大是是一个瓶颈NAT请求量不能太大十几台左右一个公网IP配置在loadbalancer上面loadbalancer分发器VIP公共的IPIPtunnel更改了数据包的目的IP返回的时候不需要再经过分发器减轻了分发器的压力DRLVS调度算法轮询把连接均衡的分发到服务器上加权轮询对配置好的服务器设置高的权重分配连接数会多一点最小连接连接数少

负载均衡

集群介绍

51cto

原创 2018-04-10 23:49:10 1984 阅读 1点赞

集群架构介绍

介绍高可用hearbeat(很长时间没有更新)、keepalived负载均衡LVS、keepalive、haproxy、nginx、商业的有F5、netscaler有更高的并发量有很好的稳定性加机器或者更换硬件配置增加到定阶段是还是有瓶颈只能横向扩容负载均衡keepalived介绍通过VRRP虚拟路由冗余协议安装keeplived解决单点故障编辑配置文件global全局定义参数notificati

集群

介绍

原创 2018-04-09 22:42:24 2398 阅读 1点赞

mysql架构

网站访问量日pv量级在1w以下mysql主从主从复制是Mysql内建的复制功能，它是构建高性能应用程序的基础，技术成熟，应用也很广泛。其原理就是通过将Mysql主库的sql语句复制到从库上，并重新执行一遍来实现的。复制过程中主库将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从库的更新。每次从库连接主库时，它会通知主库最后一次成功更新的位置。从库接收从那时起发生

mysql

转载 2018-04-08 01:09:26 1847 阅读

mysql 主从介绍

binlog文件记录日志是一个二进制文件主上需开启binlog才能开始主从relaylog终进日志应用场景做一个数据的备份1.主做读写操作假如硬件损坏可以立即提供服务2.做备份从只提供读的访问准备工作主从都启动mysql配置主修改配置文件/etc/my.cnf更改之后需要重启/data/mysql下回生产新文件数据备份创建新的数据库恢复数据库主从参考的数据库就是aming创建用户主从同步用的先锁表

mysql

主从介绍

51cto

原创 2018-04-02 22:29:01 1138 阅读

配置tomact 虚拟主机博客

配置tomact监听端口为80编辑配置文件改为80重启服务查看监听端口nginx已经在监听80端口停掉nginx再重新查看8005是tomcat管理端口启动时会慢配置tomcat虚拟主机Apachenginx都属于webserver都支持虚拟主机配置一个IP可以有多个域名编辑配置文件WAR包包含允许网站的文件和配置和jsp的代码还有和数据库相关的图片需要放到WEBAPPS里面unpackWARS是

tomact配置

虚拟主机设置

原创 2018-04-01 17:17:59 986 阅读

tomcat介绍

针对开发语言是PHPtomcat是一个中间件解析java脚本解析jsp的文件需要安装jdk安装jdk点击接受选择需要下载的软件ceentos7支持32位和64位下载到本地再传输到linux解压文件tarxvfjdk_包更改名字设置环境变量vim/etc/profile生效并检验·安装tomcat808080端口也没办法让客户直接访问战点必须要有一个站点webserver下载tomcat解压包tar

tomcat介绍

安装

几种中间件的区别

原创 2018-03-29 23:33:51 1869 阅读

mysql 常用操作

查看服务是否启动添加环境变量再次使用mysqlroot永久生效把命令放入到profile里面使环境变量生效mysql-u用户-p密码设置root用户密码更改root密码重置密码编辑文件修改忽略授权skip-grant重启服务生效切换库修改表中密码在去掉忽略授权的操作重启服务链接mysql验证链接远程mysql-hIP地址-P端口使用sockd链接链接只适合在本机链接的同时操作列出数据库mysql常

mysql

常用

命令

原创 2018-03-22 23:49:57 532 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

宁静致远

一次yarn服务unhealthy状态处理

R数据框操作 fourth day

shell基础第四题

R 复杂数据类型third day

每天一个shell脚本

R基础数据类型2DAY

R语言可视化one-day

每天一个shell命令脚本

每天一个shell命令和脚本

python 学习笔记2

python学习笔记1

批量执行远程脚本

分发系统 expect

告警系统

监控系统脚本

shell函数

shell3

shell2

linuxshell介绍

自定义监控

主动模式和被动模式客户端

监控

DR模式搭建

负载均衡集群介绍

集群架构介绍

mysql架构

mysql 主从介绍

配置tomact 虚拟主机博客

tomcat介绍

mysql 常用操作