从头开始学编程的博客_Mysql,数据库,大数据,Linux,软考,项目管理,互联网运营,企业管理,信息化,Routing & Switc,linux,monitoring原创

我的友情链接

51CTO博客开发技术dxiaofei821025.blog.163.comNot Only Linux吟—技术交流楊雲实践检验真理Free Linux, Share Linux老徐的私房菜李振良的技术博客爱维Linux张宇(数据恢复)朴实的追梦者

原创 2017-11-22 23:08:07 986 阅读

python实现磁盘日志清理

一、描述：以module的方式组件python代码，在磁盘文件清理上复用性更好二、达到目标：清空过期日志文件，清理掉超过自定大小日志文件三、原码#!/usr/bin/env python # -*- coding: utf-8 -*- import commands import&nb

disk

python

delet

原创 2017-02-12 15:26:10 10000+阅读 1点赞 3收藏

ansible-playbook之修改ssh端口和limits参数控制

一、描述拿到一批机器，需要做首先是修改ssh端口，防火墙配置，以及limits.conf控制文件描述符，进程数，栈大小等。二、剧本如下：--- - hosts: "{{ host }}" remote_user:&

ssh

port

ansible

原创 2016-12-22 11:45:40 10000+阅读

ansible-playbook批量部署zabbix

一、需求机房每次增加一批服务器，一些初始环境变量，监控端，脚本，时间校对，配置文件参数等一系修改操作，刚开始按步就班，也用到一些脚本完成，但高效性没能体现出来。现在升级到ansible,自动化部署应用，配置，编排task，把平常复杂工作变得简单，同时使得运维工作上更加标准化和控制！二、剧本实现以下是以zabbix案例来操作！---

批量

同步

ansible

原创精选 2016-12-14 18:47:03 4739 阅读 2收藏

ansible 下lineinfile详细使用

一、简述这几天在看了ansible官网，收获蛮多。截取一个lineinfile模块作一个总结。如果批量修改配置文件某一行时，在写playbook时lineinfile避免不了的。根据官网说法：lineinfile - Ensure a particular line is in a file, or replace an exis

validate

ansible

lineinfile

原创推荐 2016-12-13 18:02:31 10000+阅读 4点赞

application master 持续org.apache.hadoop.ipc.Client: Retrying connect to server

一、问题现象某一个nodemanager退出后，导致 application master中出现大量的如下日志，并且持续很长时间，application master才成功退出。2016-06-24 09:32:35,596 INFO [ContainerLauncher #3] org.apache.hadoop.ip

hadoop

yarn.client

nodemanger

application master

org.apache.hadoop.ip

原创精选 2016-12-09 17:41:57 4710 阅读

could't create native thread的问题跟踪

一、问题描述之前因为java.lang.OutOfMemoryError: unable to create new native thread设置了Xss参数，见http://zouqingyun.blog.51cto.com/782246/1879975nodeManager仍然出现该异常，同时map-reduce的任务中也出现该异常二、一些现象 &nb

hadoop

hdfs

yarn

原创精选 2016-12-06 14:31:19 3924 阅读

namenode ha切换优化

一、背景目前namenode使用了ha的部署模式，但系统会经常出现ha的自动切换（namenode节点其实正常）。经过调研发现可能的原因如下： HealthMonitor check本地namenode的rpc端口时超时，导致HealthMonitor认为namenode挂掉。zk上的session timeout，导致丢掉当前持有的active锁（temp节点），引起自动切换。二、优化下面

ha

hadoop

namenode

原创精选 2016-12-01 15:35:45 6219 阅读 1点赞 1收藏

将多行文件转换为一行

一、需求：把这些数据库文件转换成一行，然后用scp -r 一次性作拷贝。二、实例[root@mysql5 ~]# cat /tmp/1 ga_10122 ga_10589 ga_11053 ga_11238 ga_11559 ga_11944 ga_12193 ga_13542 ga_35179 ga_36013 ga_36063 ga_36575 ga_36737

BEGIN

awk

RS

原创 2016-11-28 14:46:38 1284 阅读

$0, $#, $*, $@, $?, $$和命令行参数

$0 当前脚本的文件名 $n 传递给脚本或函数的参数。n 是一个数字，表示第几个参数。例如，第一个参数是$1，第二个参数是$2。 $# 传递给脚本或函

$0

$@

$#

$*

$?

$$

原创 2016-11-28 12:26:40 1561 阅读

配置ssh公钥登录提示还是输入密码

一、知识点补充：在客户端来看，SSH提供两种级别的安全验证第一种级别（基于密码的安全验证），知道帐号和密码，就可以登录到远程主机，并且所有传输的数据都会被加密。第二种级别（基于密钥的安全验证），需要依靠密钥，也就是你必须为自己创建一对密钥，并把公有密钥放在需要访问的服务器上。二、问题描述集群一台主节点master,用到第二种级别，运行的用户是hadoop2，现在配置了公钥登录后，ssh连接还是显示

ssh

password

公钥

原创 2016-11-18 17:27:22 10000+阅读 2点赞 1收藏 1评论

自动打包mysql下binlog日志

一、需求线上一台机器做了rsync,从5台mysql机器拉取binlog日志到本地，之前是手动打包，现在写了个脚本，放到crontab定期执行打包，并删除打包后的的文件。二、脚本如下#!/bin/sh # usage: # nohup sh /tmp/backup_binlog_tar.sh > nohup.out&nb

linux

mysql

tar

原创精选 2016-11-14 15:10:58 2059 阅读 1点赞 1收藏

xtrabackup的mysql备份脚本（一）

一、安装xtrabackup工具安装方法见：xtrabackup安装# wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.1/binary/tarball/percona-xtrabackup-2.4.1-Linux-x86_64.tar.gz # mv per

mysql

shell

innodb

原创精选 2016-08-25 13:12:28 2299 阅读 1收藏

测试环境机器部署图

一、需求在本地上部署了两套环境，一套用于开发环境，另一套用于测试环境。在这里，我抽其测试这套环境，做了个总结，具体安装步聚，在这里不作详细解释，如果需要，我可以提供一份我总结文档作参考。每套环境上用到了11台机器，注意了，在这里用到全部是cdm5.5.0版本http://archive.cloudera.com/cdh5/cdh/5/二、集群规划1、测试集群2、实时环境三、依赖关系说

hadoop

原创精选 2016-05-17 18:40:25 3004 阅读 2收藏

150个节点的本地机房建设解决方案

一、本地机房去年进来公司时，才二十人，到现在发展到100号人。当时办公室还是蛮小，至多容纳40号人办公。到了7月份，公司计划就要搬迁办公室。鉴于当时办公环境，其实傻瓜交换机与路由，加上网线与电话线相互缠绕，跟一个蜘蛛网似的，掉线，也是常有发生。当超过40号人，去查看路由负裁，100%，能连上网，但掉包极为严重。鉴于，这种情况，建一个稳定的本地办公机房环境，就非常有必要了。二、机器选型

机房

交换

h3c

原创推荐 2016-04-05 14:50:28 5983 阅读 6点赞 1收藏 11评论

KVM实例应用

一、需求公司近一台DELL T460机器回来，虚拟30台来跑hadoop集群测试的，虚拟化用的KVM技术，这当中第一次使用，在部署安装过程，入了不少坑。故把整个过程写下来。二、部署步聚1、所需要软件[root@KVM qemu]# rpm -qa | grep -E 'qemu|libvirt|virt' virt-what-1

linux

部署

kvm

散人

virsh

原创 2016-03-31 18:32:31 1931 阅读

MySql语句性能问题定位--从sql语句到磁盘IO检查

一、背景本文只针对IO导致MySql性能问题的定位，其他如CPU、MySql参数配置、程序自身等问题需要进一步补充。原因某条sql建表语句运行了15秒二、步聚Step1:开启profilingSET profiling =1;关闭SET profiling =off;找到运行慢的sql语句IDshow pro

linux

mysql

percona

原创精选 2016-03-25 18:00:34 10000+阅读 1点赞 2评论

hadoop2集群搭建过程

在这里我选用4台机器进行示范，各台机器的职责如下表格所示（说明： 1. ZooKeepe使用其它节点的 2. Hadoop0节点安装所有的master, ha的matster全部是worker, 以达到较高的资源利用率，又对master的负载不会过高）Hadoop0 -> dchadoop206Hadoop1 -> dchadoop207Hadoop2 -> dcha

linux

hadoop

集群详细

原创精选 2016-03-22 19:03:19 5186 阅读

找出导致Mysql机器IO过高的SQL

近期一次mysql机器io过高导致入库缓慢，这里记录下解决和问题查找的过程。首先通过top看到wa比较高，wa意思是CPU花在等待IO上的时间占比，进而通过iostat -x 2看到如下图，rrqm/s: 每秒进行 merge 的读操作数目.即 delta(rmerge)/swrqm/s: 每秒进行 merge 的写操作数目.即 delta(wmerge)/s

linux

mysql

IO过高

原创 2016-03-18 19:58:08 9535 阅读

利用DNS主从实现高可用来管理线上主机hosts（一）

1、安装10.1.2.214的主机yum install bind bind-util2、主配置文件/etc/named.conf// // named.conf // // Provided by Red Hat bind package to configure t

linux

DNS

部署

原创 2016-03-18 18:40:30 1880 阅读

利用DNS主从实现高可用来管理线上主机hosts（二）

一、需求线上机器增多，管理/etc/hosts的IP与主机名映射，就成了一个瓶劲，虽然，也可利用批量工具来维护，但相比dns管理,效率会更高点二、以本机实验环境 IP地址： 10.1.2.214 master

linux

DNS

原创 2016-03-16 20:45:04 1012 阅读

利用ansible-cmdb统计主机配置信息并以web页面展出来

一、需求线上机器比较多，之前用excel统计过一次，用ansible批量执行脚本，然后根据展示信息来，手功录入到excel，效率可想而知。其他部门要查看主机信息，无法第一时间提供，所以，就在想，能不能以静态页面展示出来，放在apache的htdoc目录下。后面找到一个ansible-cmdb，很好解决了这个问题！二、Ansible配置管理数据库 A

cmdb

nux

ansible

原创精选 2016-03-14 12:54:55 10000+阅读 1评论

查找两个文件包含的字符串或不包含的字符串shell脚本

一、需求在这里，我简化一下，因为下午操作这两个文本都是10几万行，但只过滤出这两个文件中含有相同的或不同字符串PPID。二，步聚1、文件ha1a b c2、文件ha2a c d3、找出两个文件都包含有的字符串PPID 3.1过滤脚本#!/bin/sh #set -x SRC_FILE=$1 TARGET_FILE=$2 RESULT_F

linux

shell

原创 2016-03-11 21:19:02 4205 阅读

hdfs数据误删分析与恢复

linux

hadoop

hdfs

原创 2016-03-11 17:16:18 7486 阅读

Ganglia安装文档

一、需求：结合公司环境hadoop1.0和2.0集群，选择了Ganglia作为本公司集群监控项目二、Ganglia介绍1.Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通

linux hadoop gangli

原创 2016-03-02 15:11:46 2002 阅读

管道技巧-while read line

一、重定向法；管道法: cat $FILENAME | while read LINEFunction While_read_LINE(){cat $FILENAME | while read LINEdoecho $LINEdone} 注释：我只所有把这种方式叫做管道法，相比大家应该可以看出来了吧。当遇见管道的时候管道左边的命令

linux

shell

while read line

原创 2016-02-17 18:56:33 9628 阅读

ansible批量增加用户和设置密码

一、两种法批量增加用户和设置密码1、第一种 1.1 playbook--- - hosts: "`hosts`" gather_facts: false tasks: - name: Change password &n

ansible batch update

ansible set user pas

ansible add user

原创 2016-02-05 17:58:08 10000+阅读 2收藏

利用系统错误日志监控磁盘健康状况

一、故障现象这个星期出现了两块磁盘不能读写，后面通过系统日志查看，关键字“EXT4-fs error对应某个磁盘”，因此利用zabbix，把系统日志抓取出来，作告警！二、步聚1.机器太多，用到ansible的playbook，进行一次性推送2.定义key值,在/etc/zabbix/zabbix_agentd.conf.d/agentd.conf

zabbix

playbook

ansible

原创 2016-02-03 20:03:39 2334 阅读 1点赞

kafka + jstorm版本升级安装（三）

升级

安装

linux

kafka

jstorm

原创精选 2016-01-31 15:07:13 3881 阅读 1收藏

线上删除mysql数据脚本

一、需求线上有几个实例，经常磁盘告警，之前每次人工删除，效率实在不高。二、解决方法登录跳板机执行脚本删除，不过在删除前，需要导出binary log日志和库表的的数据，最后把备份的传数据传到hdfs。三、脚本读取配置文件 1.1 mysql.conf，哪些实例，哪些表名MYSQL_HOME=/usr/local/mysql/bin/m

mysql

mysql自动删除数据库脚本

原创推荐 2016-01-29 22:01:42 2055 阅读 1点赞 1收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯