zouqingyun的博客_Mysql,数据库,大数据,Linux,软考,项目管理,互联网运营,企业管理,信息化,Routing & Switc,linux,monitoring

我的友情链接

51CTO博客开发技术dxiaofei821025.blog.163.comNot Only Linux吟—技术交流楊雲实践检验真理Free Linux, Share Linux老徐的私房菜李振良的技术博客爱维Linux张宇(数据恢复)朴实的追梦者

原创点赞0 阅读938 收藏0 评论0 2017-11-22

python实现磁盘日志清理

一、描述：以module的方式组件python代码，在磁盘文件清理上复用性更好二、达到目标：清空过期日志文件，清理掉超过自定大小日志文件三、原码#!/usr/bin/env python # -*- coding: utf-8 -*- import commands import&nb

disk

python

delet

原创点赞1 阅读10000+ 收藏3 评论0 2017-02-12

ansible-playbook之修改ssh端口和limits参数控制

一、描述拿到一批机器，需要做首先是修改ssh端口，防火墙配置，以及limits.conf控制文件描述符，进程数，栈大小等。二、剧本如下：--- - hosts: "{{ host }}" remote_user:&

ssh

port

ansible

原创点赞0 阅读10000+ 收藏0 评论0 2016-12-22

ansible-playbook批量部署zabbix

一、需求机房每次增加一批服务器，一些初始环境变量，监控端，脚本，时间校对，配置文件参数等一系修改操作，刚开始按步就班，也用到一些脚本完成，但高效性没能体现出来。现在升级到ansible,自动化部署应用，配置，编排task，把平常复杂工作变得简单，同时使得运维工作上更加标准化和控制！二、剧本实现以下是以zabbix案例来操作！---

批量

同步

ansible

原创精选点赞0 阅读4605 收藏2 评论0 2016-12-14

ansible 下lineinfile详细使用

一、简述这几天在看了ansible官网，收获蛮多。截取一个lineinfile模块作一个总结。如果批量修改配置文件某一行时，在写playbook时lineinfile避免不了的。根据官网说法：lineinfile - Ensure a particular line is in a file, or replace an exis

validate

ansible

lineinfile

原创推荐点赞4 阅读10000+ 收藏0 评论0 2016-12-13

application master 持续org.apache.hadoop.ipc.Client: Retrying connect to server

一、问题现象某一个nodemanager退出后，导致 application master中出现大量的如下日志，并且持续很长时间，application master才成功退出。2016-06-24 09:32:35,596 INFO [ContainerLauncher #3] org.apache.hadoop.ip

hadoop

yarn.client

nodemanger

application master

org.apache.hadoop.ip

原创精选点赞0 阅读4338 收藏0 评论0 2016-12-09

could't create native thread的问题跟踪

一、问题描述之前因为java.lang.OutOfMemoryError: unable to create new native thread设置了Xss参数，见http://zouqingyun.blog.51cto.com/782246/1879975nodeManager仍然出现该异常，同时map-reduce的任务中也出现该异常二、一些现象 &nb

hadoop

hdfs

yarn

原创精选点赞0 阅读3692 收藏0 评论0 2016-12-06

namenode ha切换优化

一、背景目前namenode使用了ha的部署模式，但系统会经常出现ha的自动切换（namenode节点其实正常）。经过调研发现可能的原因如下： HealthMonitor check本地namenode的rpc端口时超时，导致HealthMonitor认为namenode挂掉。zk上的session timeout，导致丢掉当前持有的active锁（temp节点），引起自动切换。二、优化下面

ha

hadoop

namenode

原创精选点赞1 阅读5275 收藏1 评论0 2016-12-01

将多行文件转换为一行

一、需求：把这些数据库文件转换成一行，然后用scp -r 一次性作拷贝。二、实例[root@mysql5 ~]# cat /tmp/1 ga_10122 ga_10589 ga_11053 ga_11238 ga_11559 ga_11944 ga_12193 ga_13542 ga_35179 ga_36013 ga_36063 ga_36575 ga_36737

BEGIN

awk

RS

原创点赞0 阅读969 收藏0 评论0 2016-11-28

$0, $#, $*, $@, $?, $$和命令行参数

$0 当前脚本的文件名 $n 传递给脚本或函数的参数。n 是一个数字，表示第几个参数。例如，第一个参数是$1，第二个参数是$2。 $# 传递给脚本或函

$0

$@

$#

$*

$?

$$

原创点赞0 阅读1337 收藏0 评论0 2016-11-28

配置ssh公钥登录提示还是输入密码

一、知识点补充：在客户端来看，SSH提供两种级别的安全验证第一种级别（基于密码的安全验证），知道帐号和密码，就可以登录到远程主机，并且所有传输的数据都会被加密。第二种级别（基于密钥的安全验证），需要依靠密钥，也就是你必须为自己创建一对密钥，并把公有密钥放在需要访问的服务器上。二、问题描述集群一台主节点master,用到第二种级别，运行的用户是hadoop2，现在配置了公钥登录后，ssh连接还是显示

ssh

password

公钥

原创点赞2 阅读10000+ 收藏1 评论1 2016-11-18

自动打包mysql下binlog日志

一、需求线上一台机器做了rsync,从5台mysql机器拉取binlog日志到本地，之前是手动打包，现在写了个脚本，放到crontab定期执行打包，并删除打包后的的文件。二、脚本如下#!/bin/sh # usage: # nohup sh /tmp/backup_binlog_tar.sh > nohup.out&nb

linux

mysql

tar

原创精选点赞1 阅读1736 收藏1 评论0 2016-11-14

xtrabackup的mysql备份脚本（一）

一、安装xtrabackup工具安装方法见：xtrabackup安装# wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.1/binary/tarball/percona-xtrabackup-2.4.1-Linux-x86_64.tar.gz # mv per

mysql

shell

innodb

原创精选点赞0 阅读2160 收藏1 评论0 2016-08-25

docker常见问题汇总

一、需求公司本地环境上了xen和kvm，但上周，CTO跑过来跟我说，你这几天熟悉一下docker,公司打算利用docker做自动化持续集成，和快速部署，原有测试环境，可以先跑着。我想起去年，申请购入一本docker入门书，然后用了一个星期看完了，也总算有初步认识与运用。正如前人所说，好记性不如烂笔头，我一般看完一本书，都会总结一下。以下书里讲到，我把它敲下来

linux

docker

docker 问题汇总

docker常见问汇总

转载精选点赞0 阅读6881 收藏0 评论0 2016-06-02

测试环境机器部署图

一、需求在本地上部署了两套环境，一套用于开发环境，另一套用于测试环境。在这里，我抽其测试这套环境，做了个总结，具体安装步聚，在这里不作详细解释，如果需要，我可以提供一份我总结文档作参考。每套环境上用到了11台机器，注意了，在这里用到全部是cdm5.5.0版本http://archive.cloudera.com/cdh5/cdh/5/二、集群规划1、测试集群2、实时环境三、依赖关系说

hadoop

原创精选点赞0 阅读2492 收藏2 评论0 2016-05-17

150个节点的本地机房建设解决方案

一、本地机房去年进来公司时，才二十人，到现在发展到100号人。当时办公室还是蛮小，至多容纳40号人办公。到了7月份，公司计划就要搬迁办公室。鉴于当时办公环境，其实傻瓜交换机与路由，加上网线与电话线相互缠绕，跟一个蜘蛛网似的，掉线，也是常有发生。当超过40号人，去查看路由负裁，100%，能连上网，但掉包极为严重。鉴于，这种情况，建一个稳定的本地办公机房环境，就非常有必要了。二、机器选型

机房

交换

h3c

原创推荐点赞6 阅读5321 收藏1 评论11 2016-04-05

KVM实例应用

一、需求公司近一台DELL T460机器回来，虚拟30台来跑hadoop集群测试的，虚拟化用的KVM技术，这当中第一次使用，在部署安装过程，入了不少坑。故把整个过程写下来。二、部署步聚1、所需要软件[root@KVM qemu]# rpm -qa | grep -E 'qemu|libvirt|virt' virt-what-1

linux

部署

kvm

散人

virsh

原创点赞0 阅读1799 收藏0 评论0 2016-03-31

MySql语句性能问题定位--从sql语句到磁盘IO检查

一、背景本文只针对IO导致MySql性能问题的定位，其他如CPU、MySql参数配置、程序自身等问题需要进一步补充。原因某条sql建表语句运行了15秒二、步聚Step1:开启profilingSET profiling =1;关闭SET profiling =off;找到运行慢的sql语句IDshow pro

linux

mysql

percona

原创精选点赞1 阅读10000+ 收藏0 评论2 2016-03-25

hadoop2集群搭建过程

在这里我选用4台机器进行示范，各台机器的职责如下表格所示（说明： 1. ZooKeepe使用其它节点的 2. Hadoop0节点安装所有的master, ha的matster全部是worker, 以达到较高的资源利用率，又对master的负载不会过高）Hadoop0 -> dchadoop206Hadoop1 -> dchadoop207Hadoop2 -> dcha

linux

hadoop

集群详细

原创精选点赞0 阅读5068 收藏0 评论0 2016-03-22

找出导致Mysql机器IO过高的SQL

近期一次mysql机器io过高导致入库缓慢，这里记录下解决和问题查找的过程。首先通过top看到wa比较高，wa意思是CPU花在等待IO上的时间占比，进而通过iostat -x 2看到如下图，rrqm/s: 每秒进行 merge 的读操作数目.即 delta(rmerge)/swrqm/s: 每秒进行 merge 的写操作数目.即 delta(wmerge)/s

linux

mysql

IO过高

原创点赞0 阅读8635 收藏0 评论0 2016-03-18

利用DNS主从实现高可用来管理线上主机hosts（一）

1、安装10.1.2.214的主机yum install bind bind-util2、主配置文件/etc/named.conf// // named.conf // // Provided by Red Hat bind package to configure t

linux

DNS

部署

原创点赞0 阅读1727 收藏0 评论0 2016-03-18

利用DNS主从实现高可用来管理线上主机hosts（二）

一、需求线上机器增多，管理/etc/hosts的IP与主机名映射，就成了一个瓶劲，虽然，也可利用批量工具来维护，但相比dns管理,效率会更高点二、以本机实验环境 IP地址： 10.1.2.214 master

linux

DNS

原创点赞0 阅读858 收藏0 评论0 2016-03-16

利用ansible-cmdb统计主机配置信息并以web页面展出来

一、需求线上机器比较多，之前用excel统计过一次，用ansible批量执行脚本，然后根据展示信息来，手功录入到excel，效率可想而知。其他部门要查看主机信息，无法第一时间提供，所以，就在想，能不能以静态页面展示出来，放在apache的htdoc目录下。后面找到一个ansible-cmdb，很好解决了这个问题！二、Ansible配置管理数据库 A

cmdb

nux

ansible

原创精选点赞0 阅读10000+ 收藏0 评论1 2016-03-14

查找两个文件包含的字符串或不包含的字符串shell脚本

一、需求在这里，我简化一下，因为下午操作这两个文本都是10几万行，但只过滤出这两个文件中含有相同的或不同字符串PPID。二，步聚1、文件ha1a b c2、文件ha2a c d3、找出两个文件都包含有的字符串PPID 3.1过滤脚本#!/bin/sh #set -x SRC_FILE=$1 TARGET_FILE=$2 RESULT_F

linux

shell

原创点赞0 阅读3480 收藏0 评论0 2016-03-11

hdfs数据误删分析与恢复

linux

hadoop

hdfs

原创点赞0 阅读7240 收藏0 评论0 2016-03-11

Ganglia安装文档

一、需求：结合公司环境hadoop1.0和2.0集群，选择了Ganglia作为本公司集群监控项目二、Ganglia介绍1.Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通

linux hadoop gangli

原创点赞0 阅读1814 收藏0 评论0 2016-03-02

管道技巧-while read line

一、重定向法；管道法: cat $FILENAME | while read LINEFunction While_read_LINE(){cat $FILENAME | while read LINEdoecho $LINEdone} 注释：我只所有把这种方式叫做管道法，相比大家应该可以看出来了吧。当遇见管道的时候管道左边的命令

linux

shell

while read line

原创点赞0 阅读8804 收藏0 评论0 2016-02-17

ansible批量增加用户和设置密码

一、两种法批量增加用户和设置密码1、第一种 1.1 playbook--- - hosts: "`hosts`" gather_facts: false tasks: - name: Change password &n

ansible batch update

ansible set user pas

ansible add user

原创点赞0 阅读10000+ 收藏1 评论0 2016-02-05

利用系统错误日志监控磁盘健康状况

一、故障现象这个星期出现了两块磁盘不能读写，后面通过系统日志查看，关键字“EXT4-fs error对应某个磁盘”，因此利用zabbix，把系统日志抓取出来，作告警！二、步聚1.机器太多，用到ansible的playbook，进行一次性推送2.定义key值,在/etc/zabbix/zabbix_agentd.conf.d/agentd.conf

zabbix

playbook

ansible

原创点赞1 阅读1998 收藏0 评论0 2016-02-03

kafka + jstorm版本升级安装（三）

升级

安装

linux

kafka

jstorm

原创精选点赞0 阅读3567 收藏1 评论0 2016-01-31

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签