从头开始学编程的最近发布

我的友情链接

51CTO博客开发技术dxiaofei821025.blog.163.comNot Only Linux吟—技术交流楊雲实践检验真理Free Linux, Share Linux老徐的私房菜李振良的技术博客爱维Linux张宇(数据恢复)朴实的追梦者

原创 2017-11-22 23:08:07 986 阅读

python实现磁盘日志清理

一、描述：以module的方式组件python代码，在磁盘文件清理上复用性更好二、达到目标：清空过期日志文件，清理掉超过自定大小日志文件三、原码#!/usr/bin/env python # -*- coding: utf-8 -*- import commands import&nb

disk

python

delet

原创 2017-02-12 15:26:10 10000+阅读 1点赞 3收藏

ansible-playbook之修改ssh端口和limits参数控制

一、描述拿到一批机器，需要做首先是修改ssh端口，防火墙配置，以及limits.conf控制文件描述符，进程数，栈大小等。二、剧本如下：--- - hosts: "{{ host }}" remote_user:&

ssh

port

ansible

原创 2016-12-22 11:45:40 10000+阅读

ansible-playbook批量部署zabbix

一、需求机房每次增加一批服务器，一些初始环境变量，监控端，脚本，时间校对，配置文件参数等一系修改操作，刚开始按步就班，也用到一些脚本完成，但高效性没能体现出来。现在升级到ansible,自动化部署应用，配置，编排task，把平常复杂工作变得简单，同时使得运维工作上更加标准化和控制！二、剧本实现以下是以zabbix案例来操作！---

批量

同步

ansible

原创精选 2016-12-14 18:47:03 4739 阅读 2收藏

ansible 下lineinfile详细使用

一、简述这几天在看了ansible官网，收获蛮多。截取一个lineinfile模块作一个总结。如果批量修改配置文件某一行时，在写playbook时lineinfile避免不了的。根据官网说法：lineinfile - Ensure a particular line is in a file, or replace an exis

validate

ansible

lineinfile

原创推荐 2016-12-13 18:02:31 10000+阅读 4点赞

application master 持续org.apache.hadoop.ipc.Client: Retrying connect to server

一、问题现象某一个nodemanager退出后，导致 application master中出现大量的如下日志，并且持续很长时间，application master才成功退出。2016-06-24 09:32:35,596 INFO [ContainerLauncher #3] org.apache.hadoop.ip

hadoop

yarn.client

nodemanger

application master

org.apache.hadoop.ip

原创精选 2016-12-09 17:41:57 4710 阅读

could't create native thread的问题跟踪

一、问题描述之前因为java.lang.OutOfMemoryError: unable to create new native thread设置了Xss参数，见http://zouqingyun.blog.51cto.com/782246/1879975nodeManager仍然出现该异常，同时map-reduce的任务中也出现该异常二、一些现象 &nb

hadoop

hdfs

yarn

原创精选 2016-12-06 14:31:19 3924 阅读

namenode ha切换优化

一、背景目前namenode使用了ha的部署模式，但系统会经常出现ha的自动切换（namenode节点其实正常）。经过调研发现可能的原因如下： HealthMonitor check本地namenode的rpc端口时超时，导致HealthMonitor认为namenode挂掉。zk上的session timeout，导致丢掉当前持有的active锁（temp节点），引起自动切换。二、优化下面

ha

hadoop

namenode

原创精选 2016-12-01 15:35:45 6219 阅读 1点赞 1收藏

将多行文件转换为一行

一、需求：把这些数据库文件转换成一行，然后用scp -r 一次性作拷贝。二、实例[root@mysql5 ~]# cat /tmp/1 ga_10122 ga_10589 ga_11053 ga_11238 ga_11559 ga_11944 ga_12193 ga_13542 ga_35179 ga_36013 ga_36063 ga_36575 ga_36737

BEGIN

awk

RS

原创 2016-11-28 14:46:38 1284 阅读

$0, $#, $*, $@, $?, $$和命令行参数

$0 当前脚本的文件名 $n 传递给脚本或函数的参数。n 是一个数字，表示第几个参数。例如，第一个参数是$1，第二个参数是$2。 $# 传递给脚本或函

$0

$@

$#

$*

$?

$$

原创 2016-11-28 12:26:40 1561 阅读

配置ssh公钥登录提示还是输入密码

一、知识点补充：在客户端来看，SSH提供两种级别的安全验证第一种级别（基于密码的安全验证），知道帐号和密码，就可以登录到远程主机，并且所有传输的数据都会被加密。第二种级别（基于密钥的安全验证），需要依靠密钥，也就是你必须为自己创建一对密钥，并把公有密钥放在需要访问的服务器上。二、问题描述集群一台主节点master,用到第二种级别，运行的用户是hadoop2，现在配置了公钥登录后，ssh连接还是显示

ssh

password

公钥

原创 2016-11-18 17:27:22 10000+阅读 2点赞 1收藏 1评论

自动打包mysql下binlog日志

一、需求线上一台机器做了rsync,从5台mysql机器拉取binlog日志到本地，之前是手动打包，现在写了个脚本，放到crontab定期执行打包，并删除打包后的的文件。二、脚本如下#!/bin/sh # usage: # nohup sh /tmp/backup_binlog_tar.sh > nohup.out&nb

linux

mysql

tar

原创精选 2016-11-14 15:10:58 2059 阅读 1点赞 1收藏

xtrabackup的mysql备份脚本（一）

一、安装xtrabackup工具安装方法见：xtrabackup安装# wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.1/binary/tarball/percona-xtrabackup-2.4.1-Linux-x86_64.tar.gz # mv per

mysql

shell

innodb

原创精选 2016-08-25 13:12:28 2299 阅读 1收藏

docker常见问题汇总

一、需求公司本地环境上了xen和kvm，但上周，CTO跑过来跟我说，你这几天熟悉一下docker,公司打算利用docker做自动化持续集成，和快速部署，原有测试环境，可以先跑着。我想起去年，申请购入一本docker入门书，然后用了一个星期看完了，也总算有初步认识与运用。正如前人所说，好记性不如烂笔头，我一般看完一本书，都会总结一下。以下书里讲到，我把它敲下来

linux

docker

docker 问题汇总

docker常见问汇总

转载精选 2016-06-02 20:44:38 7185 阅读

测试环境机器部署图

一、需求在本地上部署了两套环境，一套用于开发环境，另一套用于测试环境。在这里，我抽其测试这套环境，做了个总结，具体安装步聚，在这里不作详细解释，如果需要，我可以提供一份我总结文档作参考。每套环境上用到了11台机器，注意了，在这里用到全部是cdm5.5.0版本http://archive.cloudera.com/cdh5/cdh/5/二、集群规划1、测试集群2、实时环境三、依赖关系说

hadoop

原创精选 2016-05-17 18:40:25 3004 阅读 2收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

散人