蜷缩的蜗牛的博客_python,Mysql,Hadoop,自动化运维,MapReduce,Docker,网络监控,Hbase,elk,python,saltstack

运维管理平台开发思路

1应用技术后端Python3.7Django2.xCelery4.xSaltstackRestfulMysqlRedis前端jquerybootstrapbootstrap-tablebootstrap-fileinput2实现过程2.1CMDB资产管理2.1.1资产录入前端页面填写表单，提交数据到Django后台，通过DjangoOrm操作写入到Mysql数据库data_info={'id':1

saltstack

python

django

自动化运维

原创点赞0 阅读650 收藏0 评论0 2019-05-15

Hadoop集群问题集

1、bigdataisnotallowedtoimpersonatexxx原因：用户代理未生效。检查core-site.xml文件是否正确配置。<property><name>hadoop.proxyuser.bigdata.hosts</name><value>*</value></property><property

hadoop

问题集

原创点赞0 阅读2719 收藏0 评论0 2019-01-25

Hadoop分布式集群实战

HAdoop集群实战一:Zookeeper集群部署HAdoop集群实战二:Hadoop集群部署HAdoop集群实战三:Namenode高可用HA部署HAdoop集群实战四:Hbase集群部署HAdoop集群实战五:Hive集群部署HAdoop集群实战六:Kafka集群部署HAdoop集群实战七:Hive、Hbase集群整合...待更新HAdoop集群实战八:Hive、Hbase集群整合测试...待

hadoop

集群实战

原创点赞0 阅读1003 收藏0 评论0 2019-01-25

Tomcat配置性能管理服务--Elastic APM Server

一、基本架构 1、应用侧部署agent，负责应用性能和错误数据，支持node、python、ruby、js，java和golang beta版本；2、APM Server服务接受agent的打点数据，服务端将数据传输至Elasticsearch；3时Kibana提供了对APM显示的原生适配。二、安装配置 elasticsearch和kibana使用Docker快速安装，具体详细安装配置可查阅官网

系统

运维

Linux

原创点赞0 阅读8604 收藏0 评论0 2018-11-02

利用Google Authenticator实现用户双因素认证

一、介绍：什么是双因素认证　　双因素身份认证就是通过你所知道再加上你所能拥有的这二个要素组合到一起才能发挥作用的身份认证系统。双因素认证是一种采用时间同步技术的系统，采用了基于时间、事件和密钥三变量而产生的一次性密码来代替传统的静态密码。每个动态密码卡都有一个唯一的密钥，该密钥同时存放在服务器端，每次认证时动态密码卡与服务器分别根据同样的密钥，同样的随机参数（时间、事件）和同样的算法计算了认证的动

系统

运维

Linux

原创点赞2 阅读5681 收藏0 评论0 2018-05-07

Elasticsearch主要配置及性能调优

1、最小主节点数防止集群发生脑裂，计算方式：( master 候选节点个数 / 2) + 1可以通过修改配置文件elasticsearch.ymldiscovery.zen.minimum_master_nodes: 2或者通过api接口动态修改curl -XPUT 'http://127.0.0.1:9200/_cluster/settings' -d ' { "persistent"

系统

运维

Linux

原创点赞2 阅读10000+ 收藏0 评论0 2018-05-04

Docker 容器日志管理Fluentd

随着Docker容器广泛应用，，大规模运行的容器集群来说，日志不能集中管理是一件很痛苦的事情。不能合理的收集，管理检索应用日志，在应用发生了故障的时候将无法很好的追溯问题发生的原因。本文主要介绍Docker配置Fluentd进行日志管理1、快速启动Fluentd# docker run -d -p 24224:24224 -p 24224:24224/udp -v /data:/fluent

系统

运维

Linux

原创点赞2 阅读10000+ 收藏0 评论0 2018-05-03

COBBLER无人值守安装

1. Cobbler介绍 Cobbler是一个Linux服务器安装的服务，可以通过网络启动(PXE)的方式来快速安装、重装物理服务器和虚拟机，同时还可以管理DHCP，DNS等。 Cobbler可以使用命令行方式管理，也提供了基于Web的界面管理工具(cobbler-web)，还提供了API接口，可以方便二次开发使用。 Cobbler是较早前的kickstart的升级版，优点是比较容易配置，还

原创点赞0 阅读593 收藏1 评论0 2017-09-14

Docker 集群Swarm创建和Swarm Web管理

原创点赞0 阅读1870 收藏1 评论0 2017-08-20

Mysql备份脚本—mysqldump

1、脚本 #!/bin/bash #Script_Name: mysql_backup.sh #Author: 蜷缩的小蜗牛 #Site: www.along.party #Version: V0.1 #Purpose: Mysql Backup #Create_Time: 2017/07/25 DB_NAME=$1 BASE_PATH=`dirname $0` l

原创点赞0 阅读445 收藏0 评论0 2017-07-25

基于Docker、Jenkins和Saltstack的持续部署方案

一、基础环境 1、Centos7.2 # cat /etc/redhat-release CentOS Linux release 7.3.1611 (Core) 2、Docker版本《docker仓库安装》 # docker version Client: Version: 1.12.6 API version:

原创点赞0 阅读3465 收藏0 评论0 2017-07-21

使用Logstash multiline 收集PHP、tomcat等应用服务多行堆栈日志

很多时候应用程序出错是都是抛出一堆堆栈信息（即在日志文件输出多行），此时logstash可以使用multiline的插件收集日志时需要把错误堆栈信息收集为一个记录。multiline字面意思是多行,顾名思义就是对多行日志进行处理。 multiline配置与用法 input { stdin { codec => multiline { pattern =&g

原创点赞0 阅读1635 收藏0 评论0 2017-07-17

Django自定义用户表替换默认用户表认证

1、自定义用户表from django.db import models from django.contrib.auth.models import AbstractUser # Create your models here. class UserProfile(AbstractUs

其他

Django

原创点赞0 阅读4346 收藏0 评论0 2017-06-22

gitlab安装与简单配置

1、官网安装文档：https://about.gitlab.com/downloads/#centos7 sudo yum install curl policycoreutils openssh-server openssh-clients sudo systemctl enable sshd sudo&n

Nginx

gitlab

原创点赞0 阅读1559 收藏0 评论0 2017-05-31

Jenkins一些简单配置和配置Maven国内镜像仓库

最近在阿里云申请一台云主机测试Jenkins + Maven自动化持续部署，在构建过程中经常进程自动退出；由于申请测试的免费云主机配置较低，所以每次在构建的时候会发现访问主机就会变得很卡，最后进程退出。Jenkins权威指南文中描述：持续集成服务器会使用很多内存。构建会小号内存，多个构建并发运行也会消耗更多的内存。所有在不管你想要同事运行多少

Jenkins

Maven

国内镜像

原创点赞0 阅读8440 收藏0 评论0 2017-05-29

celery最佳实践

作为一个Celery使用重度用户，看到Celery Best Practices这篇文章，不由得菊花一紧。干脆翻译出来，同时也会加入我们项目中celery的实战经验。通常在使用Django的时候，你可能需要执行一些长时间的后台任务，没准你可能需要使用一些能排序的任务队列，那么Celery将会是一个非常好的选择。当把Celery作为一个任务队列用于很多项目中后，作者积累了一些最佳实践方式，譬

项目

文章

用户

菊花

转载点赞0 阅读638 收藏0 评论0 2017-05-10

ZABBIX配置自动添加端口监控，并触发重启服务

1、配置自动发现脚本 #!/bin/bash # ------------------------------------------------------------------------------- # Script_name: discovery_port.sh # Revision: 1.0 # Date: 2017/05/08 # Author:

style

color

原创点赞0 阅读1453 收藏0 评论0 2017-05-08

Linux 虚拟机--KVM安装和配置

一、配置环境软件包组： virtualization 提供虚拟机的环境，主要包含qemu-kvm virtualization-client 管理和安装虚拟机实例的客户端，主要有Python-virt

虚拟机

target

blank

原创点赞0 阅读1355 收藏0 评论0 2017-04-28

利用django admin后台配置celery定时任务

1、安装djcelery pip install django-celery 2、在Django项目setting配置 A、配置djcelery # CELERY STUFF import djcelery djcelery.setup_loader() BROKER_URL = 'redis://localhost:6379' CELERYB

admin

style

原创点赞0 阅读10000+ 收藏0 评论0 2017-04-20

利用Docker开启持续交付之路

持续交付即Continuous Delivery，简称CD，随着DevOps的流行正越来越被传统企业所重视。持续交付讲求以短周期、小细粒度，自动化的方式频繁的交付软件，在这个过程中要求开发、测试、用户体验等角色紧密合作，快速收集反馈，从而不断改善软件质量并减少浪费。然而，在我所接触的传统企业中，对于持续交付实践的实施都还非常初级，坦白说，大部分还停留的手工生成发布包，手工替换文件进行部署的阶段

软件

开发

手工

流行

角色

转载点赞0 阅读689 收藏0 评论0 2017-04-17

Docker 定制ssh、java等基础服务镜像

1、启动一个基于centos镜像的容器 # docker run –p 10022:22 -ti centos bash [root@f743588bbeef /]# -p: 本地端口映射容器22端口，是为了后面启动ssh后测试能否正常登陆 2、在容器中安装openssh-server、java等 [root@f743588bbeef /]# yum ins

java

style

color

原创点赞0 阅读971 收藏0 评论0 2017-04-17

Dokcer创建私有仓库、私有仓库Web管理

1、直接用Docker提供的镜像registry运行私有仓库 # docker run -d -p 5000:5000 -v /data/registry:/var/lib/registry --name registry --restart='always' registry -d : 后台运行 -p : 宿主机跟容器映射端口 SERVER_PORT:CO

style

color

registry

原创推荐点赞0 阅读2645 收藏1 评论0 2017-04-11

salt 2016.3.3版本 cp.push拉取minion端文件异常问题

今天在线上环境使用cp.push模块拉取minion端文件时，出现如下错误 # salt 192.168.xxx.xxx cp.push /etc/fstab 192.168.xxx.xxx: The minion function caused an exception: Traceback (most recent call last): File "

style

在线

原创点赞0 阅读1327 收藏0 评论0 2017-03-24

Zabbix自动添加Mysql多实例监控

1、定义每个实例的端口 cat mysql_port 3306 3307 3308 3309 3310 3311 3312 3313 2、给所有实例创建一个zabbix用户只允许本地访问，生产环境具体权限各位看官自己看着给吧O(∩_∩)O GRANT ALL PRIVILEGES ON *.* TO zabbix@'127.0.0.1' IDENTIFIED

监控

style

color

原创点赞1 阅读1341 收藏1 评论1 2017-03-09

Mysql占用大量写I/O

早上收到zabbix告警，发现某台存放监控数据的数据库主机CPU的IOwait较高，一直持续较长时间。登录服务器查看磁盘IO发现队列高达90%多，而且经常反复如此通过iotop查看发现占用io较大的进程是mysql 登录mysql查看show processlist，发现基本上每次io队列较高时都是在insert时，以为是插入语句有问题，于是打

display

blank

border

原创点赞0 阅读1020 收藏0 评论0 2017-03-07

Telegraf + InfluxDB收集系统性能，Grafana图形展示

一、telegraf简介： Telegraf 是一个用 Go 编写的代理程序，可收集系统和服务的统计数据，并写入到 InfluxDB 数据库。 Telegraf 具有内存占用小的特点，通过插件系统开发人员可轻松添加支持其他服务的扩展。官网地址：https://docs.influxdata.com/telegraf/v1.2/introduction/getting_sta

数据库

target

blank

原创点赞0 阅读2805 收藏1 评论0 2017-03-02

InfluxDB

一、InfluxDB简介 InfluxDB 是一个开源分布式时序、事件和指标数据库。使用 Go 语言编写，无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。它有三大特性： 1. Time Series （时间序列）：你可以使用与时间有关的相关函数（如最大，最小，求和等） 2. Metrics（度量）：你可以实时对大量数据进行计算 3. Eevents（事件）：它支持任意的事

Series

target

blank

原创点赞0 阅读490 收藏0 评论0 2017-03-02

查看服务器型号、SN、Raid等信息

一、查看服务器型号安装dmidecode yum install dmidecode 1、查看服务器型号、SN信息 # dmidecode -t 1 # dmidecode 2.11 SMBIOS 2.7 present. Handle 0x0024, DMI type 1, 27 bytes System Information Manufa

服务器

style

cccccc

原创点赞0 阅读2513 收藏0 评论0 2017-02-24

Ipmi 远程管理工具

1、安装ipmi工具 # yum -y install OpenIPMI OpenIPMI-tools # chkconfig impi on # service ipmi start 2、修改IDRAC的网络配置 # ipmitool -I open lan set 1 ipaddr 10.128.10.123 # ipmitool -I open lan s

管理工具

style

color

cccccc

转载点赞0 阅读2199 收藏0 评论0 2017-02-18

jenkins安装简要说明

1、配置JAVA环境变量 # mkdir /usr/local/java/ –p # cd /usr/local/java/ # tar zxvf /data/elk5.0/jdk-8u111-linux-x64.tar.gz # cat >>/etc/profile<<EOF export JAVA_HOME=/usr/local/

local

color

cccccc

原创点赞1 阅读1206 收藏0 评论2 2017-02-15

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客

蜷缩的蜗牛