ljl_19880709的博客_Mysql,Linux,云计算,负载均衡,操作系统,虚拟化,Red Hat,Web服务器,Linux 基础知识,Linux 集群应用,Linux 监控系统原创

我的友情链接

51CTO博客开发吟—技术交流史振宁的技术博客MIKE老毕的海贼船www.kisspuppet.com没有伞的孩子必须努力奔跑马哥教育Linux老男孩linux运维抚琴煮酒Ro の博客实践检验真理

原创 2017-11-22 23:11:02 558 阅读

Spark On Yarn实战

这里已经部署好hadoop环境，以及spark环境如下：192.168.1.2 master[hadoop@master ~]$ jps 2298 SecondaryNameNode 2131 NameNode 2593 JobHistoryServer 4363 Jps 3550 HistoryServer 248

实战

spark on yarn

原创 2015-03-25 13:26:02 10000+阅读

Spark集群独立模式HA

一、Spark简介：Spark是一种与Hadoop相似的开源集群计算环境Spark基于MR算法实现的分布式计算，拥有Hadoop MR的优点，不同的是结果保存在内存中Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReduce快40倍左右Spark是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架Spark兼容Hadoop的API，能够读写Hadoop的HD

HA

spark部署

scala编程

原创 2015-03-21 17:46:20 3980 阅读

Hadoop、Hbase完全分布式搭建

一、Hadoop1.0到2.0的架构变化1、Hadoop 2.0由HDFS、MapReduce和YARN三个分支构成2、HDFSNN Federation、HA3、MapReduce运行在YARN上的MR4、YARN资源管理系统二、HDFS 2.01、解决HDFS 1.0中单点故障和内存受限问题。2、解决单点故障 HDFS HA通过主备NameNode解决 &n

hadoop

大数据

hbase

yarn

原创推荐 2015-03-21 16:24:03 5508 阅读 1收藏

Python调用zabbix api 接口

#!/usr/bin/env python # -*- coding: utf-8 -*- import json import urllib2 import sys class zabbixtools: def

接口

python

zabbix

原创 2014-09-26 17:39:12 2448 阅读 1点赞

Zabbix分布式监控

一、概述zabbix的三种架构:1、Server-agent2、Server-node-agent3、Server-proxy-agentServer-proxy-agent：proxy，用于本区域数据收集，并将数据发送给server；Server-node-agent：node，提供完整的zabbix-server用以建立分布式监控中的层级；Proxy和Node的比较：Node本身是一台Serv

Zabbix分布式监控

原创 2014-04-16 18:02:36 1563 阅读 1点赞 1评论

Zabbix发现、自动注册和web监控

一、网络发现网络发现是zabbix最具特色的功能之一，它能能够根据用户事先定义的规则自动添加监控主机或服务等，Zabbix的网络发现功能可以基于：IP ranges、Availability of external services(FTP、SSH、WEB、POP3、IMAP、TCP、etc)、Information recevived from zabbix agent、Information

Zabbix发现、自动注册和web监控

原创推荐 2014-04-16 12:47:45 4917 阅读 4点赞 1收藏 1评论

Zabbix自定义监控详解

一、使用zabbix_agent的UserParameter可以自定义监控指标，这里以监控nginx连接数为例首先nginx，需要打开status[root@node1 ~]# vi /etc/nginx/nginx.conf location /status { stub_status on; access_log off; }打开

Zabbix自定义监控详解

原创 2014-04-16 10:29:07 1514 阅读 2点赞 1评论

Zabbix安装配置详解

一、Zabbix组件概述1、Zabbix Server：负责接收agent发送的报告信息的核心组件，所有配置，统计数据及操作数据均由其组织进行；2、Database Storage：专用于存储所有配置信息，以及由zabbix收集的数据；3、Web interface：zabbix的GUI接口，通常与Server运行在同一台主机上；4、Proxy：可选组件，常用于分布监控环境中，代理Server收集

Zabbix安装配置详解

原创 2014-04-15 15:31:20 1539 阅读 1点赞

Puppet master/agent模型详解

一、Puppet master/agent模型puppet通过在master端启动puppetmaster服务来接受agent客户端的请，在/etc/puppet/manifest/site.pp中通过客户端的FQDN来定义每个agent所有应用的class,首次启动puppet守护进程时，其会自动进行运行环境的初始化，创建一个本地CA及服务器端相关的证书和密钥等。初始化操作完成后，p

Puppet master/agent

原创 2014-04-14 14:09:22 2284 阅读 1点赞

Puppet条件语句，class，module的使用

一、Puppet条件语句和类 Puppet2.7系列的版本支持使用3种条件判断语句，包括：if，case，selector，puppet也支持使用class是用于通用目标的一组资源，因此，它是命名的代码块，在某位置创建之后可在puppet全局使用，类似于其他编程语言中类的功能，puppet的class可以被继承，也可以包含子类。二、Puppet模块 &nbs

class

Puppet条件语句

module的使用

原创 2014-04-13 15:43:37 3385 阅读 1点赞

Puppet常用资源使用详解

一、关于Puppetpuppet是一个IT基础设施自动化管理工具，它能够帮助系统管理员管理基础设施的整个生命周期：供应(provisioning)、配置（configuration)、联动(orchestration)及报告(reporting)，基于puppet，可以实现自动化重复任务，快速部署关键性应用以及在本地或云端完成主动管理变更和快速扩展架构规模等。puppet资源如果把OS的所有配置，

Puppet常用资源使用详解

原创 2014-04-13 12:17:58 1192 阅读

MogileFS高可用分布式文件系统详解

一、关于MogileFS MongileFS是一个由Perl开发的分布式文件系统，遵循CAP理论，即Consistency：数据的一致性；Availability：数据的可用性；Tolerance of network Partition：数据的容错性；而这里的MongileFS满足了后俩者，也就是只满足数据的可用性和容错性，对于大型网站，数据的可用性和容错性要优先于数据的一致性。MongileF

MogileFS

nginx-mogilefs高可用分布

原创 2014-04-10 17:50:36 2922 阅读 2点赞

MySQL 5.6.13基于MySQL-Proxy的读写分离

一、MySQL-Proxy简介MySQL-Proxy是处在MySQL数据库客户和服务端之间的一个中间件，支持嵌入性脚本语言lua，可以用来分析，监控和变换通信数据，支持使用的场景包括：负载均衡和故障转移处理，查询分析日志，查询重写等。MySQL Proxy更强大的一项功能是实现“读写分离（Read/Write Splitting）”。基本的原理是让主数据库处理事务性查询，而从数据库处理SELECT

MySQL 5.6.13基于MySQL-

原创 2014-04-09 18:59:28 2455 阅读

MySQL 5.6.13 GTID复制，以及基于Amoeba实现读写分离

一、MySQL 5.6介绍MySQL 5.6引入的GTID(Global Transaction IDs)使得其复制功能的配置、监控及管理变得更加易于实现，且更加健壮。复制功能的改进：1、支持多线程复制，指的是针对每个database开启相应的独立线程。2、支持启用GTID，就是每个mysql服务器都一个全局的事务ID，GTID，这个是由每个服务器的UUID（唯一的）和server_id组成的，m

MySQL 5.6基于GTID的复制

以及Amoeba读写分离的实现

原创推荐 2014-04-09 15:23:58 1667 阅读 2点赞 3评论

Varnish配置详解

一、关于Varnish1、varnish系统架构varnish主要运行两个进程：Management进程和Child进程(也叫Cache进程)。Management进程主要实现应用新的配置、编译VCL、监控varnish、初始化varnish以及提供一个命令行接口等。Management进程会每隔几秒钟探测一下Child进程以判断其是否正常运行，如果在指定的时长内未得到Child进程的回应，Man

varnish配置详解

原创推荐 2014-04-08 15:16:40 1522 阅读 1点赞

Apache反向代理Tomcat集群，以及session复制

一、Apache反向代理介绍Apache可以通过mod_jk和mod_proxy模块跟Tomcat整合，mod_proxy只能在apache 2.2.x系列的版本才能直接提供，它可以提供更丰富的功能和安全性；而对于apache1.3.x和2.0.x来说mod_jk才更合适，这俩种方式都可以使用tomcat内置的ajp和http类型的连接器来实现apache代理tomcat集群。二、实验的环境:19

使用Apache反向代理tomcat集群

原创推荐 2014-04-04 19:26:36 2159 阅读 2点赞

haproxy配置详解以及动静分离的实现

一、前面已经介绍过关于haproxy的工作特性了，本文主要介绍下haproxy如何来实现web应用的动静分离的，主要思路就是通过frontend段中定义acl访问控制，把符合静态内容的请求归类到一个acl，符合动态的请求归类到另外一个acl,backend段中定义接收请求的静态内容和动态内容的服务器，然后通过use_backend调用定义的acl即可。二、实验环境：192.168.30.116 O

haproxy配置详解以及动静分离的实现

原创推荐 2014-04-03 14:29:20 1248 阅读 1点赞 1评论

haproxy特性详解

一、haproxy简介haproxy是一个提供高可用性，负载均衡的应用代理，支持的协议有TCP,HTTP，并且支持虚拟主机，特别适用于那些负载量大的web应用，这些应用通常需要会话保持或者七层处理，HAProxy实现了一种事件驱动、单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。事件驱动模型因为在有更好的资源和

haproxy特性详解

原创 2014-04-03 13:09:28 1115 阅读

keepalived实现haproxy高可用详解

一，keepalived介绍keepalived是一个可以实现某些资源高可用的开源软件，其主要的组件包括core，check，vrrp，libipfwc，libipvs，这里说下各个组件的功能。core：keepalived的核心组件，负责主进程的启动和维护以及加载解析配置文件等。check：负责healthchecker,负责各种健康检查方式，和对应的配置解析以及LVS的配置解析。vrrp：vr

keepalived实现haproxy高

原创推荐 2014-04-02 17:39:17 1695 阅读 1点赞

RHCS，GFS2，ISCSI，CLVM实现共享可扩展集群存储

一，GFS2简介GFS2是一个基于GFS的先进的集群文件系统，能够同步每台主机的集群文件系统的metadata，能够进行文件锁的管理，并且必须要redhat cluster suite支持，GFS2可以grow，进行容量的调整,不过这是在disk动态容量调整的支持下，也就是本文所要实现的CLVM。实验环境：192.168.30.119 tgtd.luojianlong.com &nbs

RHCS实现GFS2高可用集群文件系统以

原创推荐 2014-04-01 18:33:48 3060 阅读 1点赞 2评论

SCSI存储详解以及Linux下ISCSI的实现

一，概述SCSI最初是一种专门为小型计算机系统设计的I/O技术，但由于其架构和协议自身的优点，后被广泛应用于实现DAS以及SAN的底层技术。SCSI的定义：SCSI: Small Computer System InterfaceSCSI是一种I/O技术SCSI规范了一种并行的I/O总线和相关的协议SCSI的数据传输是以块的方式进行的SCSI的特点：设备无关性多设备并行高带宽低系统开销SCSI总线

SCSI存储详解以及Linux下ISCS

原创 2014-04-01 12:38:14 2674 阅读 1点赞 1评论

MySQL-5.5.33主从复制，半同步复制，以及基于SSL的复制

一，Mysql复制概述Mysql内建的复制功能是构建大型，高性能应用程序的基础。将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从服务器的

半同步复制

Mysql-5.5.33主从复制

以及基于SSL的复制

原创 2014-03-31 13:09:36 664 阅读 1收藏

Mongodb复制集以及sharding的实现

一，概述mongodb是一个典型的文档型nosql数据库，下面说一下Nosql包括的几大类型数据库：NoSQL的数据存储模型键值模型：数据模型：key-value存储优点：查找速度快缺点：数据无结构，通常只被当作字符串或二进制数据应用场景：内容缓存实例：Redis, Dynamo列式模型：数据模型：数据按列存储，将同一列数据存在一起；优点：查找迅速、可扩展性强、易于实现分布式；缺点：功能相对SQL

Mongodb复制集以及sharding

原创推荐 2014-03-30 20:17:10 2007 阅读 1点赞

cman，rgmanager高可用集群方案

一，概述 Cluster manager 简称CMAN，是一个分布式集群管理工具，运行在集群的各个节点上，为RHCS提供集群管理任务。它用于管理集群成员、消息和通知。它通过监控每个节点的运行状态来了解节点成员之间的有关系。当集群中某个节点出现故障时，节点成员关系将发生改变，CMAN及时将这种改变通知底层，进而做出相应的调整。 CMAN根据每个节点

cman

rgmanager高可用集群实现

原创 2014-03-27 12:08:44 6209 阅读 1收藏

基于corosync，pacemaker和drbd提供mariadb高可用

1.DRBD基本介绍DRBD是一种分布式复制块设备基于软件，实现镜像存储的解决方案，支持的块设备包括硬盘，分区，逻辑卷等，DRBD技术的核心功能是通过一个Linux内核模块的方式实现的。DRBD命令工具包括：drbdadm：DRBD程序套件的高层次管理工具，它从配置文件中的所有DRBD配置参数。drbdsetup：允许用户配置已经加载到正在运行的内核的DRBD模块的程序，它是DRBD程序套件中的底

基于pacemaker和drbd提供ma

原创推荐 2014-03-26 10:14:14 1888 阅读 1点赞 2评论

pcs命令使用

创建web服务资源：[root@node1 ~]# pcs resource create http lsb:httpd op monitor interval=20 timeout=20 on-fail=restart创建文件系统资源[root@node1 ~]# pcs resource create webstore ocf:heartbeat:Filesystem params devic

pcs命令使用

原创 2014-03-25 14:19:26 10000+阅读

corosync，pacemaker，crm集群资源监控

本文介绍下corosync的资源监控功能：node1 node1.luojianlong.com 192.168.30.116 OS: Centos 6.4 x86_64node2 node2.luojianlong.com 192.168.30.117 OS: Centos 6.4 x86_641.定义corosync资源：[root@node

corosync

pacemaker

crm集群资源监控

原创 2014-03-25 13:41:42 1846 阅读

corosync，pacemaker，crm集群安装配置

一，概述：什么是AIS和OpenAIS？AIS是应用接口规范，是用来定义应用程序接口（API）的开放性规范的集合，这些应用程序作为中间件为应用服务提供一种开放、高移植性的程序接口。是在实现高可用应用过程中是亟需的。服务可用性论坛（SA Forum）是一个开放性论坛，它开发并发布这些免费规范。使用AIS规范的应用程序接口（API），可以减少应用程序的复杂性和缩短应用程序的开发时间，这些规范的主要目

corosync

pacemaker

原创 2014-03-24 18:32:56 3151 阅读

Tengine ngx_http_upstream_check_module 健康功能检测使用

该模块可以为Tengine提供主动式后端服务器健康检查的功能。该模块在Tengine-1.4.0版本以前没有默认开启，它可以在配置编译选项的时候开启：./configure --with-http_upstream_check_module编辑/etc/nginx/nginx.confhttp { upstream cluster1 { # simple round-rob

Tengine ngx_http_ups

原创 2014-03-24 15:21:48 1719 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

龍行天下