ljl_19880709的最近发布

我的友情链接

51CTO博客开发吟—技术交流史振宁的技术博客MIKE老毕的海贼船www.kisspuppet.com没有伞的孩子必须努力奔跑马哥教育Linux老男孩linux运维抚琴煮酒Ro の博客实践检验真理

原创 2017-11-22 23:11:02 558 阅读

Spark On Yarn实战

这里已经部署好hadoop环境，以及spark环境如下：192.168.1.2 master[hadoop@master ~]$ jps 2298 SecondaryNameNode 2131 NameNode 2593 JobHistoryServer 4363 Jps 3550 HistoryServer 248

实战

spark on yarn

原创 2015-03-25 13:26:02 10000+阅读

Spark集群独立模式HA

一、Spark简介：Spark是一种与Hadoop相似的开源集群计算环境Spark基于MR算法实现的分布式计算，拥有Hadoop MR的优点，不同的是结果保存在内存中Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReduce快40倍左右Spark是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架Spark兼容Hadoop的API，能够读写Hadoop的HD

HA

spark部署

scala编程

原创 2015-03-21 17:46:20 3980 阅读

Hadoop、Hbase完全分布式搭建

一、Hadoop1.0到2.0的架构变化1、Hadoop 2.0由HDFS、MapReduce和YARN三个分支构成2、HDFSNN Federation、HA3、MapReduce运行在YARN上的MR4、YARN资源管理系统二、HDFS 2.01、解决HDFS 1.0中单点故障和内存受限问题。2、解决单点故障 HDFS HA通过主备NameNode解决 &n

hadoop

大数据

hbase

yarn

原创推荐 2015-03-21 16:24:03 5508 阅读 1收藏

Python调用zabbix api 接口

#!/usr/bin/env python # -*- coding: utf-8 -*- import json import urllib2 import sys class zabbixtools: def

接口

python

zabbix

原创 2014-09-26 17:39:12 2448 阅读 1点赞

Zabbix分布式监控

一、概述zabbix的三种架构:1、Server-agent2、Server-node-agent3、Server-proxy-agentServer-proxy-agent：proxy，用于本区域数据收集，并将数据发送给server；Server-node-agent：node，提供完整的zabbix-server用以建立分布式监控中的层级；Proxy和Node的比较：Node本身是一台Serv

Zabbix分布式监控

原创 2014-04-16 18:02:36 1563 阅读 1点赞 1评论

Zabbix发现、自动注册和web监控

一、网络发现网络发现是zabbix最具特色的功能之一，它能能够根据用户事先定义的规则自动添加监控主机或服务等，Zabbix的网络发现功能可以基于：IP ranges、Availability of external services(FTP、SSH、WEB、POP3、IMAP、TCP、etc)、Information recevived from zabbix agent、Information

Zabbix发现、自动注册和web监控

原创推荐 2014-04-16 12:47:45 4917 阅读 4点赞 1收藏 1评论

Zabbix自定义监控详解

一、使用zabbix_agent的UserParameter可以自定义监控指标，这里以监控nginx连接数为例首先nginx，需要打开status[root@node1 ~]# vi /etc/nginx/nginx.conf location /status { stub_status on; access_log off; }打开

Zabbix自定义监控详解

原创 2014-04-16 10:29:07 1514 阅读 2点赞 1评论

Zabbix安装配置详解

一、Zabbix组件概述1、Zabbix Server：负责接收agent发送的报告信息的核心组件，所有配置，统计数据及操作数据均由其组织进行；2、Database Storage：专用于存储所有配置信息，以及由zabbix收集的数据；3、Web interface：zabbix的GUI接口，通常与Server运行在同一台主机上；4、Proxy：可选组件，常用于分布监控环境中，代理Server收集

Zabbix安装配置详解

原创 2014-04-15 15:31:20 1539 阅读 1点赞

Puppet master/agent模型详解

一、Puppet master/agent模型puppet通过在master端启动puppetmaster服务来接受agent客户端的请，在/etc/puppet/manifest/site.pp中通过客户端的FQDN来定义每个agent所有应用的class,首次启动puppet守护进程时，其会自动进行运行环境的初始化，创建一个本地CA及服务器端相关的证书和密钥等。初始化操作完成后，p

Puppet master/agent

原创 2014-04-14 14:09:22 2284 阅读 1点赞

Puppet条件语句，class，module的使用

一、Puppet条件语句和类 Puppet2.7系列的版本支持使用3种条件判断语句，包括：if，case，selector，puppet也支持使用class是用于通用目标的一组资源，因此，它是命名的代码块，在某位置创建之后可在puppet全局使用，类似于其他编程语言中类的功能，puppet的class可以被继承，也可以包含子类。二、Puppet模块 &nbs

class

Puppet条件语句

module的使用

原创 2014-04-13 15:43:37 3385 阅读 1点赞

Puppet常用资源使用详解

一、关于Puppetpuppet是一个IT基础设施自动化管理工具，它能够帮助系统管理员管理基础设施的整个生命周期：供应(provisioning)、配置（configuration)、联动(orchestration)及报告(reporting)，基于puppet，可以实现自动化重复任务，快速部署关键性应用以及在本地或云端完成主动管理变更和快速扩展架构规模等。puppet资源如果把OS的所有配置，

Puppet常用资源使用详解

原创 2014-04-13 12:17:58 1192 阅读

MogileFS高可用分布式文件系统详解

一、关于MogileFS MongileFS是一个由Perl开发的分布式文件系统，遵循CAP理论，即Consistency：数据的一致性；Availability：数据的可用性；Tolerance of network Partition：数据的容错性；而这里的MongileFS满足了后俩者，也就是只满足数据的可用性和容错性，对于大型网站，数据的可用性和容错性要优先于数据的一致性。MongileF

MogileFS

nginx-mogilefs高可用分布

原创 2014-04-10 17:50:36 2922 阅读 2点赞

MySQL 5.6.13基于MySQL-Proxy的读写分离

一、MySQL-Proxy简介MySQL-Proxy是处在MySQL数据库客户和服务端之间的一个中间件，支持嵌入性脚本语言lua，可以用来分析，监控和变换通信数据，支持使用的场景包括：负载均衡和故障转移处理，查询分析日志，查询重写等。MySQL Proxy更强大的一项功能是实现“读写分离（Read/Write Splitting）”。基本的原理是让主数据库处理事务性查询，而从数据库处理SELECT

MySQL 5.6.13基于MySQL-

原创 2014-04-09 18:59:28 2455 阅读

MySQL 5.6.13 GTID复制，以及基于Amoeba实现读写分离

一、MySQL 5.6介绍MySQL 5.6引入的GTID(Global Transaction IDs)使得其复制功能的配置、监控及管理变得更加易于实现，且更加健壮。复制功能的改进：1、支持多线程复制，指的是针对每个database开启相应的独立线程。2、支持启用GTID，就是每个mysql服务器都一个全局的事务ID，GTID，这个是由每个服务器的UUID（唯一的）和server_id组成的，m

MySQL 5.6基于GTID的复制

以及Amoeba读写分离的实现

原创推荐 2014-04-09 15:23:58 1667 阅读 2点赞 3评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

龍行天下