从头开始学编程的博客_Mysql,数据库,大数据,Linux,软考,项目管理,互联网运营,企业管理,信息化,Routing & Switc,linux,monitoring原创(2)

华三交换机S7503E的大二层数据架构解决方案

一、业务影响托管机房全部是物理机器，跑的全部是hadoop集群居多，当时大二层架构，使用级联架构，到第五个交换机时，后面接入新添datanode节点时，第五个级联口千兆口已经达到了峰值，根本无法工作起来。二、服务器群集hadoop平台，实现平台海量的数据交互。改造思路如下：1.网络可用性和弹性。要部署一个高冗余性和可扩展的网络，支持Hadoop 集群的增长。在Datano

交换机

配置

S7503E

原创精选 2016-01-21 17:02:18 5142 阅读

管理hadoop

一、HDFS永久性数据结构 1.1 namde的目录结构[root@datanode1 name]# cd /data0/hadoop/dfs/name/current/ [root@datanode1 current]# ls edits edits.new fsp_w_picpath&nbs

hadoop

hadoop备份

hadoop集群新增节点步聚

hadoop集群移除节点

hadoop日常维护命令

原创 2016-01-18 11:35:37 3902 阅读

hbase，zookeeper安装部署（二)

一、Hbase基础1.概念 Hbase是一个在HDFS上开发的面向列分布式数据库，用于实时地随机访问超大规模数据集，它是一个面向列族的存储器。由于调优和存储都是在列族这个层次上进行，最好所有列族的成员都有相同的“访问模式”和大小特征2.区域 hbase自动把表水平划分“区域”(region)。每个区域由表中行的子集构。每个区域由它所属于表，它所包含的第一行及其最后一行（不包括

hbase

hbase安装

原创 2016-01-13 16:56:45 10000+阅读

hadoop1.0安装部署（一）

一、需求公司线上运行有hadoop1.0和hadoop2.0，由于hadoop1.0没有处理jobtracker失败机制，它是一个单点故障，但业务还是以1.0为主，会慢慢过渡到2.0。二、架构图二、知识点储备1、hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍http://zouqingyun.b

安装部署

hadoop1

hadoop1.0

原创精选 2016-01-07 18:47:44 2173 阅读

tomcat基本使用（二）

一、Tomcat的架构：Tomcat 6支持Servlet 2.5和JSP 2.1的规范，它由一组嵌套的层次和组件组成，一般可分为以下四类：顶级组件：位于配置层次的顶级，并且彼此间有着严格的对应关系；连接器：连接客户端（可以是浏览器或Web服务器）请求至Servlet容器，容器：包含一组其它组件；被嵌套的组件：位于一个容器当中，但不能包含其它组件；各常见组件：1、服务器(server)：Tomca

linux下tomcat详细部署

linux下tomcat配置文件讲解

tomcat原理

原创 2015-12-07 17:43:38 890 阅读

tomcat部署安装步聚

一、Tomcat动态站点：运行程序服务端：客户端：一次编译，到处运行java技术的组成部分：java程序设计语言java class文件格式java APIjava vmjava的编译时环境：源代码：.javaa.java, b.java, c.java --> Java编译器(javac) --> a.class, b.class, c.classjava的运行时环境：a.class

tomcat安装步聚

原创 2015-12-05 11:36:56 500 阅读

h3c的S7006交换机端口在zabbix监控步聚

一、需求之前机房用的都是级联，集群节点一多，这级联间传输数据就呈现瓶颈了，丢包，延迟，各种问题。经过一个月准备，于上周上架一套华三数据交换机，目前接入64个节点，根据要求，需要把交换端口纳入zabbix来监控。根据前辈博客指点，http://dl528888.blog.51cto.com/2382721/1340983 现在完成部署了，非常感谢吟技术一流博客的技术指导二、交换机设置pub

linux

华三交换机zabbix监控

zabixx交换机端口监控

原创推荐 2015-12-01 17:24:46 7774 阅读 4点赞 2收藏 2评论

yum 安装出现GPG密钥失败

yum install bind 出现GPG密钥失败warning: rpmts_HdrFromFdno: Header V3 DSA/SHA1 Signature, key ID 6b8d79e6: NOKEYRetrieving key from file:///etc/pki/rpm-gpg/RPM-GPG-KEY-rpmforge-dag获取 GPG 密钥失败：[Errno 14

yum 安装

出现GPG密钥失败

原创 2015-11-23 14:47:42 10000+阅读

windows 下rsync 同步详细部署 ---老程

一般情况下是，是client从server上面拉取数据，千别做反了所有文档和安装软件全在360云盘里面http://yunpan.cn/cLEZcDtrUBZBN 访问密码 6496 一.server 端的安装1.先创建一个用户，这个用户只是用来启动rsync这个服务来用的 2.这里指定新建的目录rsync-server3.指定用户名和密码这

rsync 在windows部署

windows 下rsync 同步

原创精选 2015-11-18 14:54:50 10000+阅读 2点赞 2收藏 2评论

nagios的详细配置和报警

注：本文有感谢程建提供一、需求 nagios 更新速度是很快的，本公司采用最新的稳定版本nagios-4.0.8，插件采用是的nagios-plugins-2.0.3，新版本经过使用和测试，发现速度和报警的速度比以前快了许多，并且占用操作系统资源不多问题及时，界面干净，如下图: 由于网上下载包不稳定，所以我整理后放到网盘中，所有的下载包全在360网盘

nagios详细配置与报警

nagios下windows监控

原创推荐 2015-11-12 12:23:52 9912 阅读 6点赞 2收藏 11评论

zabbix数据库迁移

一、环境 192.168.1.163 zabbix 由于与线上业务争资源，影响比较大，故需要迁移，而现在是lamp部署 192.168.1.190 把原有zabbix数据库迁到这个台机器上3306上二、163机器步1、导出zabbix数据表结构[root@dcserver2 ~]# mysqldump -uroot&nb

mysqldump

zabbix数据库备份与还原

原创 2015-11-10 17:03:15 9511 阅读

hadoop笔记

一、hadop的项目Common：一系列组件和接品口，用于分布式文件系统和通用I/O（序列化，Java RPC 和持久化数据结构）Avro：一种序列化系统，用于支技高效，跨语言的RPC和持久化的数据存储MapRedue：分布式数据处理模型和执行环境，运行于大型商用机集群HDFS：分布式文件系统，运行于大型商用机集群Pig：数据流语言和运行环境，用以探究非常庞大的的数据集。Pig运行在MapRedu

hadoop笔记

hdfs原理

mapreduce原理

原创 2015-11-07 18:10:40 1219 阅读

监控日志服务器日志文件异常波动

一、需求日志服务器两台，每台有两块磁盘，分别/data1,/data2日志文件格式如下：/data2/logserver/logs/Online-2015-10-07*规则：1、每小时日志与前一小时上下波动在50%~200%范围，比如2015-10-07号，7点日志为120M，如果8点日志低于60M，或者高于240M，就可能异常了2、有可能连续几个小时的日志都骤降，比如7点为120M，8点为10M

linux

zabbix

zabbix监控日志文件脚本

日志服务器异常监控

原创 2015-10-10 11:20:52 2483 阅读

MogileFS高级应用(二)最后有疑问

一、准备阶段1、5台机器 10.1.2.180 作为mysql机器 10.1.2.200-202作为集群节点 10.1.2.203作为nginx反向代理 2、拓扑图三、mogi

linux

nginx

mogilefs集群部署

原创精选 2015-09-29 19:22:40 2375 阅读

mogilefs安装配置详解

一、MogileFS介绍MogileFS是一个开源的分布式文件存储系统，由LiveJournal旗下的Danga Interactive公司开发。Danga团队开发了包括 Memcached、MogileFS、Perlbal 等多个知名的开源项目。目前使用MogileFS 的公司非常多，如日本排名先前的几个互联公司及国内的yupoo(又拍)、digg、豆瓣、1号店、大众点评、搜狗和安居客等，分别为

linux

mogilefs安装部署

mogilefs分布式文件系统部署安装

原创精选 2015-09-28 18:12:51 8299 阅读

xen服务器解决loop device 数目限制问题

1、今天在xen服务器虚拟12台出来，到了第7台时，出现现这样错误提示[root@xenserver xen]# xm create vm1 WARNING: xend/xm is deprecated. Using config file "./vm1". Error: Device&n

Failed to find an un

loop device 数目限制

原创 2015-09-25 17:01:21 1207 阅读

硬盘大于2T以上，用parted创建分区安装centos6.5

之前从来没有在硬盘容量大于2.6以上安装centos，刚拿到新一台机器，像平时一样，安装centos系统时，3T硬盘分区是这样规划的/ 根分区划分200G/boot 200Mswap 实际

parted分区

原创 2015-09-24 12:19:25 10000+阅读 1收藏

linux开启内部路由转发功能

新增了一批机器，在做完所有初始化后，内部机器还是需要连接外网。对外公网就有两台，故选其中一台，开启路由转么功能1、A这台机器 [root@shx ~]# echo 1 > /proc/sys/net/ipv4/ip_forward但一般不建议，下次开机它又会变为0修改它的配置文件，把net.ipv4.ip_forward = 1[r

linux开启内部路由转么功能

linux内部机器共享上网

原创 2015-09-23 18:02:09 10000+阅读

监测系统统计数据

1、运行时间[root@logicserver ~]# uptime | sed -n '/,/s/,/ /gp'| awk '{ > if($4 =="days" || $4 == "day") > {print $

内存

磁盘使用监牢脚本

原创 2015-09-22 16:39:01 946 阅读

zabbix生产环境上监控配置

目前生产环直要监控指标1、zabbix_agentd.confUserParameter=system1.uname,/bin/uname -r ###Recv-q #UserParameter=recv-q,ss -nl|awk '{print $2}'|grep -v "Recv-Q"|awk '{if($1>0)&n

zabbix发送邮件脚本

zabbix_agentd配置文件

zabbix监控item有哪些

原创 2015-09-22 15:17:30 1411 阅读 1收藏

重定向描述符

文件描符缩写描述0

linux重定向

重定向描述符

shell脚本的exec重定向

原创 2015-09-22 14:37:04 970 阅读

编写脚本实用工具

1、查看哪个文件占用最大查看前十名磁盘空间用户，到第11行，sed会删除列表的剩余部分，然后给列表中每行一个行号。要让行号和磁盘空间文本位于同一行，用N命令将文本行合并在一行。然后用gawk命令清理，在行号后，加一个冒号(:)，还给每行文本的输出行中的每个字段放了一个制表符。这样就生成了一个格式精致的前十名磁盘空间用户列表了[root@digitcube-test1 qingyun]#&

实用脚本工具

文件占用最大空间脚本

查询文件大小脚本

原创 2015-09-19 18:10:51 1384 阅读

gawk高级使用

BEGIN和END关键字是来用来读取数据流之前或之后执行命令的特殊模式1、内建变量 FIELDWIDTHS：由空格分隔开的的定义每个数据字段确切宽度的一列数字 &n

gawk高级使用

原创 2015-09-18 12:53:34 1220 阅读

sed高级使用

1、名reverse脚本用sed编辑器脚本反转数据流的文本行 h 将模式空间复制到保持空间

sed高级使用

原创 2015-09-17 20:46:08 1215 阅读

xem和virsh常用命令

Xm console 进入到某个控制台 Xm delete 删除某个虚拟机Xm destroy 销毁某个虚拟机Xm help 查看帮助信息Xm l

xen和virsh常用命令

原创 2015-09-14 14:40:15 1666 阅读

xen的实时迁移（四）

一、基本组件 Xen包含三大部分：Hypervisor：直接运行于硬件之上，是Xen客户操作系统与硬件资源之间的访问接口。通过将客户操作系统与硬件进行分类，Xen管理系统可以允许客户操作系统安全，独立的运行在相同硬件环境之上。Domain 0：运行在Xen管理程序之上，具有直接访问硬件和管理其他客户操作系统的特权的客户操作系统。DomainU：运行在Xen管理程序之上的普通客户操作系统或

xen实时迁移

xen迁移方案

原创精选 2015-09-11 16:27:10 2026 阅读

xen利用URL的centos镜像文件安装（三）

一、Xen的配置文件说明Xen配置文件一般由选项（options）、变量(variables)、CPU、网络、PCI、HVM、计时器(timers)、驱动(drivers)、磁盘设备(disk devices)、动作(behavior)，以及图形及声音(Graphics and audio)几个段组成，分别用于定义不同类别的域属性或设备属性。上面的配置文件中的各选项作用如下。◇kernel：为当前

xen的UR镜像安装

xen配置文件参数详解

xen如何创建虚拟机

原创 2015-09-10 10:07:26 1611 阅读

xen虚拟机利用dom0内核来创建（二）

一、xen虚拟状态： r: 运行 b: 阻塞 p: 暂停 s: 停止 c: 崩溃 d: dying, 正在关闭的过程中二、创建xen的pv模式虚拟机 1、kernel (本身系统内核既可运行dom0中也可运行在domu中)

xen的虚拟机利用dom0内核创建

原创 2015-09-08 17:10:57 1859 阅读

xen安装（一）

一、近日接到CTO分下来任务，研发部经常使用一批机器来业务测试，准备几台性能好服务器放在IDC房做Linux虚拟化来接入使用。我第一时间想到就是用xen，以前看过这方面资料，但没运用在生产环境上，先从xen实施起，以后在利用openstack打造内部私有云。二、以下回忆xen原理，具体原理，网上有很多资料查询的到虚拟化技术的分类： &nb

xen是什么

xen的原理

xen部署安装

原创 2015-09-08 15:29:04 3035 阅读

mysql数据备分与步聚

mysql备份和恢复： 1、灾难恢复； 2、审计； 3、测试；备份：目的用于恢复；对备份数据做恢复测试；备份类型：根据备份时，数据库服务器是否在线：冷备：cold backup 温备：warm backup

mysql备份数据步聚

mysql备份前需要做什么

mysql备份工具有哪些

原创 2015-08-31 15:22:53 1161 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

散人

华三交换机S7503E的大二层数据架构解决方案

管理hadoop

hbase，zookeeper安装部署（二)

hadoop1.0安装部署（一）

tomcat基本使用（二）

tomcat部署安装步聚

h3c的S7006交换机端口在zabbix监控步聚

yum 安装出现GPG密钥失败

windows 下rsync 同步详细部署 ---老程

nagios的详细配置和报警

zabbix数据库迁移

hadoop笔记

监控日志服务器日志文件异常波动

MogileFS高级应用(二)最后有疑问

mogilefs安装配置详解

xen服务器解决loop device 数目限制问题

硬盘大于2T以上，用parted创建分区安装centos6.5

linux开启内部路由转发功能

监测系统统计数据

zabbix生产环境上监控配置

重定向描述符

编写脚本实用工具

gawk高级使用

sed高级使用

xem和virsh常用命令

xen的实时迁移（四）

xen利用URL的centos镜像文件安装（三）

xen虚拟机利用dom0内核来创建（二）

xen安装（一）

mysql数据备分与步聚