Jx战壕的博客_System/Service

Nginx缓存开启

众所周知，Nginx是一个高性能的web服务器，尤其在高并发和处理静态页面的时候有先天的优势；很大一部分得益于缓存的开启，那么如何开启nginx的缓存呢。简单来说可以分两步：定义缓存存储目录并指定共享内存空间在location里指定共享内存空间具体实现如下：userwww;worker_processesauto;events{worker_connections4096;}http{includ

nginx

cache

proxy

key

原创 2018-04-27 11:38:47 10000+阅读 1收藏

Supervisord守护Prometheus遇到的坑

一直以来我采用supervisord来进行第三方服务的管理，百试不爽。所谓的第三方服务，我这里把不能通过yum或apt进行安装的，统统归拢为第三方；当然使用systemd来进行管理也很不错，不过在服务exit的时候需要自己写脚本来进行重启和重试操作。不例外的，Prometheus我还是采用了supervisord来进行启动管理，但是过完年后上班发现，我的prometheus无法收集targets的

supervisord

Prometheus

open

置顶原创推荐 2018-03-02 09:16:49 10000+阅读 9点赞 10收藏 4评论

Linux MemFree与MemAvailable的区别

最近在做Prometheus的监控，结合Grafana做前端展示，其中涉及到内存的时候，有不少人对Memory Free和Memory Avaliable这两个参数比较疑惑，这里我结合linux下常用的查看内存使用情况的free命令，做下解答整理。 Linux查看内存使用情况，可以查看/proc/meminfo和使用free命令。root@prometheus-01:~#

Linux

原创 2017-08-30 14:10:38 10000+阅读 2点赞 1收藏 1评论

高并发情况下Linux系统及kernel参数优化

众所周知在默认参数情况下Linux对高并发支持并不好，主要受限于单进程最大打开文件数限制、内核TCP参数方面和IO事件分配机制等。下面就从几方面来调整使Linux系统能够支持高并发环境。Iptables相关如非必须，关掉或卸载iptables防火墙，并阻止kernel加载iptables模块。这些模块会影响并发性能。单进程最大打开文件数限制一般的发行版，限

linux

kernel

调优

置顶原创 2017-08-24 09:40:48 10000+阅读 8点赞 12收藏 4评论

Kafka性能调优

Kafka的配置详尽、复杂，想要进行全面的性能调优需要掌握大量信息，这里只记录一下我在日常工作使用中走过的坑和经验来对kafka集群进行优化常用的几点。1.JVM的优化 java相关系统自然离不开JVM的优化。首先想到的肯定是Heap Size的调整。vim bin/kafka-server-start.sh &nb

配置

调优

kafka

原创精选 2017-06-12 15:08:26 10000+阅读 1点赞 5收藏

KAFKA集群搭建

一、简介 Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 Kafka适合做什么? 官方文档介绍，它通常被使用在两大类应用中:搭建实时数据流管道，在系统或应用之间可靠

集群

cluster

kafka

原创 2017-06-12 14:13:48 3772 阅读 1点赞 2收藏

zookeeper集群搭建

简介 Zookeeper 分布式服务框架是Apache Hadoop的一个子项目它主要是用来解决分布式应用中经常遇到的一些数据管理问题如统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等等。zookeeper本身可以单节点状态运行不过它的长处在于通过分布式zookeeper集群一个leader多个follower基于一定的策略来保证zookeeper集群的稳定

ubuntu

cluster

zookeeper

原创 2017-05-22 12:28:25 2264 阅读 1点赞 1收藏

Hadoop集群安装--Ubuntu

我家宝最近在自学Hadoop，于是乎跟着一起玩玩，在此为她整理一篇基础搭建的博客，希望对她能有所帮助。同样，开始之前先来了解下，什么是Hadoop。 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。它是根据Google公司发表的MapReduce和Google文件系统的论文自行实现而成。Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为Map

cluster

hadoop

MapReduce

原创精选 2017-02-11 20:47:20 943 阅读 2点赞 5收藏

ELK5---Elasticsearch Cluster的搭建

前言： ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信息显示，ELK Stack 已经成为目前最流行的集中式日志解决方案。

cluster

Elasticsearch

ELK

置顶原创精选 2017-01-04 20:47:33 10000+阅读 2点赞 2收藏 1评论

log日志轮转--logrotate

服务器上的日志包括系统日志和服务日志每天都会产生n多log,好多人会自己写脚本来进行日志的切割、压缩等，而忽略了系统自带的服务--logrotate。简介 logrotate是个十分有用的工具，它可以自动对日志进行截断（或轮循）、压缩以及删除旧的日志文件。它是基于CRON来运行的，其脚本是「/etc/cron.daily/logrotate」。主流Linux

log

logrotate

切割

原创 2016-10-13 12:18:31 6440 阅读 2收藏

SYN flooding处理--内核调优

实际生产环境中出现SYN flooding的情况好多次了，之前虽然解决了，但一直没好好整理一下。直到上周五又出现该问题，这次利用周末的空闲时间好好查阅资料研究了翻，整理一篇博文。想说的是，养成写博客或者整理文档的习惯真的很重要，因为当你把它写成一篇文章的时候，首先你自己必须要先理解，然后思路必须要清晰，有时候可能需要花上一整天的时间查资料，对自己也是一种提高，才算是对自

tcp

kernel

调优

原创精选 2016-09-04 14:15:06 10000+阅读 1点赞 1收藏

P2P--大文件分发网络的搭建

六月份去上海参加了DockOne组织的容器大会，报了一个小项目，不小心得了一等奖，这里拿出来跟大家共享一下其中核心的P2P传输网络的搭建，也是公司已经投入使用的大文件传输方式。项目设计：初衷：1、作为一个提供全球云计算业务的运营商来说，不管是本身海外节点业务的拓展、平台扩充还是客户定制模板业务的需求，都会涉及大文件的传输。一些普通的ISO系统镜像文件，一些客户定制的系统模板，少则十几

P2P

ansible

transmission

置顶原创精选 2016-06-16 19:03:45 10000+阅读 3点赞 3收藏 6评论

pip介绍与使用

一、简介 pip 是一个安装和管理 Python 包的工具，python安装包的工具有easy_install, setuptools, pip，distribute等。distribute是setuptools的替代品，是对标准库disutils模块的增强，我们知道disutils主要是用来更加容易的打包和分发包，特别是

python

pip

原创 2016-05-02 10:30:36 10000+阅读 1收藏

Language Codes Reference

Language Codes有几个老记不住，做下笔记，加深记忆，也供参考：Language$LANG valueEnglist(US)en_US.utf8Assameseas_IN.utf8Bengalibn_IN.utf8Chinese(Simplified)zh_CN.utf8chinese(Traditional)zh_TW.utf

Codes

Reference

Language

原创 2016-02-23 00:46:18 837 阅读 1收藏

CentOS解决pip 安装M2Crypto失败

pip install M2Crypto报错信息：swig -python -I/usr/local/include/python2.7 -I/usr/include -includeall -o SWIG/_m2crypto_wrap.c SWIG/_m2crypto.i

swig

M2C

rypto

原创 2016-01-13 21:03:55 10000+阅读 2收藏

SSH配置文件详解

整理下SSH Server的配置文件中各项对其进行解释。一、 sshd配置文件是：/etc/ssh/sshd_config，去掉注释后全文基本如下：Port 22 #设置ssh监听的端口号，默认22端口 ListenAddress :: ListenAddress 0.0.

Key

hosts.allow

sshd_config

ssh登陆慢

ssh version

原创 2015-11-29 02:10:07 10000+阅读 5点赞 3收藏

FreeBSD磁盘挂载

操作之前的建议：刚装出来的系统，想要让FreeBSD的csh像bash那样按tab列出无法补齐的候选文件，在/etc/csh.cshrc中加入以下，然后注销重新登录即可：#vi /etc/csh.cshrcset autolist博客环境：系统版本：FreeBSD8.2-64bit内核参数：1、首先查看新添加的磁盘有没有被系统识别出：dmesg | grep

分区

挂载

fstab

FreeBSD磁盘

原创 2015-07-19 23:49:57 10000+阅读 2点赞

JDB2导致磁盘io使用率高

前几天碰到jbd2进程占用大量的磁盘io，用iotop查看到的情况大致如下：系统版本：CentOS6.5-64bit 经查为ext4文件系统的一个bug: 先给出解决方案，处理此问题的优先级为：1、yum update kernel 用yum升级系统内核，重启

kernel

bug

IO

ext4

barrier

jbd2

原创 2015-07-15 01:15:40 10000+阅读 1点赞 2评论

CentOS内外网互调

大家好： VMware里CentOS7.0克隆时出现网卡错乱的解决办法，我这里给大家整理了一下，顺便附上几张截图，供大家参考；后面介绍CentOS7之前版本的解决办法；一、CentOS 7 安装一台后，后续经克隆产生的虚拟机会出现网卡错乱的问题。此问题经查是因为 CentOS 7 的网络配置是由

mac

内外网互调

70文件

原创 2015-05-09 21:30:01 1597 阅读

理解TCP三次握手--大白话

看了个比较有意思的博文，转来收藏；文章出自“雨林”：http://www.cnblogs.com/yuilin/archive/2012/11/05/2755298.html 理解ＴＣＰ为什么需要三次握手：三次握手的最主要目的是保证连接是双工的，可靠更多的是通过重传机制来保证的。但是为什么一定要进行三次握手来保证连接是双工的呢，一次

tcp三次握手、syn、ack、seq

转载精选 2015-03-22 19:20:21 1452 阅读

vSphere5的存储DRS

VMware公司vSphere 5产品的发布，为虚拟化平台带来了许多令人兴奋的新特性和许多增强的功能，尤其是在存储方面。存储方面两个最大的新特性是存储分布式资源调度(Storage DRS)和配置驱动存储(Profile-Driven Storage)，它们提供了对管理和控制存储资源而言非常有用的手段。在vSphere以前的版本中，分布式资源调度管理功能可以基于CPU和内存资源的利用率来分配和均衡

存储

虚拟化

DRS

vSphere

转载精选 2014-09-25 15:30:29 753 阅读

修复错误配置fstab文件导致系统无法正常启动

修复错误配置fstab文件导致系统无法正常启动本文出自 “sky” 博客，请务必保留此出处http://skymax.blog.51cto.com/365901/114394

linux

系统

fstab

转载精选 2014-08-29 02:50:17 716 阅读

linux下的swap分区

一、什么叫swap分区 swap分区，即交换区，swap空间的作用可简单描述为：当系统的物理内存不够用的时候，就需要将物理内存中的一部分空间释放出来，以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序，这些被释放的空间被临时保存到Swap空间中，等到那些程序要运行时，再从Swap中恢复保存的数据到内存中。二、swap配置对性

linux

内存

swap

划分规则

原创 2014-08-21 10:53:49 559 阅读 1点赞 1评论

e1000 detected Tx Unit Hang

今天一台云主机出现一种情况，外网不通内网能通，检查网络配置都没有异常，查看系统日志，提示有e1000 detected Tx Unit Hang等信息。具体信息如下云平台：esxi5.0操作系统：CentOS6.3-64bit内核版本：2.6.32-279.e16报错截图：后来经过查证，此报错属于系统的

Tx

e1000

detected

Unit Hang

原创 2014-08-18 18:42:39 10000+阅读 1收藏

libc.so.6加载出错

有时候我们在做一些操作的时候会不小心把libc.so.6这个文件进行误操作，导致一些简单的命令都不能够使用。比如我把这个文件改个名字：或者有时候提示：“/lib//libc.so.6 error,file is too short”；这些都是这个文件的损坏造成的；libc.so.6是几乎所有linux命令的动态链接库，其中有标准c的各种函数，不能轻易

动态链接库

error

libc

原创 2014-07-24 23:43:56 6945 阅读

DNS的分离解析

DNS的分离解析实验背景在Internet环境中，考虑到不同地区（华北、华南、港澳台、海外……）、不同ISP服务商（移动、电信、联通、教育网……）的访问速度差异，许多大型站点（

DNS分离解析

原创 2014-03-08 21:04:55 1079 阅读 1点赞

DNS子域授权

DNS子域授权实验背景：一、之子域解析：当一个组织的DNS区域扩大到一定规模后，往往会增设子域以分流解析压力，比如二级父域tarena.com、三级子域bj.tarena.co

服务器

IP地址

Windows

虚拟机

配置文件

原创 2014-03-08 21:03:56 1023 阅读 1点赞

构建主从DNS服务器

构建主从DNS服务器实验背景: 公司注册了DNS区域tarena.com，准备使用两台RHEL5服务器构建主、从域名系统，其中任何一台都能够解析tarena.com域内的主机地址。1．主DNS

服务器

Windows

虚拟机

软件包

公司注册

原创 2014-03-08 21:02:17 1395 阅读 1点赞

NTP时间服务构建

NTP时间服务构建实验背景：因公司业务运营需要，IDC机房内部署了电子商务网站、邮件系统、游戏计时系统等各种服务器，由于这些应用的特殊性，要求确保各主机的系统时间保持一致，基本的配置要求如下所述。实验思路：1．在192.168.1.0/24网络内安装一台NTP时间服务器，以本机时间为标准时间。2. 将网络内其他的Linux服务器作为NTP客户端，实现系统时间的同步。实验实现：使用2台

服务器

虚拟机

IDC机房

电子商务

邮件系统

原创 2014-02-28 22:40:45 1556 阅读 1点赞

NFS文件共享服务

NFS文件共享服务实验背景：公司的某个软件项目处于内部测试期间，有2台应用服务器短期内需要共享使用不少于500GB的磁盘空间，要求当软件在执行读写操作时能像访问本机的目录一样，相关条件和需求如下所述。1．将服务器192.168.1.2的/ptest目录作为共享，此目录已经挂载一个容量为500GB的逻辑卷。2．/ptest目录仅允许指定的2台服务器（192.

空间

服务器

虚拟机

软件包

客户机

原创 2014-02-28 22:40:00 734 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

xujpxm

Nginx缓存开启

Supervisord守护Prometheus遇到的坑

Linux MemFree与MemAvailable的区别

高并发情况下Linux系统及kernel参数优化

Kafka性能调优

KAFKA集群搭建

zookeeper集群搭建

Hadoop集群安装--Ubuntu

ELK5---Elasticsearch Cluster的搭建

log日志轮转--logrotate

SYN flooding处理--内核调优

P2P--大文件分发网络的搭建

pip介绍与使用

Language Codes Reference

CentOS解决pip 安装M2Crypto失败

SSH配置文件详解

FreeBSD磁盘挂载

JDB2导致磁盘io使用率高

CentOS内外网互调

理解TCP三次握手--大白话

vSphere5的存储DRS

修复错误配置fstab文件导致系统无法正常启动

linux下的swap分区

e1000 detected Tx Unit Hang

libc.so.6加载出错

DNS的分离解析

DNS子域授权

构建主从DNS服务器

NTP时间服务构建

NFS文件共享服务