蒋将将的博客_Mysql,redis,安全技术,Vmware,操作系统,MongoDB,自动化运维,Docker,Linux,databases,docker/k8s

我的MYSQL抗造

一、服务器硬件 1、cpu(频率和数量)（1）cpu频率cpu密集型：主要对sql执行效率，目前mysql不支持多cpu对同一sql并发处理；（2）cpu数量（web应用）主要提高吞吐量和并发处理量；例子： 2、内存大小内存越多越好，但根据实际情况增加内存的选择：建议：内存的主频和cpu的主频类似，选择主板支持的最大内存注意：（1）组成购买升级（2）每个通道的内存：相同品牌、颗粒、频率、电压、检

MySQL

优化

置顶原创 2019-04-21 16:48:38 1370 阅读 1收藏

Kubernetes1.12 二进制集群搭建

一、环境准备1.1、系统环境主机名系统IP组件master01CentOS7.4 172.169.18.223etcdkube-apiserverkube-controller-managerkube-schedulernode01CentOS7.4 172.169.18.230etcdkubeletkube-proxydockernode02CentOS7.4 172.169.18.232etc

etcd集群

flannel集群

k8s集群

置顶原创 2018-11-12 19:14:56 4045 阅读 1收藏

centos7 yum安装zabbix监控

一、安装zabbix server1、升级系统组件到最新版本[root@edu-mycat-01 ~]# yum -y update2、安装过程中为了方便，关闭seliunx和防火墙3、安装mysql5.7，操作过程请另外参考文件（省略）4、安装Apache[root@edu-mycat-01 ~]# yum -y install httpd[root@edu-mycat-01 ~]# syste

zabbix

监控

置顶原创 2018-11-06 22:04:02 1239 阅读 1点赞 1收藏

mongodb分片概念和原理-实战分片集群

一、分片分片是一种跨多台机器分发数据的方法。MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。问题：具有大型数据集或高吞吐量应用程序的数据库系统可能会挑战单个服务器的容量。例如，高查询率会耗尽服务器的CPU容量。工作集大小大于系统的RAM会强调磁盘驱动器的I / O容量。解决系统增长的方法有两种：垂直和水平缩放。垂直扩展涉及增加单个服务器的容量，例如使用更强大的CPU，添加更多R

mongodb

分高可

置顶原创 2018-10-28 18:58:47 9064 阅读

企业级rancher搭建Kubernetes（采用rancher管理平台搭建k8s）

一、简介Rancher简介来源官方：https://www.cnrancher.com/ Rancher是一个开源的企业级容器管理平台。通过Rancher，企业再也不必自己使用一系列的开源软件去从头搭建容器服务平台。Rancher提供了在生产环境中使用的管理Docker和Kubernetes的全栈化容器部署与管理平台。Rancher由以下四个部

Rancher

企业级

Kubernete

置顶原创 2018-08-28 21:40:26 10000+阅读 2点赞 1收藏 4评论

mongodb集群-副本集（CSRS)

一、概述（1）MongoDB复制是将数据同步在多个服务器的过程。（2）复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性，并可以保证数据的安全性。（3）复制还允许您从硬件故障和服务中断中恢复数据。注意：MongoDB Atlas上托管的所有数据库都配置为副本集。Atlas可以轻松添加和删除首选云提供商的任何区域中的副本集成员；副本集提供冗余和高可用性，是所有生产部署的基础

副本集用户权限配

MongoDB副本集集

置顶原创 2018-10-16 21:31:41 1467 阅读 1收藏

MYSQL高可用之PXC

简介Percona XtraDB Cluster是针对MySQL用户的高可用性和扩展性解决方案，基于Percona Server 。其包括了Write Set REPlication补丁，使用Galera 2.0库，这是一个针对事务性应用程序的同步多主机复制插件。Percona XtraDB Cluster特点：　　（1）同步复制，事务在所有集群节点要么同时提交，要么不提交。　

mysql

Percona

XtraDB

置顶原创 2018-09-19 22:09:45 3348 阅读 1收藏

kafka分布式集群

一、简介1、消息传输流程Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(

kafka

zookeepe

分布式集

置顶原创 2018-09-15 22:36:02 5470 阅读

mysql5.7安装audit审计插件

注意：安装插件的方式优缺点：缺点：日志信息比较大，对性能影响大。优点：对每一时刻每一用户的操作都有记录。搭建过程：下载地址：https://bintray.com/mcafee/mysql-audit-plugin/release/1.1.4-725#files1、把文件上传到/opt目录下[root@edu-mysql-02 ~]# cd /opt/[root@edu-mysql-02 opt]

mysql

audit

审

置顶原创 2018-09-10 09:39:25 10000+阅读 1点赞

Elasticsearch数据迁移

####久违的博客，疫情难生活也难，最近一人支撑公司运维耐抗，忽略了博客的更新，来一波最近遇到的数据迁移工作笔记！！！背景:因服务器整体规划资源调整，将迁移旧的Elasticsearch上的数据到新的服务器上准备工作：部署新服务器上的Elasticsearch版本需要和旧版本一致；保证运行正常前提下进行数据迁移；离线迁移离线迁移需要先停止老集群的写操作，将数据迁移完毕后在新集群上进行读写操作。适合

Elasticsearch

数据迁移

原创 2020-05-23 15:01:51 4745 阅读

ElasticSearch7.x设置用户认证

系统默认用户创建密码 ElasticSearch 是一个基于 Lucene 的分布式、高扩展、高实时的搜索与数据分析引擎，采用Java语言编写。它能很方便的使大量数据具有搜索、分析和探索的能力。作为 Apache 许可条款下的开源项目，Elasticsearch 提供基于 RESTful web 接口。充分利用 ElasticSearch 的水平伸缩性，能使数据在生产环境变得更有价值。

ElasticSearch

全文搜索引擎

原创 2019-12-14 11:35:09 7667 阅读

搭建METAQ消息中间件

一、简介 METAQ(全称Metamorphosis)是一款完全的队列模型消息中间件，服务器使用Jave语言编写，可在多种软硬件平台上部署；客户端支持Java、C++编程语言；单台服务器可支持1万以上个消息队列，通过扩容服务器，队列数几乎可以任意横向扩展；每个队列都是持久化、长度无限(取决于磁盘空间大小)、并可从队列任意位置开始消费；MetaQ是一款分布式、队列模型的消息中间件，MetaQ

METAQ

消息中间件

分布式

原创 2019-11-03 17:59:07 1947 阅读

Jenkins基于https的k8s配置

1、登录jenkins，点击ManageJenkins-->ManagePlugins-->可选插件###在搜索框中，输入关键字kubernetes---勾选Kubernetes，点击直接安装点击安装完成后重启Jenkins(空闲时)2、重新登录jenkins，返回首页。点击ManageJenkins-->ConfigureSystem---###将网页拉动到最底下，点击新增一个云，就会出现Kub

Jenkins

Kubernetes

原创 2019-09-12 09:58:32 3798 阅读

k8s共享存储之nfs

特别说明：测试使用，不建议生产环境1、在master节点配置(node1)1)yum安装nfs# yum -y install nfs-utilsNFS的关键工具包括：主要配置文件：/etc/exports；NFS文件系统维护命令：/usr/bin/exportfs；共享资源的日志文件： /var/lib/nfs/*tab；客户端查询共享资源命令： /usr/sbin/showmount；端口配置

k8s

共享存储

nfs方式

原创 2019-08-03 14:17:49 9027 阅读 1评论

nginx热部署升级

一、热升级流程1、将旧nginx文件换成新的nginx二进制文件（注意备份）；2、想master进程发送USR2信号；3、master进程修改pid文件名，加后缀.oldbin;4、master进程用新nginx文件后启动新master进程5、向老master进程发送WINCH信号，关闭老worker进程；6、回滚：向老master发送HUP信号，向新master发送QUIT;二、升级过程#版本n

nginx

在线升级版本

原创精选 2019-05-12 09:05:38 5755 阅读 2点赞 1收藏

Docker可视化管理工具shipyard

一、概述 Docker图形页面管理工具基本常用的有三种: DOCKER UI，Shipyard，Portainer。相对而言，Shipyard最强大，其次是Portainer,最后是Docker ui。 Shipyard（github）是建立在docker集群管理工具Citadel之上的可以管理容器、主机等资源的web

docker

shipyard

原创 2019-03-24 17:26:27 7914 阅读

centos7通过web访问日志，网络连接分析ip防止DOS攻击

方式一：http日志分析通过检查web日志ip访问次数来判断是否异常，如果超过规定的次数即添加到防火墙，禁止访问，达到一定的阻止作用，弊端是可能会造成误封，导致正常用户无法访问；#!/bin/bash#file_logs=/var/log/access.logwhile true; doawk '{print $1}' $file_logs |sort | uniq -c | so

web日志

DOS攻击

原创 2019-03-16 16:20:07 1626 阅读

python爬虫通用框架

import requestsdef getHTMLText(url):try:r = requests.get(url,timeout=30)r.raise_for_status() # 如果状态不是200，引发HTTP-Error异常# print(r.status_code)r.encoding = r.apparent_encodingreturn r.textexcept:r

python

框架

原创 2019-02-23 11:46:45 737 阅读

python使用pymsql

pymsql是Python中操作MySQL的模块，其使用方法和MySQLdb几乎相同。1、执行SQL#!/usr/bin/env python# -*- coding:utf-8 -*-import pymysql# 创建连接conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd

python

pymysql

原创 2019-02-20 17:17:32 751 阅读

centos7 天兔(Lepus)数据库监控系统

一、简介Lepus安装需要Lamp环境，Lamp环境的安装个人认为比较费劲，XAMPP的一键部署LAMP环境省心省力，lepus官网手册也建议采用XAMPP的方式安装，lepus也是在XAMPP上进行研发的，看官网安装手册，看了半天也没成功，经过多日奋战，终于实现lepus的快速，轻量化部署，并能用ie浏览器监控。注意：xampp会把apache，mysql，php都安装，所以要在干净的环境中进行

数据库监控

Lepus

原创 2019-01-12 09:14:43 2266 阅读

CentOS7 终端静默安装 Oracle 11g R2

一、环境准备安装包：1.VMware-workstation-full-11.1.0-2496824.exe2.CentOS-7-x86_64-DVD-1511.iso3.linux.x64_11gR2_database_1of2.zip linux.x64_11gR2_database_2of2.zip下载地址：http://download.oracle.com/otn/linu

oracle

centos7

原创 2018-12-21 19:55:31 2322 阅读

Centos7 RabbitMQ消息队列集群

一、简介 MQ（Message Queue，消息队列）是一款消息中间件，一般以集群方式部署，主要提供消息的接受和发送，实现各微服务之间的消息异步。1、集群原理 rabbitmq 是依据erlang的分布式特性（RabbitMQ底层是通过Erlang架构来实现的，所以rabbitmqctl会启动Erlang

RabbitMQ

centos7分布式集群

原创 2018-12-16 11:25:07 986 阅读

台式机安装centos7提示“No Caching mode page found”

提示如下错误：[sdb] No Caching mode page found[sdb] Assuming drive cache:write through解决方法：先移动到第二项test this media & Install Centos 7(按Tab键移动)然后进行编辑路径将vmlinuz initrd=initrd.img inst.stage2=hd:LABEL=CentOS

cento7

安装

原创 2018-12-13 17:42:30 10000+阅读

实现LVS后端服务健康状态检查

#!/bin/bash#VIP=172.169.18.150CPOPT=80 #集群端口FALI_BACK=127.0.0.1 #备用RS=("172.169.18.240" "172.169.18.232") #集群主机declare -a RSSTATUS#RSTATUS=("1" "

lvs

检查脚本

原创 2018-12-07 09:53:00 1386 阅读

XenServer虚拟化服务

一、简介1 XenServer简介1）XENSERVER 是 CITRIX 推出的完全服务器虚拟化平台。2) XenServer 软件包中包含了创建和管理在 Xen（接近本机性能的开放源代码半虚拟化虚拟机管理程序）上运行的虚拟 x86 计算机部署所需的所有内容。3) XenServer已同时针对 Windows 和 Linux 虚拟服务器进行了优化。4) Xe

XenServer

硬件虚拟化

原创 2018-12-02 18:21:14 940 阅读

基于calico网络策略

一、简介Calico是一个纯三层的协议，为OpenStack虚机和Docker容器提供多主机间通信。Calico不使用重叠网络比如flannel和libnetwork重叠网络驱动，它是一个纯三层的方法，使用虚拟路由代替虚拟交换，每一台虚拟路由通过BGP协议传播可达信息（路由）到剩余数据中心。为什么Calico网络选择BGP？参考地址：http://blog.51cto.com/weidawei/2

Calico

docker

etcd集群

原创 2018-11-25 22:03:09 3897 阅读

搭建Harbor企业级docker仓库

一、Harbor简介1、简介Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器，通过添加一些企业必需的功能特性，例如安全、标识和管理等，扩展了开源Docker Distribution。作为一个企业级私有Registry服务器，Harbor提供了更好的性能和安全。提升用户使用Registry构建和运行环境传输镜像的效率。Harbor支持安装在多个Registry节点的镜

Harbor

docker

仓库

原创精选 2018-11-20 21:05:00 6292 阅读 3点赞

部署jenkins持续集成工具

1、Linux安装配置jdk环境1.1、上传到 Linux 服务器；例如：上传至： cd /usr/local1.2、解压：rpm -ivh jdk-8u111-linux-x64.rpm1.3、环境变量配置cd /etc在etc下，找到 profile文件，增加如下如下配置：#set java environmentJAVA_HOME=/usr/java/jdk1.8.0_111CLASSPAT

jenkins

集成工具

原创 2018-11-11 21:42:48 549 阅读

csvn(apache+svn)管理工具搭建

系统环境：centos7.4一、服务端下载这个文件并解压（如果打不开，自己网盘查找）https://pan.baidu.com/s/1miwdBc81、安装jdk,上传到服务器上，解压[root@slave2 opt]# tar -zxvf jdk-8u91-linux-x64.gz[root@slave2 opt]# vim /etc/profileexport JAVA_HOME=/opt/j

csvn

apache

svn

原创 2018-11-01 20:15:47 3760 阅读

sphinx结合scws的mysql全文检索

主要目的：打造千万级数据全文搜索的数据库，提升查询效率系统环境主机名IP地址相关服务版本SQL172.169.18.128mysql5.6（主）Sphinx172.169.18.210mysql5.6（从）php5.6Apache2.4sphinx版本：2.2.10sphinx插件：1.3.3scws分词版本：1.2.3一、简介1.1、 Sphinx是什么参考地址：http://www.sphin

sphinx

mysql

全文检索

原创精选 2018-10-31 20:55:58 3924 阅读 1点赞 1收藏

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客

蒋将将的博客