1.清理Binlog二进制日志的依据 Binlog日志非常重要，但是占用的磁盘空间也很大，我们也需要定期的去清理二进制日志，在MySQL数据库中，提供了自动清理Binlog日志的参数，根据指定的天数，保留n天内的Binlog日志，也可以手动人为删除。 在手动删除Binlog日志时，要切记不要使用rm -rf直接删除Binlog，会导致主从集群异常，如果的确使用rm -rf删除了Binlog文件，那
filebeat使用modules收集nginx日志 1.为什么要使用modules收集日志 modules只是filebeat的一个小功能，由于像mysql、redis等这种日志无发输出成json格式，filebeat无法将收集来的普通日志转换为json格式，从而进行细致的统计 logstash可以做到将普通日志转换成json格式，但是配置十分复杂，且容易出错 介于种种不便，elk官方推出了fi
filebeat收集容器日志 现在很多公司都是用docker容器来运行服务，一台机器上会有很多个docker，docker容器里面的日志也需要收集分析，filebeat也有docker容器的日志收集方案 官方配置地址https://www.elastic.co/guide/en/beats/filebeat/6.6/filebeat-input-docker.html 1.部署docker 1.安
1.RabbitMQ常用的工作模式 官方文档地址：https://www.rabbitmq.com/getstarted.html 工作模式其实就是消息队列分发消息的路由方式。 RabbitMQ常用的几种工作模式： 简单模式 WorkQueues工作队列模式 PubSub生产者/PubSub消费者模式 Routing路由模式 Topics通配符模式 发布/订阅模式（Publish/Subscri
Helm包管理系统的基本概念与应用 1.Helm应用包管理器概念 helm官网 1.1.为什么需要Helm k8s上的各种资源都是通过编写大量yaml文件来实现，编写yaml这种方式，针对一个服务来讲是足够的了。 如果我们有大量的服务程序需要部署，比如微服务系统，组成的应用可能长达几十个甚至上百个yaml文件，如果有大量的更新和回滚操作，维护这些yaml文件就会比较困难了，写yaml都能写到吐了
将Helm编写的Chart推送到Harbor仓库 1.将chart推送到harbor仓库 一个chart本身不是很大，将其推送到harbor，使用时直接pull或者install安装也是比较方便的 将chart推送到harbor大致分为如下四个步骤： 1.重新启动harbor增加--with-chartmuseum参数使harbor支持chart的推送 2.helm并不具备push的功能，因此需
基于Istio服务网格实现灰度发布机制 1.应用程序主流发布方案 1.1.蓝绿发布 Web应用程序在逻辑上分为A、B两组，在升级过程中，首先将B组从负载均衡器中移除，然后在B组的Web服务器中进行V2版本的升级，A组V1版本依旧正常提供应用服务，当B组完成应用升级后，将B组重新挂载到负载均衡器中，然后将V1版本的A组从负载均衡器中移除，这种发布模式被称为蓝绿发布。 蓝绿发布的特点： 策略简单
Istio服务网格核心资源YAML编排文件配置清单 1.Istio服务网格核心资源 官方文档介绍：https://istio.io/latest/docs/concepts/traffic-management/ Istio服务网格中的核心资源： Gateway：网关服务 VirtualService：虚拟服务 DestinationRule：路由规则 这些核心资源都是用于配置Istio流量管
MongoDB数据库授权认证 1.与用户相关的命令 db.auth() 将用户验证到数据库。 db.changeUserPassword() 更改现有用户的密码。 db.createUser() 创建一个新用户。 db.dropUser() 删除单个用户。 db.dropAllUsers() 删除与数据库关联的所有用户。 db.getUser() 返回有关指定用户的信息。 db.getUsers(
MongoDB数据库的备份恢复 1.mongodb备份还原工具 定时备份/全量备份 备份：mongodump 还原：mongorestore 备份格式： bson/gzip 分析数据/迁移数据 备份：mongoexport 还原：mongoimport 备份格式：json csv 2.mongoexport备份还原某个库的某张表 2.1.备份还原语法格式 mongoexpo
1.MongoDB副本集介绍 MongoDB的副本集就是主从复制，由于之前3.0版本之前就有主从复制的说法，后来更新迭代，起名叫副本集 副本集建议最少3台机器，一个主及诶单，两个从节点，如果是偶数台机器，需要在部署一个仲裁节点，否则会这导致集群选举异常 副本集（Replica Set）是一组MongoDB实例组成的集群，由一个主（Primary）服务器和多个备份（Secondary）服务器构成。通
ELK终极架构 (ELK终极架构) 1.ELK终极架构图 最接近终极的架构图就是我们从redis中读取收集来的日志最后由logstash存储到es库，但是这个架构有个缺陷假如redis挂掉，我们就无法收集日志了 redis单点问题，我们可以通过集群的方式来实现，但是redis的三种集群模式，除了主从复制，其他两个集群，filebeat均不支持将数据写入集群，但是主从复制又有弊端，假如主节点挂掉，还
利用kibana的快照存储库备份es索引 1.快照存储库备份es索引 es的索引库也是需要备份的，我们可以通过kibana上的快照存储库，给索引每天创建快照，定时备份 注意：使用nfs作为索引备份存储路径时，一定要为存储路径的属组和属主全部改成elasticsearch，否则会报没权限 但是修改属主属组有个问题，有的es集群的elasticsearch用户的uid和其他的会不同，这时就导致在nfs
1.消息可靠性保障 在实际生产环境中，可能会由于网络问题导致消息接收异常产生某种影响，基于这种情况我们需要保障消息的可靠性。 RabbitMQ中的消息可靠性也称为消息补偿，如下图所示，可以保证消息的可靠性。 分为9种种步骤实现消息补偿 1、生产者处理业务逻辑，将数据写入到数据库。 2、生产者将业务数据写入数据库后，向Q1消息队列发送消息数据。 3、生产者向Q1发送完消息数据后，过段时间后，会发送
Iptables防火墙基本匹配条件应用 应用匹配条件时，经常会用到以下几个参数。 -p：指定要操作的协议类型，不指定-p参数声明是那种协议，默认是all，也就是所有协议。 -s：指定源地址。 -d：指定目标地址。 --sport：指定源端口. --dport：指定目标端口。 -i：指定从哪个网卡进入的报文。 -o：指定从哪个网卡出去的报文。 -m： -j：指定策略的动作。 基本匹配条件案例一
Iptables防火墙的四表五链概念以及使用技巧 1.链的概念 在防火墙中，用户想要成功进入内网环境，就需要发送请求报文，请求报文要和防火墙设置的各种规则进行匹配和判断，最后执行相应的动作（放行或者拒绝），一个防火墙中通常针对不同的来源设置很多种策略，多个策略形成一个链，其实也可以理解成是分组的概念，在Iptables防火墙中针对不同的链路共分为五种不同的链。 如下图所示，当数据报文进入链之后，首
Iptables防火墙的基本概念以及执行原理 1.1.什么是防火墙？ 所谓“防火墙”是指一种将内部网和公众访问网（如Internet）分开的方法，它实际上是一种建立在现代通信网络技术和信息安全技术基础上的应用性安全技术，隔离技术。越来越多地应用于专用网络与公用网络的互联环境之中，尤其以接入Internet网络为最甚。 所谓的防火墙指的是一种手段，通过这种手段可以将暴露在公共环境下的物种，起到一
ELK+Kafka+Filebeat日志系统 1.环境规划 IP地址 部署的服务 主机名 192.168.81.210 es+kafka+zookeeper+kibana+logstash elk-1 192.168.81.220 es+kafka+zookeeper elk-2 192.168.81.230 es+kafka+zookeeper+nginx+filebeat
在统计分析应用中，从明细数据计算出来的各种指标是支撑业务的重要数据。但是，要做到快速而且灵活的多指标计算，后台数据源面临多个难题。多指标计算的一个难题是涉及的明细数据量非常大。政府、金融、能源和工业等各个行业，都在不断产生大量的明细数据。要在几千万甚至上亿的明细数据基础上计算多种指标，还要达到秒级响应的速度，对于传统数据库和大数据技术来说都是一个不小的挑战。另一个难题是需要同时计算的指标数量非常多
使用分布式集群来处理大数据是当前的主流，将一个大任务拆分成多个子任务分布到多个节点进行处理通常能获得显著的性能提升。因此，只要发现处理能力不足就可以通过增加节点的方式进行扩容，这也是很多拥趸者最朴素的想法。以至于当我们接触一项新的大数据处理技术往往首先问的就是支不支持分布式以及能支持多大规模的集群，可见“分布式思维”已经根深蒂固。那么分布式真是处理大数据的万能药吗？“万能”当然不可能。没有包治百病
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
