说明 在使用 ElasticSearch 时,为了对集群及索引状态等运行状态进行监控,你可以使用 Prometheus 监控服务提供的基于 Exporter 的方式。这种方式可以轻松监控 ElasticSearch 的运行状态,并使用内置的 Grafana 监控大盘,使监控变得更加易于管理和可视化。 为了使部署和管理更加高效,我选择将其直接部署在 Kubernetes 上。当然,如果实际情况需要,
操作步骤 # 查看当前磁盘信息 lsblk -f 对当前超过2T磁盘使用parted创建lvm格式分区: parted /dev/sda GNU Parted 3.1 Using /dev/sda Welcome to GNU Parted! Type 'help' to view a list of commands. (parted) print
前言 本文借鉴和参考:https://blog.51cto.com/u_15445837/6081230,如有侵权,请与我联系,感谢~ 架构图 说明: 如上图,VIP地址是10.0.x.126,如果主机10.0.x.125宕机,会自动切换到备机10.0.x.23,由于是双主,数据可以进行同步恢复。 部署流程 部署大致流程如下: 在10.0.x.125服务器上部署docker、master1
说明 这里的方式是通过MYSQL官网下载包进行安装 Mysql 客户端,直接使用yum的安装方式没试过,安装命令yum install mysql-devel。 mysql客户端安装 需要在官网上下载4个包,这里以8.0.25版本为例,要下载的包如下: mysql-community-common mysql-community-client-plugins mysql-community-lib
说明 测试环境我们可能使用压缩包或docker方式以单节点的形式启动服务,但在生产环境需要一个更加简单和稳定的方式去部署我们的EMQX企业版服务。 部署架构 EMQX 集群可作为物联网接入服务(IoT Hub)部署,目前 EMQ 在青云、阿里云、AWS 等云服务提供商上均提供开箱即用的免费软件镜像,对于特殊硬件平台和系统版本如树莓派、Linux ARM,可使用源码编译安装。 典型部署架构: LB
说明 Portainer是用于管理Dcoker应用/服务的web可视化工具。支持多个服务器节点。 安装 portainer server 网上有很多使用 docker 部署 portainer 的文档,需要的可以自行搜索参考,本文重点说下 k8s 上部署 portainer server。 提前创建一个持久卷,我这里是portainer-data-pvc。 这里提供一个 k8s deploymen
说明 我们原有的 MongoDB 副本集集群部署在 k8s 上,后因业务需求,在 k8s 集群外使用三台虚拟机组建了一套相同架构的 MongoDB 副本集集群,现想将在k8s集群上mongoDB数据迁移到新的MongoDB集群里。 集群信息: mongodb-1:10.x.x.56 mongodb-2:10.x.x.57 mongodb-3:10.x.x.58 功能 mongos:2
说明 核心点: 1、默认超时时间是28800秒,即8小时。 2、最大连接数默认是151个(上限为1000)。 3、当查询数量大于其最大连接数且没有超过默认时间时,后面的请求将无法响应,即会返回Too many connections错误信息,此时查询数据库show full processlist;可以发现大量的连接处于sleep状态。 4、临时优化方案: set GLOBAL interac
故障现象 公司某公有云上一台临时测试主机突然无法正常登录,从控制台查看监控图像发现已经无法正常显示即时信息,将监控时间范围调整7天内,发现如下图信息: 查看系统进程信息: 故障原因 kswapd0,管理虚拟内存并且可能由于过于频繁地将进程移动到SWAP而出现问题,导致 cpu 峰值和系统性能下降。 kswapd0 的高 CPU 使用率表示内存不足并且正在进行内存交换。 系统检查 Swappi
说明本篇文章仅是基于k8scronjob备份mysql8.0+数据库,使用AlpineLinux作为基础镜像时遇到的问题做下简单的排坑,没有涉及到具体的部署细节,后面有时间再补上。镜像打包python最新镜像dockerbuildtregistry.cnshanghai.aliyuncs.com/test/mysqlbackup:202302211550.定时执行基于k8scrontabjob运行
说明mysql集群部署在k8s上,架构是“一主两从”,机房突然断电,导致mysql集群启动之后,发生主从同步异常。主库上查看binlog信息:sqlmysqlshowmasterstatus\G;1.rowFile:mysql0bin.000365Position:499726305Binlog_Do_DB:Binlog_Ignore_DB:Executed_Gtid_Set:1rowinset(
部署cAdvisor在被监控的Docker节点机器上启动cAdvisor服务,启动方式使用Docker启动:pythondockerrun\volume=/:/rootfs:ro\volume=/var/run:/var/run:rw\volume=/sys:/sys:ro\volume=/var/lib/docker/:/var/lib/docker:ro\publish=8080:8080\d
说明之前文章有聊过使用Prometheus监控自建Mysql(https://blog.51cto.com/wutengfei/5201826),感兴趣的同学可以看下。本次我们简单聊下结合consulmanager使用一个mysqldexporter监控所有的MySQL实例的具体实现方法。主要步骤:数据库授权部署mysqlexporter对接Prometheus监控对接consulmanager服
说明之前有写过使用k8s部署redisexporter监控所有的Redis实例(https://blog.51cto.com/wutengfei/5997105),简单分析了关于redis的监控和告警部署与配置。本文将结合ConsulManager部署一个redisexporter监控所有的Redis实例。部署redisexporter这里提供两种部署方式,我这里选择使用k8s部署方式,大家按需选
说明针对于redis实例的监控主要分为两类:自建redis实例云端托管的redis本文主要简单说明下使用redisexport+Prometheus+Consul+Grafana+Prometheusalert整套流程对自建redis监控指标收集,看板展示和信息告警的基本流程。部署redisexport本次部署使用k8s,yaml部署文件如下:yamlcatredisexporterselfbui
故障现象CentOS系统启动时出现Failedtomount/sysroot错误,导致系统无法正常启动。正常进入系统后,docker无法正常使用,出现Failedtoconnecttocontainerd:failedtodial"/var/run/docker/containerd/dockercontainerd.sock":contextdeadlineexceeded错误。故障修复首先我们
系统配置Linux是有文件句柄限制的,而且默认不是很高,一般都是1024,作为一台生产服务器,其实很容易就达到这个数量。为防止服务因toomanyopenfiles错误出现宕机,这里需要对linux系统句柄数进行调整。python临时调整,系统重启即失效ulimitSHn65535永久调整,编辑/etc/security/limits.conf文件,最后行添加:重新登录验证,或reboot后验证。
四层负载均衡的特点四层负载均衡仅能转发TCP/IP协议、UDP协议、通常用来转发端口,如:tcp/22、udp/53;四层负载均衡可以用来解决七层负载均衡端口限制问题;(七层负载均衡最大使用65535个端口号)四层负载均衡可以解决七层负载均衡高可用问题;(多台后端七层负载均衡能同时的使用)四层的转发效率比七层的高得多,但仅支持tcp/ip协议,不支持http和https协议;通常大并发场景通常会选
背景在k8s上部署一主两从mysql集群架构,使用动态持久卷各分配100G卷空间。MySQL版本使用8.0.26。binlog日志并没有做限制。上线一段时间后,通过查看卷空间发现mysqlbinlog目录满了,数据库处于lock状态已无法正常响应了。处理流程最初登录进数据库,想通过purge命令清理不行,此时数据库已经hang住。通过mysql命令清除日志不行,尝试通过系统命令先把几个binlog
说明redisdump是一个第三方的工具,这就意味着需要安装才能使用,它依赖与ruby。经过踩坑发现对ruby版本还是有要求的,Centos7.+使用yuminforuby发现版本为2.0.0.+,这个时候你大概率会很麻烦,你需要通过rvm升级ruby或源码安装ruby,而不能简单使用yum进行升级。如果你使用Ubuntu20,你可以使用aptgetinstallrubyfull直接使用的。这里使
服务框架!(https://s2.51cto.com/images/blog/202210/07220611_634032536768b39806.jpg?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGV
使用kubectl安装OpenELBpython当前使用的是最新版openelb:v0.5.1kubectlapplyfopenelb.yaml执行完毕后,请再次执行下述命令检查openelbmanager的状态:pythonkubectlgetpodnopenelbsystemowideNAMEREADYSTATUSRESTARTSAGENODENOMINATEDNODEREADINESSGAT
报错现象!(https://s2.51cto.com/images/blog/202209/08183804_6319c60c2bea06529.jpg?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVp
创建目录pythoncd/home/dev/kafkamkdirkafkaagentkafkaservicekafkaagent目录下下载jmx_exportpython下载链接wgethttps://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.17.0/jmx_prometheus_javaagent0.
使用Helm部署HarborHarbor支持多种安装方式,之前我部署过使用dockercompose(https://blog.51cto.com/wutengfei/3741676)的形式运行Harbor各个组件,有需要的同学可以参考我之前写的博客。现在我们使用一种更简单的部署方法:HelmHelm安装harborHarbor官网(https://goharbor.io/docs/2.5.0/)
该文档操作的是同一可用区下的EC2和S3。说明亚马逊云科技在2021年2月正式发布了适用于 Amazon S3 的 Amazon PrivateLink,Amazon PrivateLink 使用虚拟网络中的私有 IP 提供 Amazon Simple Storage Service (S3) 与本地资源之间的专用连接。借助此功能,现在可以使用 Virtual Private Cloud 中的接口
Authelia和Nginx的结合使用使用Authelia的一个登录页面保护所有自托管服务,这是一个SSO门户,用于在Nginx反向代理后面对你的所有服务进行身份验证。关于Authelia容器化部署可参考官网或我之前写的k8s部署Authelia(LDAP认证)(https://blog.51cto.com/wutengfei/5388641),部署方式很多,选择一个适合自己环境的部署方式即可。思
问题引入我们在使用AWSEFS(://aws.amazon.com/cn/efs/)作为k8s持久卷时,时常会碰到chown:changingownershipof'xxxx':Operationnotpermitted这样的权限问题。SecurityContextSecurityContext(://kubernetes.feisky.xyz/concepts/objects
需求普通成员在组内赋予Developer权限后,能够在该组内进行如下操作:在该组下可以创建新的项目在该组下可以创建新的子组脱离本组之后,则无法创建新的项目和新的组Gitlab权限Gitlab用户在组中权限Gitlab用户在组中有五种权限:Guest、Reporter、Developer、Master、Owner用户角色权限::::Guest可以创建issue、发表评论,不能读写版本库Reporte
需求说明禁止用户创建项目组,更改属性gitlab_rails'gitlab_default_can_create_group'=false禁止创建个人项目,更改属性projectslimit修改服务器配置文件之后,创建新的用户,默认就不会带有创建项目组权限了。但是这里有个问题,之前创建好的用户,不会因为修改了服务端的配置而更改权限,需要人为手动去改。处理流程禁止创建个人项目登录管理员账号左栏目Se
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号