【摘要】Linux如何删除大量小文件?本文介绍了两种方法。【作者】赵靖宇环境:RHEL 6.5 + Oracle 11.2.0.4需求:使用df -i巡检发现Inodes使用率过高,需要清理删除文件来解决。如果Inodes满,该目录将不能写,即使df -h查看还有剩余空间。1.问题现象Oracle的adump下记录的是sys的登陆审计信息,特点是小碎文件非常多,经常会遇到使用rm -rf *命令删
【摘要】本文介绍了可观测生态领域相关的技术——Distributed Tracing(分布式追踪)【作者】李杰,专注于Java虚拟机技术、云原生技术领域的探索与研究。什么是 “Distributed Tracing - 分布式追踪” ?Distributed Tracing ( 分布式追踪 )是一种用于监测和分析分布式应用程序的技术和方法。它旨在追踪和记录应用程序中的请求和操作,从而提供对应用程序
Ansible 是一种开源的自动化运维工具,它基于 YAML 语言编写 playbook,可以用来自动化服务器的配置、部署和管理。Ansible 使用 SSH 协议进行通信,可以在大量服务器上进行批量操作,无需在目标服务器上安装任何客户端软件。它支持多种操作系统,包括 Linux、Windows、Mac OS X 等。Ansible 可以用来自动化各种任务,例如安装软件、配置服务、备份数据、部署应
1 Kafka 概述Kafka 起初是 由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统,现已被捐献给 Apache 基金会。目前 Kafka 已经定位为一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用,主要是由 Scala 和 Java 编写。它是一种高吞吐量的分布式发布订阅消息
【摘要】本文介绍了Redis缓存原理、详细解析了缓存模型、缓存一致性和缓存异常场景。【作者】李杰,专注于Java虚拟机技术、云原生技术领域的探索与研究。尽管(关系型)数据库系统 (SQL) 带来了许多出色的属性,例如 ACID,但为了保持这些属性,数据库的性能在“ 3 高” 条件环境下下往往显得捉襟见肘、苍白无力 。为了解决这个问题,我们往往需要在应用层(即处理业务逻辑的后端代码)和存储层(即 S
背景Vim 是一款流行的、高效的、全屏幕的文本编辑器,它被广泛用于开发、编译、校对和其他与文本相关的工作。Vim 具有强大的功能,如自动完成、跳转、高亮和重复等等,使得用户能够更快速、更高效地进行文本编辑。1. N 种模式首先,vim 编辑器有三种模式,其实不止三种模式,只是为了更好入门,一般介绍三种模式,这里列出四种。一般模式:你打开 Vim 就是一般模式;编辑模式:按 i、a、o 可以进入的模
指标是用来衡量性能、消耗、效率和许多其他软件属性随时间的变化趋势。它们允许工程师通过警报和仪表盘来监控一系列测量值的演变(如CPU或内存使用量、请求持续时间、延迟等)。指标在IT监控领域有着悠久的历史,并被工程师广泛使用,与日志和链路追踪一起被用来检测系统是否有不符合预期的表现。在其最基本的形式中,一个指标数据点是由以下三个部分构成:一个指标名称收集该数据点的时间戳一个由数字表示的测量值在过去的十
Redis简介Redis 是 C 语言开发的一个开源高性能键值对的内存数据库,可以用来做数据库、缓存、消息中间件等场景,是一种 NoSQL(not-only sql,非关系型数据库)的数据库。Redis特点优秀的性能,数据是存储在内存中,读写速度非常快,可支持并发10W QPS。单线程单进程,是线程安全的,采用 IO 多路复用可作为分布式锁支持十种数据类型支持数据持久化可以作为消息中间件使用,支持
需求在运维工作中随着我们积累的经验不断增多,不知你是否遇到过以下几个场景:Linux 如何快速删除大量文件?Vsphere 如何在不重启的情况下识别新添加的iscsi硬盘?Linux 中 rm 命令如何做到防误删?不同 Linux 服务器之间如何实现快速挂载?Linux 中如何将用户快速添加到附属组?细心的人往往会通过自己特有的方式来快速处理,不禁让人拍手叫绝。下面我就来具体介绍下我的处理方式吧。
Linux 性能优化性能优化性能指标高并发和响应快对应着性能优化的两个核心指标:吞吐和延时应用负载角度:直接影响了产品终端的用户体验系统资源角度:资源使用率、饱和度等性能问题的本质就是系统资源已经到达瓶颈,但请求的处理还不够快,无法支撑更多的请求。性能分析实际上就是找出应用或系统的瓶颈,设法去避免或缓解它们。选择指标评估应用程序和系统性能为应用程序和系统设置性能目标进行性能基准测试性能分析定位瓶颈
kubectl 常用命令指南Kubectl 命令是操作 kubernetes 集群的最直接的方式,特别是运维人员,需要对这些命令有一个详细的掌握Kubectl 自动补全# setup autocomplete in bash, bash-completion package should be installed first. $ source <(kubectl completion ba
日志是处理生产故障、性能优化、业务分析的重要参考依据,是系统稳定运行不可或缺的一部分。随着业务系统规模急剧膨胀增大,尤其是是微服务架构逐渐普及,一个系统可能涉及多个应用模块与服务实例,传统模式下运维人员去定位问题显得异常困难,效率低下。当服务器资源增加时,各种类型的系统日志、业务日志、组件日志、容器日志等散落在不同设备上,故障排查异常艰难,因此构建高效且统一的日志中心能力尤为必要。本文主要研究基于
Redis 缓存使用内存来保存数据,随着需要缓存的数据量越来越大,有限的缓存空间不可避免地会被写满。此时,应该怎么办?本篇文章接下来就来聊聊缓存满了之后的数据淘汰机制。值得注意的是,在 Redis 中 过期策略 和 内存淘汰策略 是两个完全不同的概念。Redis 过期策略指的是 Redis 使用哪种策略,来删除已经过期的键值对;而内存淘汰机制指的是当 Redis 运行内存已经超过设置的最
1 常用的 Load 分析方法CPU高、Load高通过 top 命令查找占用CPU最高的进程PID;通过top -Hp PID查找占用CPU最高的线程TID;对于java程序,使用jstack打印线程堆栈信息;通过printf %x tid打印出最消耗CPU线程的十六进制;CPU低、Load高产生的原因一句话总结就是:等待磁盘I/O完成的进程过多,导致进程队列长度过大,但是CP
一、用户故事刘总是浙江某公司信息部门负责人,在多年前就已经上线国内某知名网管运维软件产品。“那是一个失败的项目,我们的运维工程师每天都要遭受告警风暴的折磨,重要的告警被海量、无效告警淹没,你要知道公司处理每个告警都要付出很高时间成本的,不处理又会产生很大的风险成本”。刘总询问工程师,能否再找一个运维平台试试。但工程师告知他,其他产品也都差不多,要像银行、运营商那样做到及时处理所有告警,除了增加一线
使用 Promethues 实现应用监控的一些实践在这篇文章中我们介绍了如何利用 Prometheus 监控应用。在后续的工作中随着监控的深入,我们结合自己的经验和官方文档总结了一些 Metrics 的实践。希望这些实践能给大家提供参考。确定监控对象在具体设计 Metrics 之前,首先需要明确需要测量的对象。需要测量的对象应该依据具体的问题背景、需求和需监控的系统本身来确定。从需求出发Googl
在如今快节奏的技术领域,容器编排平台 Kubernetes(简称K8s)以其强大的功能和灵活性,成为了现代应用开发和部署的重要工具。然而,对于刚刚接触K8s的新手而言,手动编写 K8s 的 YAML 配置文件可能会是一件令人望而却步的挑战。毕竟,这些配置文件包含了许多复杂的对象和属性,光是理解 Pod 对象的各个字段、它们的含义以及可接受的值就可能让人头疼不已。如果你也曾为此烦恼,不妨阅读本篇文章
概述Redis 是一个开源的高性能键值数据库,它支持多种数据类型,可以满足不同的业务需求。本文将介绍 Redis 的10种数据类型,分别是string(字符串)hash(哈希)list(列表)set(集合)zset(有序集合)stream(流)geospatial(地理)bitmap(位图)bitfield(位域)hyperloglog(基数统计)String概述string 是 Redis 最基
什么是CRDCRD的全称为 CustomResourceDefinitions,即自定义资源。k8s拥有一些内置的资源,比如说Pod,Deployment,ReplicaSet等等,而CRD则提供了一种方式,使用户可以自定义新的资源,以扩展k8s的功能。使用CRD可以在不修改k8s源代码的基础上方便的扩展k8s的功能,比如腾讯云TKE使用CRD:logcollectors.ccs.clo
前言MySQL 中读写分离是经常用到了的架构了,通过读写分离实现横向扩展的能力,写入和更新操作在源服务器上进行,从服务器中进行数据的读取操作,通过增大从服务器的个数,能够极大的增强数据库的读取能力。MySQL 中的高可用架构越已经呈现出越来越复杂的趋势,但是都是才能够最基本的一主一从演化而来的,所以这里来弄明白主从的基本原理。首先来弄明白主从和主备,以及双主模式之间的区别。双主有两个主库,每个主库
数字化转型的背景下,运维环境和技术实现发生很大变化。一、运维环境发生了哪些变化?例如业务上云,运维环境就发生变化,包括运维对象,运维流程和运维工具。首先运维对象在机房动环、物理设备基础上增加了虚拟机、云平台、容器、PaaS组件、应用系统等软件层面的元素;运维流程从以故障和事件为触发的被动响应模式向以应用持续稳定运行为目标的主动防御模式转型;运维工具从监控和处置分离的简单工具时代向以全流程监控、联动
今天要聊的是一位来自有福之州的医疗客户,从产品落地至今一直使用,连续四年不断续约,名副其实的榜一大哥。最初打动用户的,来自技术团队的服务能力,以及客户对新生产品期待和支持,而五年来不离不弃,出于习惯?还是依赖?为更好地服务客户,我们通过数据和实践案例分析,阐述LinkSLA对用户产生的实际价值。01基础数据过去一年数据显示,累计接入资产306,产生工单498个,事件1748起,工单响应超时0,处理
我们知道 Kubernetes(以下简称“K8s”)中各种资源对象的数据是通过 K8s 的 API 进行提交并持久化到存储 etcd 中的(称为K8s对象),K8s 对象是使用 K8s 的接口,kubelet 客户端通过操作这些对象来使用K8s能力。其中 kubectl 是我们使用最多的命令行工具。K8s官方对 kubectl 管理 K8s 对象的技术做了如下表的总结:假如我们现在要在名为 tes
Dockerfile 的语法非常简单,然而如何加快镜像构建速度,如何减少 Docker 镜像的大小却不是那么直观,需要积累实践经验。这篇文章可以帮助你快速掌握编写Dockerfile 的技巧。目标更快的构建速度更小的Docker镜像大小更少的Docker镜像层充分利用镜像缓存增加Dockerfile可读性让Docker容器使用起来更简单总结编写.dockerignore文件容器只运行单个应用将多个
数字化转型背景下,随着轻量化的容器化技术和微服务应用的深度融合,业务复杂度随之上升。基于Prometheus的容器云监控体系成为目前主流容器监控事实标准,本文主要介绍Prometheus云原生监控体系,涵盖指标采集、数据存储、可视化展示,告警入库等功能,结合生产实践供大家参考。一、监控对象Prometheus监控范围覆盖IT基础设施层通用的服务器、中间件、数据库、容器/集群、服务可用性的指标,根据
Kubernetes,通常缩写为 K8s,是领先的容器编排工具。该开源项目最初由 Google 开发,帮助塑造了现代编排的定义。该系统包括了部署和运行容器化系统所需的一切。社区供应商基于 Kubernetes 创建了适用于不同用例的独立发行版。K3s[1] 是由 Rancher 创建的一种 kubernetes 流行发行版,现在作为云原生计算基金会[2](CNCF)的一部分进行维护。K3
Elasticsearch 是一个实时的分布式搜索分析引擎,它的底层是构建在Lucene之上的。简单来说是通过扩展Lucene的搜索能力,使其具有分布式的功能。ES通常会和其它两个开源组件logstash(日志采集)和Kibana(仪表盘)一起提供端到端的日志/搜索分析的功能,常常被简称为ELK。Clickhouse是俄罗斯搜索巨头Yandex开发的面向列式存储的关系型数据库。ClickHouse
什么是 CSRF 攻击?跨站点请求伪造 (CSRF) 攻击允许攻击者伪造请求并将其作为登录用户提交到 Web 应用程序,CSRF 利用 HTML 元素通过请求发送环境凭据(如 cookie)这一事实,甚至是跨域的。与 XSS 一样,要发起 CSRF 攻击,攻击者必须说服受害者单击或导航到链接。与 XSS 不同的是,CSRF 只允许攻击者向受害者的来源发出请求,并且不会让攻击者在该来源内执行代码。这
企业基本都有自己的IT系统,而每个IT系统都有自己的监控系统。企业级的IT应用监控架构是一种综合性的解决方案,涉及到很多层级和相应的工具。随着企业IT系统的规模和复杂程度的不断增加,监控和管理系统也面临着越来越大的挑战。大家有时在建立监控时,不知道从何处入手;有时建立监控系统后,发现很多的盲点无法监控到。本文将分享IT应用运维监控的基本原理、通用监控体系和应用场景、监控平台设计、智能监控的实现方法
为什么使用 LokiLoki 是一个轻量级的日志收集、分析的应用,采用的是 promtail 的方式来获取日志内容并送到 loki 里面进行存储,最终在 grafana 的 datasource 里面添加数据源进行日志的展示、查询。loki 的持久化存储支持 azure、gcs、s3、swift、local 这 5 中类型,其中常用的是 s3、local。另外,它还支持很多种日志搜集类型,像最常用
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号