10个基础的每个linux用户都应该知道的网络和监控命令。网络和监控命令类似于这些： hostname, ping, ifconfig, iwconfig, netstat, nslookup, traceroute, finger, telnet, ethtool 用于查看lin
netstat -anp执行效果Proto:协议名（tcp协议还是udp协议)Recv-Q:网络接收队列 表示收到的数据已经在本地接收缓冲，但是还有多少没有被进程取走Send-Q:网路发送队列 对方没有收到的数据或者说没有Ack的,还是本地缓冲区. 如果发送队列Send-Q不能很快的清零，可能是有应用向外发送数据包过快，或者是对方接收数据包不够快。 这两个值通常应该为0，如果不为0可能是有问题的。
AWS S3 云存储 是按照存储容量，请求数，及网络流量三个维度进行收费。而如果涉及到使用S3 对外提供SaaS服务，成本分布及估算自然称为比较重要的需求。自然而言需要监控以上三个指标。先上官网说明性文档：https://docs.amazonaws.cn/AmazonS3/latest/dev/monitoring-overview.html 文章目录1 监控指标2 Cloudwatch使用2.
转载
2024-04-29 10:37:17
59阅读
可以毫不夸张的说现如今的互联网是基于TCP/IP构建起来的网络。弄懂协议栈的原理，无论对调试网络IO性能还是解决网络问题都是有很大帮助的。本片文章就带领大家来看看内核是如何控制网络数据流的。TCP特点我们都非常清楚TCP协议设计的初衷，就是保证数据传输的快速，有序，无误。所以特点总结如下：面向连接，可以用五元组来表示一条连接(远程ip，远程端口，本地ip，本地端口，传输层协议)。数据是全双工的数据
转载
2024-07-29 18:02:06
290阅读
# HBase JMX监控数据量入门指南
作为一名刚入行的开发者，你可能对HBase的JMX监控感到陌生。不用担心，本文将带你一步步了解如何通过JMX监控HBase的数据量。
## 流程概览
首先，我们通过一个表格来了解整个监控流程的步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 启动HBase服务 |
| 2 | 连接到HBase的JMX接口 |
| 3 | 查询
原创
2024-07-21 06:48:03
61阅读
随着软件和云技术的普及，越来越多的企业开始采用微服务架构、容器化、多云部署和持续部署模式，这增加了因系统失败而给运维/ SRE / DevOps 团队带来的压力，从而增加了开发团队和他们之间的摩擦，因为开发团队总是想尽快部署新功能，并启动新的 A/B 测试。在云时代，CI/CD 模式发展迅速，它能帮助研发团队快速改进、修复系统缺陷，把新功能推向生产，极大提高开发效率。CI/CD 能实现这一点，因为
近来，公司业务拓展，要处理一些超大规模的数据。业务单日数据规模巨大，一天需要采集几百亿甚至上千亿条目的数据，当然总数据规模更大，数据种类繁多，每种数据维度也很多，但数据是有保留期限的。因数据量级较大，起初我们选择了开源的ES进行数据处理和检索。ES是一个高扩展的全文检索和分析引擎，它可以准实时地快速存储、检索和分析海量的数据。ES基本是目前大数据平台中全文检索业务的中流砥柱，ES是面向文档型数据库
转载
2024-03-18 14:57:12
48阅读
查看linux中某个端口(port)是否被占用的方法1、使用lsoflsof -i:端口号查看某个端口是否被占用 2、使用netstat使用netstat -anp|grep 80以上这篇查看linux中某个端口(port)是否被占用的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。时间： 2017-05-02linux 查看端口占用命令实例详解 端口
转载
2024-02-24 02:01:37
29阅读
https://github.com/prometheus/prometheusArchitecture overviewPrometheus ServerPrometheus Server 负责从 Exporter 拉取和存储监控数据，并提供一套灵活的查询语言（PromQL）供用户使用。ExporterExporter 负责收集目标对象（host, container…）的性能数据，并通过 HT
bloom-filter 算法 场景：我说的大数据量处理是指同时需要对数据进行检索查询，同时有高并发的增删改操作； 记得以前在XX做电力时，几百万条数据，那时一个检索查询可以让你等你分钟；现在我是想探讨下对大数据量的处理，那时我就在想例如腾讯，盛大，动辄数以亿计的帐号,怎么能这么快呢， 于是找到了互联网现在对数据处理的发展：对于大数据量处理，如果是互联网处理的话，一般分为下面阶段：第一阶段，所有
转载
2024-10-08 13:27:13
16阅读
简介kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息。为了做到水平扩展，一个topic实际是由多个partition组成的，遇到瓶颈时，可以通过增加partition的数量来进行
数据的存储一直是一个很热门的话题和技术，数据的存储不但要持久化存储，还要有更优的存储技术。有些人会想能把数据存起来就好了干嘛还有更优的存储呢？我现在这里说明一下，这里所指的更优化的存储指的是：数据写入和读取的速度、数据存储的安全、数据存储的备份和容灾、数据存取的事务性。在这四项里面数据写入和读取的速度与数据存储的安全就一直是一个痛点也可以说是你死我活的点。一般的比较体积比较小的数据只需要少则500
转载
2024-08-15 10:50:32
39阅读
接上个实验1、对server5上的httpd服务监控http服务的监控比较简单，只是监控了80端口是否开启先在server5上安装apache,并开启：yum install httpd -y
systemctl start httpd在zabbix上添加监控hpptd的模板： 点击主机server2 --> 点击模板 --> 添加模板（Template APP HTTP Servi
# Linux如何查询HBase数据量
HBase是一个分布式的NoSQL数据库，适用于大规模数据存储和处理。在Linux系统上，我们可以使用HBase Shell或HBase Java API来查询HBase中的数据量。
本文将演示如何使用Linux命令和HBase Shell查询HBase中的数据量。以下是我们的步骤：
1. 安装HBase并启动HBase服务。
2. 创建一个HBase
原创
2023-11-12 11:11:18
87阅读
类似于Oracle的分析表，Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。 表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大小、最后一次操作时间等； 14.1 新表的统计信息 对于一个新创建的表，默认情况下，如果通过INSERT OVERWRITE的方式插入数据，那么Hive会自动将该表或分区的统计信息更新到元数据
转载
2023-10-05 19:10:47
131阅读
在Linux操作系统中，网络通信是一个非常重要的技术领域，而发送数据是网络通信中最基本的功能之一。在Linux中，发送数据是通过网络端口进行的，通过指定端口来确定数据的发送和接收方。在网络通信中，发送数据的间隔也是一个非常关键的参数，可以影响通信的效率和稳定性。
在Linux中，发送数据是通过socket编程实现的，通过socket可以创建一个TCP或UDP连接来发送和接收数据。在socket编
原创
2024-05-30 10:33:55
37阅读
离线阶段第十天hive+azkaban+sqoop+flumeimpala+hue+oozie 新一套的离线处理架构impala的基本介绍：Cloudera公司开源提供的一款sql on hadoop的软件。号称是当前大数据领域大查询最快的一款sql on hadoop的工具impala能够兼容hive，具有实时批处理等特点，提供高并发impala与hive之间的关系impala与hive是紧耦合
转载
2023-07-12 21:23:22
53阅读
目录数据量与信息量的关系：数据量=信息量+冗余数据量冗余分类心理视觉冗余编码冗余数据量与信息量的关系：数据量=信息量+冗余数据量数据用来记录和传送信息，是信息的载体；数据的处理结果是信息。
数据压缩的对象是数据，而不是“信息”
数据压缩的目的是在传送和处理信息时，尽量减小数据量要使数字电视信号适合于实际存储和传输，必须压缩数据量，降低传输数据码率
（前提：压缩后图像质量要满足视觉要求）冗余分类空间
转载
2023-08-27 01:56:20
65阅读
之前已经说过了自己写sh脚本监控，我看有人评论了说用telegraf进行数据收集，于是乎去研究了下，感觉还可以，不过磁盘io的的表个人感觉有些美中不足，并未直接给出读写速率的情况，可能是研究时间太短，没搞定，希望会的能够指点迷津，接下来把我这两天研究的成果展示下。https://www.jianshu.com/p/dfd329d30891，安装比较简单，这里简单再说一下：wget https:
转载
2024-05-18 23:04:35
63阅读
某光伏电站项目 7488个组件，容量2396kWp，单片功率320Wp，每24个一串，每13个串接入一台逆变器，共24台100kW组串式逆变器 10个方阵各3台逆变器1个月的5min间隔有功功率运行数据，数据量 8.5M 贝壳找房 产品技术团队：1000人 日志流式数据：线上服务2000个 埋点数据 ...
转载
2021-07-29 16:20:00
192阅读
2评论
