Zabbix核心组件主要是Agent和Server，其中Agent主要负责采集数据并通过主动或者被动的方式采集数据发送到Server/Proxy，除此之外，为了扩展监控项，Agent还支持执行自定义脚本。1. zabbixZabbix核心组件主要是Agent和Server，其中Agent主要负责采集数据并通过主动或者被动的方式采集数据发送到Server/Proxy，除此之外，为了扩展监控项，Age
转载
2024-05-12 20:01:26
63阅读
随着移动互联网的飞速发展，信息的传输日益方便快捷，端到端的需求也日益突出，纵观整个移动互联网领域，数据已被认为是继云计算、物联网之后的又一大颠覆性的技术性革命，毋庸置疑，大数据市场是待挖掘的金矿，其价值不言而喻。可以说谁能掌握和合理运用用户大数据的核心资源，谁就能在接下来的技术变革中进一步发展壮大。 大数据，可以说是史上第一次将各行各业的用户、方案提供商、服务商、运营商以及整个生态链上游厂商
转载
2024-07-24 12:18:12
51阅读
2018年国内大数据公司50强榜单排名已经公布了出来，大快以黑马之姿闯入50强，并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》，继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。DKhadoop大数据处理平台架构的安装相关文章已经分享过，详细的内容可以找一下看看。在上一篇中已经
转载
2024-05-24 16:18:17
56阅读
“如果你是一个经验丰富的运维开发人员，那么你一定知道ganglia、nagios、zabbix、elasticsearch、grafana等组件。这些开源组件都有着深厚的发展背景及功能价值，但需要合理搭配选择，如何配比资源从而达到性能的最优，这里就体现了运维人的深厚功力。”下文中，联通大数据平台维护团队将对几种常见监控组合进行介绍，并基于丰富的实战经验，对集群主机及其接口机监控进行系统性总结。科普
转载
2023-11-09 22:40:27
140阅读
作者简介陈晓鹏2008年进入腾讯，2012年调入微信运维开发组负责运维监控系统的改造，是微信当前运维监控系统的主要设计开发人员。前言本文分享的是微信运维监控系统的具体设计实践。在分享开始之前先看如下图中微信后台系统的现状，面对庞大的调用量及复杂的调用链路，单靠人力难以维护，只能依赖一个全方位监控、稳定、快速的运维监控系统。我们的运维监控系统主要有三个功能:第一个是故障报警;第二个是故障分析和定位;
转载
2024-05-28 21:48:41
72阅读
相信大家现在对“雪亮工程”、“明厨亮灶”、“智慧天眼”这类词并不陌生，在国家的号召下，我们已经建成了世界上最大的视频监控网，视频智能化被运用到了各个独立的行业当中，大数据时代已经到来，以视频监控应用为核心的大数据智慧安防已经成了当代公共治安防控工作发展的新趋势。在大数据时代下，很多安防厂商不断推出智能检索、人脸识别、车牌识别等各类监控视频智能应用产品。而与当下火热的AI产品不同的是，以大数据可视化
转载
2024-05-17 13:44:09
84阅读
视频数据信息，无疑给安防大数据信息处理带来更多压力。如果说高清不再是安防唯一发展方向，那么与之并驾齐驱的只有智能监控。那么安防大数据背后，智能监控又会有怎样的发展，安防企业又会使出哪些杀手锏呢？今天就来讨论关于智能监控的六大应用。 智能监控再升级：车脸检索 在文章开始笔者介绍了关于图像复原技术，特别适用于车牌识别。往往有些狡猾的犯罪分子，可能会使用假车牌，这情况给破案带来很大麻烦。法网恢恢
转载
2024-05-03 19:17:41
64阅读
大数据的来源多种多样，在大数据时代背景下，如何从大数据中采集出有用的信息是大数据发展的最关键因素。大数据采集是大数据产业的基石，大数据采集阶段的工作是大数据的核心技术之一。为了高效采集大数据，依据采集环境及数据类型选择适当的大数据采集方法及平台至关重要。下面介绍一些常用的大数据采集平台和工具。1 FlumeFlume作为Hadoop的组件，是由Cloudera专门研发的分布式日志收集系
转载
2024-03-26 09:31:25
62阅读
大数据方面核心技术有哪些？大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。 一、数据采集与预处理对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些
大家好，我是脚丫先生 (o^^o)大数据平台设计中，监控系统尤为重要。它时刻关乎大数据开发人员的幸福感。试想如果半夜三更，被电话吵醒解决集群故障问题，那是多么的痛苦！！！但是不加班是不可能的，因此就要避免无效的集群报警对我们造成影响，完善我们的监控预警系统，经过精细化监控指标项、对异常进行自动化处理、告警收敛等一系列操作，相信你也可以睡一个安稳觉。一、监控系统小伙伴们都知道，搭建一个大数据平台不是
转载
2023-09-03 22:05:25
432阅读
第一次发，有点水。最近在用flink做一些数据分析，下面是一些安装步骤共三台服务器：Jdk11KafkaZookeeperFlinkEsJdk11KafkaZookeeperFlinkEsRedisJdk11flumekafkazookeeperflink(主)ES将所有压缩包根据上图上传到相应的服务器上；解压所有压缩包关闭防火墙查看防火墙运行状态：firewall-cmd --state关闭：
转载
2024-05-07 19:47:40
31阅读
背景数据，已经成为互联网企业非常依赖的新型重要资产。数据质量的好坏直接关系到信息的精准度，也影响到企业的生存和竞争力。Michael Hammer（《Reengineering the Corporation》一书的作者）曾说过，看起来不起眼的数据质量问题，实际上是拆散业务流程的重要标志。数据质量管理是测度、提高和验证质量，以及整合组织数据的方法等一套处理准则，而体量大、速度快和多样性
转载
2024-05-07 13:39:40
84阅读
写在前面，阅读本文前，你需要了解熔断器相关内容SpringCloud微服务：Hystrix组件，实现服务熔断一、聚合监控简介1、Dashboard组件微服务架构中为了保证程序的可用性，防止程序出错导致网络阻塞，出现了断路器模型。断路器的状况反应程序的可用性和健壮性，它是一个重要指标。HystrixDashboard是作为断路器状态的一个组件，提供了数据监控和直观的图形化界面。2、Turbine组件
转载
2024-02-19 22:47:34
45阅读
导言根据Gartner的数据，到2020年全球将有208亿个连接产品投入使用。Uber机器学习负责人Danny Lange的目标是将机器学习待到Uber业务的每个角落。连接事物的示例包括联网汽车和设备以及医疗保健、电信、制造、零售和金融的应用。利用来自这些设备的大量数据、实时处理事件，应用机器学习来增加价值，以及可扩展的快速存储。这些类型的应用程序的体系结构通常是事件驱动的微服务体系结构。这是系列
转载
2024-04-23 08:23:29
51阅读
在上一篇的文章中已经明确说过DKM作为大快发行版DKhadoop的管理平台，它的四大功能分别是：管理功能，监控功能，诊断功能和集成功能。管理功能已经给大家列举了一些做了说明，今天就DKM平台的监控功能再给大家做细致的分享分析。DKM 提供了许多监控功能，用于检测集群健康，组件性能以及集群中运行的作业的性能和资源需求。具体包括以下监控功能：1、服务监控：查看服务和角色实例级别健康检查的结果，并
转载
2024-04-08 10:42:33
42阅读
机房监控系统是主要是针对机房所有的设备及环境进行集中监控和管理而研制的，其监控对象主要是机房动力和环境等设备（如：配电、UPS、空调、温湿度、漏水、门禁、安防、消防、防雷等）。机房监控系统基于网络综合布线系统，采用集散监控，在机房监视室放置监控主机，运行监控软件，以统一的界面对各个子系统集中监控。机房监控系统实时监视各系统设
转载
2023-11-25 20:32:58
49阅读
很多大数据开发工程师或系统管理员，特别是初级入门Hadoop的工程师，经常会遇到如何高效管理大数据基础平台的问题。跟踪管理所有Hadoop集群中数以百计的节点、数据库、资源和服务实例可太难了……上次看到亿信华辰为破解这一问题，实时大数据平台PetaBase-i 提供可视化管理工具PetaBase Web Console（简称PB Web Console），用于供应、管理、监控和保护PetaBase
转载
2024-04-10 10:35:29
42阅读
一、项目需求与组件架构1.1需求1、三种日志内容：行为日志、内容日志、业务日志。针对这三种日志会采取不同的手段，将数据采集到hdfs中，再建立转化为不同的hive表，以供后续的数据需求分析2、行为日志和内容日志被采集到hdfs中时，要自动按照每一天的日期来划分数据存储目录。3、数据采集好之后，统一使用azkaban来进行shell脚本的调度。因为数据的采集过程需要很多步骤来完成，而这些步骤统一使用
转载
2024-03-04 02:09:29
96阅读
导言据Gartner称：到2020年，25亿辆联网汽车将成为物联网的主要对象。联网车辆预计每小时可以生成25GB的数据，对这些数据进行分析实现实时监控。大数据目前是10个主要领域之一，利用它可以使城市更加智能。例如，对GPS汽车数据的分析可以实现城市实时交通流量的优化。Uber正在利用大数据完善它们的流程，从计算定价到寻找汽车的最佳定位都争取实现利润最大化。在这一系列的文章中，我们将使用公共Ube
转载
2024-03-10 23:27:09
37阅读
文章目录一、场景介绍二、Prometheus 数据源添加三、Grafana 展示 Prometheus 收集的 node_exporter 的数据源四、Grafana 展示 Prometheus 收集的 mysql_exporter 的数据源五、Grafana 展示 Prometheus 收集的 应用程序 的数据源 一、场景介绍 在实际的运维工作中，监控软硬件借助自研或者第三方的监控插件将极大
转载
2024-04-23 20:33:32
62阅读
