大数据指的是海量数据的分析处理，可能是EB级的数量处理，我们之前也提到过大数据拥有4V特性，Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值），对于大数据的分析处理，需要有专门设计的硬件和软件工具进行专业化处理，大数据经过收集再到清洗计算挖掘再到展现和利用，每一步可用的工具都不同，下面我们就来扒一扒大数据领域一些实用工具吧。免费好用的像八爪鱼采集类似的工具也
转载
2023-12-18 13:23:36
106阅读
大数据采集可以细分为数据抽取、数据清洗、数据集成、数据转换等过程，将分散、零乱、不统一的数据整合到一起，以一种结构化、可分析的形态加载到数据仓库中，从而为后续的数据使用奠定坚实基础。数据采集可以分为内部采集与外部采集两个方面。（1）离线数据采集技术，首先要是基于文件的数据采集系统、日志收集系统等，代表性的工具有Facebook公司开发的Scribe、Cloudera公司开发的Flume和Apach
转载
2023-08-02 16:41:54
213阅读
一、环境准备1、安装包下载jdk1.8：://.oracle.com/java/
原创
2022-04-22 13:42:07
476阅读
一、环境准备1、安装包下载jdk1.8：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.htmlflume1.9.0：http://flume.apache.org/download.html2、安装flume解压flume到 /usr/lcoal目录下tar zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/创建软连接ln -s..
原创
2021-08-26 09:18:05
1339阅读
最近接手维护一个日志系统，它用于对应用服务器上的日志进行收集然后提供实时分析、处理并最后将日志存储到目标存储引擎。针对这三个环节，业界已经有一套组件来应对各自的需求需求，它们是flume+kafka+hdfs/hbase。我们在实时分析、存储这两个环节，选择跟业界的实践相同，但agent是团队自己写的，出于对多种数据源的扩展需求以及原来收集日志的方式存在的一些不足，于是调研了一下flume的age
转载
2024-05-06 20:34:40
86阅读
一、flume概述1.1 flume定义大数据需要解决的三个问题：采集、存储、计算。Apache flume是一个分布式、可靠的、高可用的海量日志数据采集、聚合和传输系统，将海量的日志数据从不同的数据源移动到一个中央的存储系统中。用一句话总结：Flume不生产数据，它只是数据的搬运工。 flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。1.2 flum
转载
2024-03-02 09:48:17
80阅读
各个行业的业务数据都运行在关系数据库中，但是历史数据的保存，数据分析和数据挖掘，需要准实时的从关系数据库导入到分布式数据库系统中。本文介绍了利用ISFRAME实现数据收集和备份的方法。
原创
2013-06-01 18:44:35
10000+阅读
案例一： NetCat Source：监听一个指定的网络端口，即只要应用程序向这个端口里面写数据，这个source组件就可以获取到信息。 然后用telnet协议来通过端口传递信息 flume官网中NetCat Source描述：Property Name Default Description channels – type – 组件的类型 bind – 日志需要发送到的主机名或者Ip地址，该主机
转载
2024-05-13 13:10:36
63阅读
Linux的系统日志当守护进程工作时，它们将任务的详细信息记录进日志文件中，作为它们做过什么的“历史”信息。这些守护进程的工作内容涵盖从使用原子钟同步时钟到管理网络连接。所有这些都被记录进日志文件，这样当有错误发生时，你可以通过查阅特定的日志文件来看出发生了什么。日志采集 rsyslog进程和操作系统内核需要能够为发生的事情记录日志，这些日志可用于系统的审核和问题的故障排除，一般这些日志永久的储存
转载
2024-04-30 09:48:36
98阅读
系统日志采集方法特征构建应用系统和分析系统的桥梁，并将它们之间的关联解耦。支持近实时的在线分析系统和分布式并发的离线分析系统。具有高可扩展性，也就是说，当数据量增加时，可以通过增加节点进行水平扩展。常用的系统日志采集系统Hadoop的ChukwaApache FlumeFacebook的ScribeLinkedIn的KafkaFlume基本概念 Flume是一个高可用的、高可靠的、分布式的海量日志
转载
2024-04-23 20:01:10
114阅读
先看一下目录图背景试想这么一种场景：Nginx负载了2个Tomcat，那么日志查看就很麻烦了，每次查看日志都要登录2台服务器，挨个搜索，2台还好，如果5台呢？10台呢？那查看日志就可费劲了，所以需要一款日志收集系统，集中管理日志，一个完整的集中式日志系统，是离不开以下几个主要特点的。收集－能够采集多种来源的日志数据* 传输－能够稳定的把日志数据传输到中央系统* 存储－如何存储日志数据* 分析－可以
转载
2023-12-10 09:55:06
118阅读
1.没有日志分析系统1.1运维痛点1.2环境痛点1.3解决痛点2.ElkStack介绍3.ElkStack环境4.ElkStack部署4.1配置Elasticsearch4.2运行Elasticsearch4.3Elasticsearch插件4.4elasticsearch集群 1.没有日志分析系统1.1运维痛点1.运维要不停的查看各种日志。2.故障已经发生了才看日志(时间问题。)3.节
转载
2024-03-27 20:44:38
98阅读
目的 分布式系统的日志，每个服务器节点web服务都会产生各自的日志文件，如果想要整合或者排查日志，就需要到每个节点下逐一查看日志文件这样会比较麻烦。所以需要一个方案将日志采集放到一个位置进行存储和查询。 这里就可以使用elk+kafka的方式解决。 el
转载
2023-12-14 09:56:49
205阅读
Logstash 优势
Logstash 主要的有点就是它的灵活性，这还主要因为它有很多插件。然后它清楚的文档已经直白的配置格式让它可以再多种场景下应用。这样的良性循环让我们可以在网上找到很多资源，几乎可以处理任何问题。以下是一些例子：劣势
Logstash 致命的问题是它的性能以及资源消耗（默认的堆大小是 1GB）。尽管它的性能在近几年已经有很大提升，与它的替代者们相比还是要慢很多的。
转载
2023-05-18 12:47:23
245阅读
log历史简介 日志，源于log，有航海日志的意思。指记录海员记录每天的行程，生活及发生的事件。在软件开发领域，用来监控代码中变量变化，跟踪代码运行的轨迹，在开发环境中担当调试器作用，向控制台或文件输出信息。 几乎所有的软件开发语言（平台）都有自己的日志系统，java，.net，ruby，php等。在java领域，存在大量的日志组件，open-open收录了21个日志组件。&n
转载
2023-08-04 19:01:43
101阅读
这篇说一下Android 日志系统的实现：1. Android中的打印分为4个缓冲区和6个打印等级，在frameworks\base\core\java\android\util\Log.java中有定义：四缓冲： public static final int LOG_ID_MAIN = 0; public static final int LOG_ID_RADI
转载
2023-08-17 20:20:05
281阅读
一 ELK 背景 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务
ELK：ElasticSearch + LogStash + KibanaES中文社区：ElasticSearch中文社区下载应用场景：Logback + ELK日志收集环境：Windows10环境搭建：（三者都可以直接下载压缩包解压后即可使用）ElasticSearch安装：地址参见【ES中文社区】 ES中需要添加IK分词器插件，在ES中文社区中的Plugins中可以下载 &
转载
2023-08-07 13:04:21
261阅读
一、ELK简介 在传统项目中，如果在生产环境中，有多台不同的服务器集群，如果生产环境需要通过日志定位项目的Bug的话，需要在每台节点上使用传统的命令方式查询，这样效率非常低下。因此我们需要集中化的管理日志，ELK则应运而生。ELK=ElasticSeach+Logstash+Kibana，日志收集原理如下所示。1、每台服务器集群节点安装Logstash日志收集系统插件2、
转载
2023-07-18 10:55:37
286阅读
开发中客户端经常遇到一些线上问题, 无法复现, 但是又的的确确存在; 当线上反馈的时候无从下手; 主要是因为并不知道用户所处的环境,以及所做的操作顺序或者程序运行的顺序; 在排查问题和复现问题上占用了很大的成本; 如果debug时的log日志如果线上也能查看就好了; 基于此, 我们设计了一个客户端日志系统,这为我们发现和解决问题提供了很大的保障;首先, 一个合格的日志系统需要满足的条件:触发上传日
转载
2024-08-12 13:24:33
129阅读
