零、引言之前写FTP工具库，用的是ftp4j，他使用其他非常简单方便，但是在细节上提供的可选项比较少（当然也可能是我了解不够深刻）最新的项目重写了FTP工具类，选择了apache net中的ftp库，选择apache的原因有如下几个：1是我相信apche 2是它的注释完善（apache的代码注释值得每一位程序猿学习） 3是提供的可选配置（FTPConfig）有跟多选择（比如主动被动模式，断点续传等
最近在弄一个信令数据汇聚的事情，主要目的是把FTP上的信令数据汇聚到HDFS上去存储。 逻辑是这样的：把FTP服务器上的文件下载到一台主机上，然后SCP到另外一台主机上的Spooling Directory Source所监控的目录下面去，sink是hdfs（这里解释一下，由于网络环境的因素，另一台不能访问到内网的FTP服务器，所以只能这样中转一下）。嗯，想法不错，逻辑上看上去也应该没啥问题，于是
转载
2024-06-23 06:09:17
175阅读
在Kubernetes（K8S）集群中，我们经常需要将日志文件采集到Kafka这样的消息队列中进行集中处理和分析。Filebeat是一款轻量级的日志数据收集器，能够实时监控日志文件的变化并发送到指定的目的地。本文将向您介绍如何利用Filebeat将日志数据采集到Kafka中。
### 步骤概览
首先，让我们来看一下整个过程的步骤：
| 步骤 | 操作 |
| ------ | ------ |
原创
2024-05-08 11:19:16
921阅读
Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tail file），并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指定命令来简化通用日志格式的收集，解析和可视化。官方网址:https://www.elastic.co/guide/en/bea
Flume 数据采集模块1.1 数据处理链路1.2 环境准备1.2.1 集群进程查看脚本（1）在/home/bigdata_admin/bin目录下创建脚本xcall.sh[bigdata_admin@hadoop102 bin]$ vim xcall.sh（2）在脚本中编写如下内容#! /bin/bash
for i in hadoop102 hadoop103 had
转载
2024-09-20 16:58:02
49阅读
随着信息化、自动化时代的到来，为了提高生产过程或是质量检测监督中的智能化程度，目前对信号的处理广泛的采用了机器视觉技术。我们知道一般机器视觉系统获取的都是一些模拟信号，要想能够对信号进行识别或是处理，就需要将这些模拟信号转换成数字信号。图像采集卡是连接图像采集部分与处理部分，通过图像采集卡可以接收相机获取的模拟视频信号，经过其对此信号的采集、量化，最终转换成数字信号，并输入、存储到输出设备中。机器
### Flink 实现 Kafka 到 Mysql 数据采集
在实时数据处理领域，Apache Flink 是一个非常流行的流处理引擎，而 Kafka 是一个高性能、分布式的消息队列系统。本文将介绍如何使用 Flink 从 Kafka 中读取数据，并将数据写入到 Mysql 数据库中。
### 环境准备
在开始之前，需要确保以下环境已经准备好：
- JDK 8+
- Apache Fli
原创
2024-07-11 04:27:24
71阅读
1、首先导入依赖<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<maven.compiler.source>8</maven.compiler.source>
<maven
转载
2023-09-03 19:34:57
63阅读
Filebeat+Kafka+Logstash+ElasticSearch+Kibana+elasticsearch-head搭建ELK Stack这套东西是什么，看这篇文章的估计都有所了解，我这里也不介绍了，这里我只是把我在实际项目中搭建这套环境的过程和笔记分享给大家。如果有什么问题可以留言交流安装包下载安装包自己到官网下载，我使用的版本是6.4.0filebeat-6.4.0-linux-x8
# 从FTP采集数据到Hive表
## 简介
在数据处理的过程中，从FTP服务器上采集数据是一个比较常见的操作。而将这些数据加载到Hive表中进行分析处理也是数据工程师们经常需要做的任务之一。本文将介绍如何使用DataX工具来实现从FTP服务器上采集数据到Hive表的流程，并附带代码示例。
## DataX介绍
DataX是阿里巴巴集团开源的一款数据同步工具，支持从多种数据源（包括MySQL、
原创
2024-07-14 04:06:17
229阅读
# Flume 采集 Kafka 数据到 HBase
在大数据生态系统中，Apache Flume 是一种用于有效地收集、聚合和传输大量日志数据的工具。与此同时，Kafka 作为一个高吞吐量的分布式消息传递系统，通常用于流数据的实时处理。而 HBase 则是一种分布式、可扩展的 NoSQL 数据库，适合于处理大规模结构化数据。这篇文章将探讨如何使用 Flume 将 Kafka 中的数据采集到 H
原创
2024-08-17 03:12:30
216阅读
# 使用Flume采集MySQL Binlog日志到Kafka的流程
在数据处理与实时流处理的场景中，将MySQL的Binlog日志捕获并传输到Kafka中是一项常见需求。通过Apache Flume，我们能够高效地实现这一过程。下面将详细介绍整个流程和实现步骤。
## 流程概述
以下是将MySQL Binlog采集到Kafka的主要步骤及其对应的操作：
| 步骤 | 操作 |
|----
# 使用 Flink CDC 将 MySQL 数据插入到 Kafka 的完整指南
在现代大数据处理架构中，将数据库变更实时采集到消息队列（如 Kafka）是一个常见的需求。Apache Flink 的 Flink CDC（Change Data Capture）是一个强大的工具，可以让你轻松实现从 MySQL 数据库采集数据并将其发送到 Kafka。
## 整体流程
### 步骤表格
|
CDC:Change Data Capture开启CDC--步骤：本文中以GPOSDB为例
--第一步、对目标库显式启用CDC：
--在当前库使用sys.sp_cdc_enable_db。返回0（成功）或1（失败）。
--注意，无法对系统数据库和分发数据库启用该功能。且执行者需要用sysadmin角色权限。
--该存储过程的作用域是整个目标库。包含元数据、DDL触发器、cdc架构和cdc用户。
# 使用 Logstash 采集 Kafka 数据到 MySQL 的完整指南
随着大数据技术的迅速发展，数据的采集和存储变得越来越重要。作为一个强大的数据处理工具，Logstash 能够帮助我们实现将 Kafka 数据流高效地转存到 MySQL 数据库的需求。
## 什么是 Logstash？
Logstash 是 Elastic Stack 中的一部分，是一个开源的数据收集引擎。Logst
原创
2024-10-13 07:00:52
109阅读
前言 我在网上搜索ELK安装教程学习部署的时候，发现网上的教程都比较零散，没有一份系统完整的教程，且大部分安装和配置方法都比较老旧，新版的ELK组件的安装明明都变得很简单方便了，如果还像以前那样，又要配置这个，又要配置那个，又要装这个又要装那个的，明显都不对也不合适，官方已经让工作变得简单，为什么还要被以前的安装思路把问题弄得复杂化？网上的教程很少提到安全相关的配置，在网络安全越注重的今天，安全配
ElasticStack—Beats定义一、ElasticStack 的组成二、Beats 组件FileBeat 日志采集二、 Filebeat 工作原理三、启动命令四、部署和运行1、output.console 通过终端获取到数据2、输出 到 output.ElasicSearch3、读取 Nginx 日志文件4、Module 内置模块采集Nginx内置Module 启动nginx，禁用ngi
转载
2024-08-13 09:07:37
199阅读
1,业务流程2,日志采集2.1采集模型(1)用传统的flume聚合模型采用这种模型服务器3的压力比较大,有可能会宕机.服务器1和服务器2是主动往服务器3进行数据的推送,而不是服务器3主动拉取.(2)结合Kafka的聚合模型(Kafka source)[1]解析采用Kafka Channel，省去了Sink，提高了效率。KafkaChannel数据存储在Kafka里面，所以数据是存储在磁盘中。
注意
转载
2024-02-24 01:58:05
56阅读
1.传统日志采集存在哪些缺点 2.elk+kafka日志采集的原理 3.基于docker compose 安装elk+kafka环境 4.基于AOP+并发队列实现日志的采集20点25分准时开始分布式日志采集产生背景在传统项目中，如果在生产环境中，有多台不同的服务器集群，如果生产环境需要通过日志定位项目的Bug的话，需要在每台节点上使用传统的命令方式查询，这样效率非常低下。因此我们需要集中化的管理
转载
2024-03-19 02:55:42
81阅读
公司一直使用的Filebeat进行日志采集 由于Filebeat采集组件一些问题，现需要使用iLogtail进行代替 现记录下iLogtail介绍和实际使用过程 这是iLogtail系列的第五篇文章目录前期准备内存、cpu占用情况对比采集与发送速率对比总结官方对比数据性能分析前期准备为了保证测试环境尽量相同，所以将iLogtail和Filebeat安
转载
2024-05-09 23:48:33
554阅读
