在kafka中除了直接通过代码的方式进行一些信息配置外，我们还可以通过在kafka安装目录下的bin目录下的工具进行操作，我们先来了解下基础的一些操作，看下新增topic的工具：> bin/kafka-topics.sh --bootstrap-server broker_host:port --create --topic my_topic_name --partitions 20 --r
datax插件开发之iotdbwriter 下载源码解压修改pom.xml修改package.xmlIdea导入项目pom.xml新建包新建类俩个json插件的package.xml修改父工程的package.xml打包前检查一下文件，结构如下：打包编译好的插件放到datax中 下载源码解压解压后删掉里面多余的文件只保留这三个（只是为了清爽而已）修改pom.xml删掉modules多余的，只保留
Introduction Apache Kafka™ is a distributed streaming platform. What exactly does that mean? Kafka是一个分布式流平台，这意味着什么? We think of a streaming platform as having three key capabilities:It lets you
转载
2024-09-27 13:01:08
48阅读
参考博客：简书-DataX kafkawriter 背景基于阿里开源DataX3.0版本，开发kafka的读写驱动，可以实现从mysql、postgresql抽取数据到kafka，从kafka 消费消息写入hdfs等功能。1、整体模块代码结构1、kafkareader2、kafkawriter 3、package.xml<fileSet>
&
转载
2024-02-29 15:37:09
631阅读
1评论
大家好，我是脚丫先生 (o^^o)大数据项目之数据集成模块，按照项目需求需要集成时序数据库OpenTSDB。于是着手进行调研，https://github.com/alibaba/DataX 发现关于该时序数据库的插件只有单一的读插件，而阿里自研的TSDB读写插件都齐全。为了彻底的分离，同时为了完全适配OpenTSDB数据库，于是进行了OpenTSDB的写插件开发。 文章目录一、OpenTSDB时
转载
2024-05-30 11:09:53
436阅读
从hive抽取数据，写入hbase
一、datax插件hbase12xwriter开发
查看datax源码，发现有hbase094xwriter和hbase11xwriter源码，说明datax支持hbase写入，再查看测试和生产环境使用的hbase版本是：hbase-1.2.0-cdh5.8.4
自己写一个hbase12xwriter插件包
开发流程：
1、搭建项目模块module
dat
转载
2024-01-30 07:14:47
387阅读
kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。下载地址：Zookeeper下载地址：https://archive.apache.org/dist/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gzKafka下载地址：https://archive.apache.org/dist/kafka/2.0.0/kafka_
转载
2024-04-24 10:36:12
91阅读
DataX 是阿里开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。DataX工具是用json文件作为配置文件的，根据官方提供文档我们构建Json文件如下：{
"job": {
"content": [
{
转载
2024-04-01 17:44:22
350阅读
文章目录一. DataX优化概述1.1 网络带宽等硬件因素困扰1.2 DataX本身的参数调优1.2.1 全局1.2.2 局部1.2.3 Jvm 调优二.DataX优化案例2.1 mysql表切分 一. DataX优化概述当觉得DataX传输速度慢时，需要从上述四个方面着手开始排查。网络本身的带宽等硬件因素造成的影响；DataX本身的参数；从源端到任务机；从任务机到目的端；1.1 网络带宽等硬件
很多小伙伴遇到datax导数很慢很慢。。慢到一两千万的数据要花十个小时的去导，有的速度真是只有 300-500 rec/s 简直是惨不忍睹。这篇文章将仔细告诉大家，你的datax任务为什么这么慢，怎么去解决。首先说明下，个人认为reader提速最重要的一点就是切分任务即split这块，懒得看过程的请直接跳到结尾。。。。结尾的json照着抄就行，莫要瞎改，等你跑好了你再改其他参数split 又分为两
转载
2024-04-25 13:32:34
448阅读
一，安装（引用我在安装时候查找的资料）DB2 Express－C给装在了Linux 安装 包和语言包。
db2exc_970_LNX_x86.tar.gz 和
db2exc_nlpack_970_LNX_x86.tar.gz
下面开始安装：
tar -xvzf db2exc_970_LNX_x86.tar.gz tar -xvzf db
DataX入门使用一、简介DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。Datax将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目
转载
2024-03-18 16:57:05
1032阅读
背景：因orc的存储格式引起的问题相对来说较多，所以公司决定所有的表都采用parquet格式，因为datax插件需要增加parquet格式的支持。com.alibaba.datax.common.exception.DataXException: Code:[HdfsWriter-04], Description:[您配置的文件在写入时出现IO异常.]. - java.lang.IllegalAr
转载
2024-04-18 19:22:06
238阅读
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
官方部分参数说明（这里以Oracle读，Oracle写为例，关系型数据库参数
转载
2024-08-19 14:58:49
58阅读
Kafka简介：
Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。Kafka是一个消息系统，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。活动流数据是几乎所有站点在对其网
转载
2024-07-15 00:34:39
0阅读
1、准备工作：JDK（1.8 以上，推荐 1.8）Python（23 版本都可以）Apache Maven 3.x（Compile DataX）（手动打包使用，使用 tar 包方式不需要安装）主机名操作系统IP 地址软件包MySQL-1CentOS 7.4192.168.1.1jdk-8u181-linux-x64.tar.gz datax.tar.gzMySQL-2CentOS 7.4192.1
一、研发背景 DataX官方开源的版本支持HDFS文件的读写，但是截止目前，并没有支持Parquet文件的读写，得益于DataX出色的数据同步性能，去年公司的项目大部分采用了DataX作为数据同步工具，但是从CDH集群同步Parquet或者将其他数据源的数据以Parquet格式写入HDFS，这两个常用场景没有进行支持。因此只能自己动手，补充HdfsReader和HdfsW
转载
2024-03-01 12:21:26
259阅读
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。设计理念为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已
转载
2024-07-18 23:56:37
48阅读
文章目录一. 快速介绍二. 功能与限制三. 功能说明3.1 配置样例3.2 参数说明3.2.1 defaultFS3.2.2 fileType3.2.3 path3.2.4 fileName3.2.5 column3.2.6 writeMode3.2.7 fieldDelimiter3.2.8 compress3.2.9 hadoopConfig3.2.10 encoding3.2.11 hav
转载
2024-04-26 13:32:19
64阅读
目录一、Kafka的的介绍1、概述二、Kafka的配置及启动1、安装步骤三、Kafka核心概念及操作1、知识点2、Kafka使用四、Kafka主题分区的副本相关补充五、Kafka基本概念梳理1、Kafka架构2、Topic与Partition六、Kafka消息处理七、Kafka的索引机制1、概述八、Kafka的消息系统语义1、概述2、三种语义新版本Kafka的幂等性实现九、扩展：Zero Copy
转载
2024-05-13 19:43:49
84阅读
