目录1 Flume 事务2 Flume Agent 内部原理3 Flume 拓扑结构3.2 复制和多路复用3.3 负载均衡和故障转移3.4 聚合 1 Flume 事务 2 Flume Agent 内部原理 重要组件： 1 ） ChannelSelector ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其
原创
2021-11-25 16:31:25
217阅读
目录1 HDFS的回收站2 HDFS的安全模式3 实战：定时上传数据至HDFS4 HDFS的快照5 HDFS的HA与联盟 1 HDFS的回收站我们windows系统里面有一个回收站，当想恢复删除的文件的话就可以到这里面进行恢复，HDFS也有回 收站。 HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户在Shell命令行删除的 文件/目录，会进入到对应的回收站
原创
2021-04-09 20:03:30
193阅读
介绍大概4月，Flink1.13就发布了，参加 了Flink1.13 的Meetup，收获还是挺多，从大的方面讲就是FlingSql的改进和优化，资源调度管理方面的优化，以及流批一体Flink在运行时与DataStream API的优化，另外就是State backend 模块的优化，本篇文章既是当时做的笔记，又是在后续查阅官网等做的补充,Flink 的一个主要目标取得了重要进展，即让流处理应用的
转载
2021-05-23 06:06:00
713阅读
2评论
大数据具有四个特性： （1）数据量特别庞大； （2）数据种类特别多； （3）
原创
2023-04-19 10:34:09
557阅读
什么是大数据？5V特性解析（从核心定义到实际案例，全面拆解大数据的核心特征）一、大数据的定义大数据（Big Data） 指传统数据处理工具（如关系型数据库、单机计算）无法高效处理的超大规模、高增长率和多样化的信息资产。其核心价值在于通过分析挖掘，揭示传统方法难以发现的规律和洞察。二、5V特性深度解析1. Volume（体量）定义：数据规模庞大，通常达到 TB（万亿字节）、PB（
数据收集特性：对于数据收集平台，日志数据是多接口的，可以打到文件里观察文件，也可以更新数据库表。关系型数据库是基于Binlog获取增量的，如果做数据仓库的话有大量的关系型数据库，有一些变更没法发现等情况，可以通过Binlog手段可以解决。通过一个Kafka消息队列集中化分发支持下游，目前支持了850以上的日志类型，峰值每秒有百万介入。流式计算平台特性：构建流式计算平台的时候充分考虑了开发的复杂度，
导语本章是"并发容器"的CopyOnWriteArrayList篇。接下来，会先对CopyOnWriteArrayList进行基本介绍，然后再说明它的原理，接着通过代码去分析，最后通过示例更进一步的了解CopyOnWriteArrayList。内容包括：CopyOnWriteArrayList介绍CopyOnWriteArrayList原理和数据结构CopyOnWriteArrayList函数列表
原创
2021-03-15 09:30:05
179阅读
大数据成神之路-Java高级特性增强(锁)大数据技术与架构大数据技术与架构1Java中的锁分类在读很多并发文章中，会提及各种各样锁如公平锁，乐观锁等等，这篇文章介绍就是各种锁。介绍的内容如下：公平锁/非公平锁可重入锁独享锁/共享锁互斥锁/读写锁乐观锁/悲观锁分段锁偏向锁/轻量级锁/重量级锁自旋锁上面是很多锁的名词，这些分类并不是全是指锁的状态，有的指锁的特性，有的指锁的设计，下面总结的内容是对每个
原创
2021-04-04 21:05:20
324阅读
Java高级特性增强-集合框架(HashMap)本部分网络上有大量的资源可以参考，在这里做了部分整理，感谢前辈的付出，每节文章末尾有引用列表，源码推荐看JDK1.8以后的版本，注意甄别~####多线程###集合框架###NIO###Java并发容器集合框架Java中的集合框架ArrayList/VectorLinkedListHashMapHashSetLinkedHas...
原创
2021-06-10 20:39:22
175阅读
Java高级特性增强-NIO本部分网络上有大量的资源可以参考，在这里做了部分整理并做了大量勘误，感谢前辈的付出，每节文章末尾有引用列表~####多线程###集合框架###NIO###Java并发容器NIO大纲NIO概览Java NIO之Buffer(缓冲区)Java NIO之Channel（通道）Java NIO之Selector（选择器）Java NIO之拥抱Path和F...
原创
2021-06-10 20:40:12
123阅读
Java高级特性增强-NIO本部分网络上有大量的资源可以参考，在这里做了部分整理并做了大量勘误，感谢前辈的付出，每节文章末尾有引用列表~####多线程###集合框架###NIO###Java并发容器NIO大纲NIO概览Java NIO之Buffer(缓冲区)Java NIO之Channel（通道）Java NIO之Selector（选择器）Java NIO之拥抱Path和F...
原创
2021-06-10 20:40:15
117阅读
GitHub：https://github.com/wangzhiwubigdata/God-Of-BigData欢迎关注‘大数据技术与架构’ 微信公众号，获取更多关于Spark、flink、hadoop的资料下载。Java高级特性增强-并发容器本部分网络上有大量的资源可以参考，在这里做了部分整理并做了大量勘误，感谢前辈的付出，每节文章末尾有引用列表~####多线程###集合框架##...
转载
2021-06-10 20:44:05
96阅读
Java高级特性增强-并发容器本部分网络上有大量的资源可以参考，在这里做了部分整理并做了大量勘误，感谢前辈的付出，每节文章末尾有引用列表~####多线程###集合框架###NIO###Java并发容器GitHub：https://github.com/wangzhiwubigdata/God-Of-BigData 关注公众号,内推,面试,资源下载...
原创
2021-06-10 20:45:21
76阅读
前言
网上关于 HashMap 和 ConcurrentHashMap 的文章很多，决定写一个大而全的文章，按照Java7 HashMap -> Java7 ConcurrentHashMap -> Java8 HashMap -> Java8 ConcurrentHashMap的顺序，把原理解释清楚，文章篇幅较长，要耐心阅读哦~
Java7 HashMap
HashMap 是
转载
2021-06-10 21:24:09
138阅读
ConcurrentLinkedQueue介绍
ConcurrentLinkedQueue是线程安全的队列，它适用于“高并发”的场景。它是一个基于链接节点的无界线程安全队列，按照 FIFO（先进先出）原则对元素进行排序。队列元素中不可以放置null元素（内部实现的特殊节点除外）。
ConcurrentLinkedQueue原理和数据结构
ConcurrentLinkedQueue的数据结构，
转载
2021-06-10 22:13:26
153阅读
Java高级特性增强-集合框架(HashSet)本部分网络上有大量的资源可以参考，在这里做了部分整理，感谢前辈的付出，每节文章末尾有引用列表，源码推荐看JDK1.8以后的版本，注意甄别~####多线程###集合框架###NIO###Java并发容器集合框架Java中的集合框架ArrayList/VectorLinkedListHashMapHashSetLinkedHas...
原创
2021-06-10 20:39:20
116阅读
Java高级特性增强-集合框架(HashMap)本部分网络上有大量的资源可以参考，在这里做了部分整理，感谢前辈的付出，每节文章末尾有引用列表，源码推荐看JDK1.8以后的版本，注意甄别~####多线程###集合框架###NIO###Java并发容器集合框架Java中的集合框架ArrayList/VectorLinkedListHashMapHashSetLinkedHas...
原创
2021-06-10 20:39:23
98阅读
Java高级特性增强-集合框架(LinkedHashMap)本部分网络上有大量的资源可以参考，在这里做了部分整理，感谢前辈的付出，每节文章末尾有引用列表，源码推荐看JDK1.8以后的版本，注意甄别~####多线程###集合框架###NIO###Java并发容器集合框架Java中的集合框架ArrayList/VectorLinkedListHashMapHashSetLin...
原创
2021-06-10 20:40:18
57阅读
Java高级特性增强-并发容器本部分网络上有大量的资源可以参考，在这里做了部分整理并做了大量勘误，感谢前辈的付出，每节文章末尾有引用列表~####多线程###集合框架###NIO###Java并发容器GitHub：https://github.com/wangzhiwubigdata/God-Of-BigData 关注公众号,内推,面试,资源下载...
原创
2021-06-10 20:45:23
127阅读
前言
网上关于 HashMap 和 ConcurrentHashMap 的文章很多，决定写一个大而全的文章，按照Java7 HashMap -> Java7 ConcurrentHashMap -> Java8 HashMap -> Java8 ConcurrentHashMap的顺序，把原理解释清楚，文章篇幅较长，要耐心阅读哦~
Java7 HashMap
HashMap
转载
2021-06-10 21:28:00
83阅读
