目录1 Flume 事务2 Flume Agent 内部原理3 Flume 拓扑结构3.2 复制和多路复用3.3 负载均衡和故障转移3.4 聚合 1 Flume 事务 2 Flume Agent 内部原理 重要组件： 1 ） ChannelSelector ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其
原创
2021-11-25 16:31:25
217阅读
目录1 HDFS的回收站2 HDFS的安全模式3 实战：定时上传数据至HDFS4 HDFS的快照5 HDFS的HA与联盟 1 HDFS的回收站我们windows系统里面有一个回收站，当想恢复删除的文件的话就可以到这里面进行恢复，HDFS也有回 收站。 HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户在Shell命令行删除的 文件/目录，会进入到对应的回收站
原创
2021-04-09 20:03:30
193阅读
接上篇《 初探IBM大数据处理平台BigInsights（1） 》，本篇讲述Hadoop的一些基础命令及利用MapReduce运行一个简单的WordCount程序 1，在HDFS文件系统上创建test目录hadoop fs -mkdir /user/biadmin/test 2，将文件copy到test目录下hadoop fs -put /var/adm/ibmvmcoc-po
原创
精选
2016-01-15 17:55:27
2070阅读
提及IBM小型机，我们不得不说到IBM eLiza（蜥蜴）计划以及IBM的小型机的RAS特性。
eLiza的称呼最早起源于六十年代中期IBM的一个计划，即采用人工智能技术设计一种实现人和计算机之间通讯的程序。在九十年代，IBM设计的深蓝超级计算机战胜了国际象棋大师卡斯帕罗夫，其综合处理能力可比喻于一个蜥蜴（lizard）所具有的功力，即具有预测防范、处理判断以及自我愈合再生能力。
转载
精选
2012-12-31 08:51:04
1373阅读
之前的文章《IBM BigInsights -- 基于 Hadoop 的数据分析平台》介绍了IBM大数据分析平台BigInsights，在Hadoop的基础上IBM增加了额外的模块提供更广泛的数据分析。对于想了解下BigInsight是个什么东西？能做什么的同学，IBM也提供了BigInsights的虚拟机版本。对于那些想大概了解Hadoop，但又不想手动去搭建Hadoop平台的同学
原创
精选
2016-01-13 19:14:32
4405阅读
点赞
什么是大数据，它本身并不是一个技术命题，它是一个商业命题，为什么这么说，因为大数据背后的技术室让我们企业 通过技术将数据转化成商业价值，所以才说它是一个商业命题。
现在做企业 已经不能向以前一样，只做好服务或者产品就可以成功，虽然这也是成功不可或缺的一部分，但是现在我们可以通过大数据对我们现有的数据进行分析，利用市场最新的技术，要做好商业转
原创
2013-04-26 14:08:38
1171阅读
介绍大概4月，Flink1.13就发布了，参加 了Flink1.13 的Meetup，收获还是挺多，从大的方面讲就是FlingSql的改进和优化，资源调度管理方面的优化，以及流批一体Flink在运行时与DataStream API的优化，另外就是State backend 模块的优化，本篇文章既是当时做的笔记，又是在后续查阅官网等做的补充,Flink 的一个主要目标取得了重要进展，即让流处理应用的
转载
2021-05-23 06:06:00
713阅读
2评论
IBM最近在纽约市广场酒店举行了一场新闻发布和分析师见面会。会上讨论了几个产品更新，不过会议上的中心议题还是两个最大的产品宣布：推出新款中端存储阵列IBM Storwize V7000，以及IBM最新的企业级磁盘存储系统型号DS8800。本文将讨论IBM Storwize V7000。
关于IBM Storwize V7
转载
精选
2010-11-08 19:51:06
909阅读
点赞
13评论
近期关于大数据的内容不断见诸于报端，比如说EMC WORLD 2011的主题——云与大数据。
不过，对于用户来说，大数据并不意味着就是云计算、云存储，至少从直接联系上来说，二者的关系并非是完全一对一联系的。就在上周，IBM也发布了大批的存储产品，其中就包括刚刚推出的一项
转载
精选
2011-06-02 11:35:51
634阅读
点赞
10评论
在近日的Supercomputing 2010大会上，IBM为一款新的存储架构揭开神秘面纱。据IBM称，该架构对于大数据和云的分析处理速度提高了一倍。
转载
精选
2010-12-13 13:14:47
785阅读
点赞
大数据具有四个特性： （1）数据量特别庞大； （2）数据种类特别多； （3）
原创
2023-04-19 10:34:09
557阅读
什么是大数据？5V特性解析（从核心定义到实际案例，全面拆解大数据的核心特征）一、大数据的定义大数据（Big Data） 指传统数据处理工具（如关系型数据库、单机计算）无法高效处理的超大规模、高增长率和多样化的信息资产。其核心价值在于通过分析挖掘，揭示传统方法难以发现的规律和洞察。二、5V特性深度解析1. Volume（体量）定义：数据规模庞大，通常达到 TB（万亿字节）、PB（
数据收集特性：对于数据收集平台，日志数据是多接口的，可以打到文件里观察文件，也可以更新数据库表。关系型数据库是基于Binlog获取增量的，如果做数据仓库的话有大量的关系型数据库，有一些变更没法发现等情况，可以通过Binlog手段可以解决。通过一个Kafka消息队列集中化分发支持下游，目前支持了850以上的日志类型，峰值每秒有百万介入。流式计算平台特性：构建流式计算平台的时候充分考虑了开发的复杂度，
John Bantleman是RainStor的CEO，有着20多年的从业经验。他在《连线》上发表了一篇文章称大数据在2013年将成为企业需要面对的重要问题之一，并且对今年大数据带来的挑战进行了5个方面的预测。以下为文章全文：2012年，大数据已经被证明是一个重要的趋势，并且对来年的大数据市场进行了很多的预测。现实情况是，客户将最终决定大数据的发展趋势，也将决定使用哪些技术解决方案来解决
原创
2013-05-24 09:28:09
509阅读
IBM近日宣布推出新的磁带存储产品及增强型归档、去除重复复制的产品，旨在帮助客户有效存储数据，并从大量数据中提取信息。
大量的传感器、移动设备、社交网络、云计算以及网络等公共信息来源导致每年产生的信息量正在急剧增加。与此同时，全球存储容量需求还将持续增长，据IDC 统计，其复合年增长率在200
转载
精选
2011-05-23 20:22:24
481阅读
点赞
5评论
IBM近日宣布推出新的磁带存储产品及增强型归档、去除重复复制的产品，旨在帮助客户有效存储数据，并从大量数据中提取信息。
大量的传感器、移动设备、社交网络、云计算以及网络等公共信息来源导致每年产生的信息量正在急剧增加。与此同时，全球存储容量需求还将持续增长，据IDC 统计，其复合年增长率在2009-2014年间将达到49.8%。用户需要新的技术和方法来充分利用在数量、种类和
转载
精选
2011-06-08 11:03:04
547阅读
点赞
6评论
导语本章是"并发容器"的CopyOnWriteArrayList篇。接下来，会先对CopyOnWriteArrayList进行基本介绍，然后再说明它的原理，接着通过代码去分析，最后通过示例更进一步的了解CopyOnWriteArrayList。内容包括：CopyOnWriteArrayList介绍CopyOnWriteArrayList原理和数据结构CopyOnWriteArrayList函数列表
原创
2021-03-15 09:30:05
179阅读
大数据成神之路-Java高级特性增强(锁)大数据技术与架构大数据技术与架构1Java中的锁分类在读很多并发文章中，会提及各种各样锁如公平锁，乐观锁等等，这篇文章介绍就是各种锁。介绍的内容如下：公平锁/非公平锁可重入锁独享锁/共享锁互斥锁/读写锁乐观锁/悲观锁分段锁偏向锁/轻量级锁/重量级锁自旋锁上面是很多锁的名词，这些分类并不是全是指锁的状态，有的指锁的特性，有的指锁的设计，下面总结的内容是对每个
原创
2021-04-04 21:05:20
324阅读
Java高级特性增强-集合框架(HashMap)本部分网络上有大量的资源可以参考，在这里做了部分整理，感谢前辈的付出，每节文章末尾有引用列表，源码推荐看JDK1.8以后的版本，注意甄别~####多线程###集合框架###NIO###Java并发容器集合框架Java中的集合框架ArrayList/VectorLinkedListHashMapHashSetLinkedHas...
原创
2021-06-10 20:39:22
175阅读
Java高级特性增强-NIO本部分网络上有大量的资源可以参考，在这里做了部分整理并做了大量勘误，感谢前辈的付出，每节文章末尾有引用列表~####多线程###集合框架###NIO###Java并发容器NIO大纲NIO概览Java NIO之Buffer(缓冲区)Java NIO之Channel（通道）Java NIO之Selector（选择器）Java NIO之拥抱Path和F...
原创
2021-06-10 20:40:12
123阅读
