大数据 TB 级以上. 目前关系型数据库支持百万级数据没有问题. 大数据的主要目的和流程: 透过大量的数据, 分析出数据模型进而指导业务. 从目的看, 主要有以下流程: 首先将数据收集 -> 大数据(高可用存储) -> 研究数据(数据分析的计算能力) -> 展示结果 大数据的基本生态 : goo
转载 2020-02-13 15:08:00
309阅读
2评论
什么是hadoopHadoop是一款开源框架,可以在多台具有基本计算节点组成的集群构成的分布式环境上处理大数据。它既可以在单服务节点,也可以在多服务节点上运行,每个节点都会提供局部计算和存储功能。本部分主要会介绍大数据Big Data什么是Big Data?由于新技术,新设备和通信方式的迅速发展,由人类所生成的数据快速增长。大约在2003年初的时候,所具有的数据量大概是50亿GB;而2011年的时
转载 2024-02-04 01:54:21
49阅读
What is BitMap?Use bit storing data. See links for detailed explanation.Why BitMap?Save much space.Key points1 bit.1 byte = 8 bit.1 kb = 1024 byte.1 mb = 1024 kb1 gb = 1024 mb.In Java:char = 2 byte, 1
转载 精选 2014-12-09 10:09:08
770阅读
sql
转载 2021-09-08 10:03:49
270阅读
大数据的傲慢与偏见— 读后心得 数据模型研究者必看的书 原文链接: https://medium.com/@iven00000000/%E5%A4%A7%E6%95%B8%E6%93%9A%E7%9A%84%E5%82%B2%E6%85%A2%E8%88%87%E5%81%8F%E8%A6%8B-%
原创 2021-07-09 15:14:45
276阅读
http://www.infoq.com/articles/bigdata-analytics-for-securityThis article first appeared in the IEEE Security & Privacymagazine and is brought to you b...
转载 2015-05-18 23:06:00
445阅读
Using logdump to Troubleshoot the Oracle GoldenGate for Big Data Kafka Handler 06 SEPTEMBER 2016 on Oracle GoldenGate, ogg, Big Data, kafka, logdump,  ...
转载 2021-11-02 00:57:00
377阅读
2评论
Oracle GoldenGate for Big Data (OGG BD) supports sending transactions as messages to Kafka topics, both through the native Oracle handler as well as a ...
转载 2021-10-27 22:16:00
474阅读
2评论
2017 will see a host of informed predictions, lower costs, and even business-centric gains, courtesy of the global adoption of Big Data and associated
原创 2021-07-20 11:42:46
83阅读
The Difference Between Big Data and a Lot of DataThe term “big data” has been around for a while now, but I still come across people who make the same...
转载 2015-09-22 18:41:00
385阅读
2评论
前段时间一直在搞Hadoop,把自己的学习心得分享给大家。个人水平有限,欢迎大家指出不足之处。 Hadoop的介绍和安装部署很多,我这就不废话了。它包括HDFS分布式文件系统,HBase分布式数据库,MapReduce编程模型。它适合于大数据的处理,例如FaceBook,google,百度之类的大公司用于日志处理、数据挖掘,一般的公司不会用到,除非是那些用来做噱头的。 随着IT的发展,
原创 2011-11-28 09:09:07
997阅读
清明假期翻以前的笔记发现有一些NoSQL相关的内容,比较零散,是之前读《Big Data Glossary》的笔记.简单整理了一下,记录于此.
转载 2012-04-05 15:10:00
165阅读
2评论
在当今信息化时代,大数据已经成为推动企业发展的重要驱动力。作为全球领先的信息通信技术解决方案供应商,华为一直致力于为企业提供先进的大数据解决方案,以帮助企业快速发展和取得成功。为了进一步提升企业的数据分析能力和竞争力,华为推出了华为认证Big Data认证,这项认证成为了大数据领域的重要里程碑。 华为认证Big Data认证是华为企业业务能力建设下的重要组成部分,旨在通过对大数据技术和知识进行系
原创 2024-03-04 11:23:13
133阅读
最近的大数据是非常的火,如何理解大数据与DATABASE 不同的地方,今天想瞎说八道一下,个人对大数据和数据
原创 2022-06-22 09:27:42
190阅读
https://mattturck.com/bigdata2018/
转载 2019-07-10 21:12:00
554阅读
Big Data(大数据)技术简析Big Data是近来的一个技术热点,但从名字就能判断它并不是什么新词。毕竟,大是一个相对概念。历史上,数据库、数据仓库、数据集市等信息管理领域的技术,很大程度上也是为了解决大规模数据的问题。被誉为数据仓库之父的Bill Inmon早在20世纪90年代就经常将Big Data挂在嘴边了。然而,Big Data作为一个专有名词成为热点,主要应归功于近年来互联网、云计
原创 2017-04-05 16:44:41
10000+阅读
3点赞
4评论
最近的大数据是非常的火,如何理解大数据与DATABASE 不同的地方,今天想瞎说八道一下,个人对大数据和数据库之间不同的一些想法。数据被认为是原始的事实和数字。大数据通常被认为是存储和处...
原创 2023-06-20 03:03:00
111阅读
微软的首席StreamInsight™ 项目经理发布的一篇博客 Big Data, Hado
原创 2022-10-24 14:01:13
134阅读
外部排序指要排序的数据大于内存空间的排序。是out-of-core算法。out-of-core算法的时间复杂度高度依赖IO次数,因为对内存的读取速度远远大于对disk的读取速度。所以内存中的处理时间可以不计,整个算法的复杂度由IO次数决定。IO的操作又是以block为基础的。假设内存大小为M,block大小是B,排序数据是n。第一种是2-路排序。1.首先把数据分成n/M组,每一组调入内存一次,做一
原创 2022-11-11 12:07:53
221阅读
Bloom Filter is named after Burton Bloom.What is bloom filter?http://blog.csdn.net/v_july_v/article/details/6685894Define K hash methods.Given any data, we will have K hashed value.Set these positions
转载 精选 2014-12-10 03:21:16
597阅读
  • 1
  • 2
  • 3
  • 4
  • 5