什么是hadoopHadoop是一款开源框架，可以在多台具有基本计算节点组成的集群构成的分布式环境上处理大数据。它既可以在单服务节点，也可以在多服务节点上运行，每个节点都会提供局部计算和存储功能。本部分主要会介绍大数据Big Data什么是Big Data？由于新技术，新设备和通信方式的迅速发展，由人类所生成的数据快速增长。大约在2003年初的时候，所具有的数据量大概是50亿GB；而2011年的时
转载
2024-02-04 01:54:21
49阅读
微软的首席StreamInsight™ 项目经理发布的一篇博客 Big Data, Hado
原创
2022-10-24 14:01:13
137阅读
今天给大家推荐一本书《big data analytics beyond hadoop》。书的名字应该可以翻译为《hadoop下一代数据分析技术》。
转载
2021-07-30 09:49:06
506阅读
Big Data（大数据）技术简析Big Data是近来的一个技术热点，但从名字就能判断它并不是什么新词。毕竟，大是一个相对概念。历史上，数据库、数据仓库、数据集市等信息管理领域的技术，很大程度上也是为了解决大规模数据的问题。被誉为数据仓库之父的Bill Inmon早在20世纪90年代就经常将Big Data挂在嘴边了。然而，Big Data作为一个专有名词成为热点，主要应归功于近年来互联网、云
大数据 TB 级以上. 目前关系型数据库支持百万级数据没有问题. 大数据的主要目的和流程: 透过大量的数据, 分析出数据模型进而指导业务. 从目的看, 主要有以下流程: 首先将数据收集 -> 大数据(高可用存储) -> 研究数据(数据分析的计算能力) -> 展示结果 大数据的基本生态 : goo
转载
2020-02-13 15:08:00
309阅读
2评论
开始聊MapReduce，MapReduce是Hadoop的计算框架，我学Hadoop是从Hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技
转载
2017-04-09 23:03:00
87阅读
2评论
What is BitMap?Use bit storing data. See links for detailed explanation.Why BitMap?Save much space.Key points1 bit.1 byte = 8 bit.1 kb = 1024 byte.1 mb = 1024 kb1 gb = 1024 mb.In Java:char = 2 byte, 1
转载
精选
2014-12-09 10:09:08
770阅读
转载
2021-09-08 10:03:49
270阅读
大数据的傲慢与偏见— 读后心得 数据模型研究者必看的书 原文链接： https://medium.com/@iven00000000/%E5%A4%A7%E6%95%B8%E6%93%9A%E7%9A%84%E5%82%B2%E6%85%A2%E8%88%87%E5%81%8F%E8%A6%8B-%
原创
2021-07-09 15:14:45
276阅读
http://www.infoq.com/articles/bigdata-analytics-for-securityThis article first appeared in the IEEE Security & Privacymagazine and is brought to you b...
转载
2015-05-18 23:06:00
445阅读
# 大数据工具HADOOP_HOME未定义
## 引言
在大数据时代，数据量的爆炸式增长对数据处理和分析提出了巨大的挑战。为了解决这个问题，Hadoop成为了一个广泛应用的大数据处理框架。然而，在使用Hadoop时，有时会遇到一个常见的错误，即HADOOP_HOME未定义。本文将介绍HADOOP_HOME的概念、原因及解决方法，并提供相关代码示例。
## HADOOP_HOME是什么？
H
原创
2023-12-20 06:57:05
117阅读
The Difference Between Big Data and a Lot of DataThe term “big data” has been around for a while now, but I still come across people who make the same...
转载
2015-09-22 18:41:00
385阅读
2评论
https://mattturck.com/bigdata2018/
转载
2019-07-10 21:12:00
554阅读
最近的大数据是非常的火，如何理解大数据与DATABASE 不同的地方，今天想瞎说八道一下，个人对大数据和数据库之间不同的一些想法。数据被认为是原始的事实和数字。大数据通常被认为是存储和处...
原创
2023-06-20 03:03:00
111阅读
Big Data（大数据）技术简析Big Data是近来的一个技术热点，但从名字就能判断它并不是什么新词。毕竟，大是一个相对概念。历史上，数据库、数据仓库、数据集市等信息管理领域的技术，很大程度上也是为了解决大规模数据的问题。被誉为数据仓库之父的Bill Inmon早在20世纪90年代就经常将Big Data挂在嘴边了。然而，Big Data作为一个专有名词成为热点，主要应归功于近年来互联网、云计
原创
2017-04-05 16:44:41
10000+阅读
点赞
4评论
外部排序指要排序的数据大于内存空间的排序。是out-of-core算法。out-of-core算法的时间复杂度高度依赖IO次数，因为对内存的读取速度远远大于对disk的读取速度。所以内存中的处理时间可以不计，整个算法的复杂度由IO次数决定。IO的操作又是以block为基础的。假设内存大小为M，block大小是B，排序数据是n。第一种是2-路排序。1.首先把数据分成n/M组，每一组调入内存一次，做一
原创
2022-11-11 12:07:53
221阅读
Bloom Filter is named after Burton Bloom.What is bloom filter?http://blog.csdn.net/v_july_v/article/details/6685894Define K hash methods.Given any data, we will have K hashed value.Set these positions
转载
精选
2014-12-10 03:21:16
597阅读
A Small Definition of Big Data The term "big data" seems to be popping up everywhere these days. And there seems to be as many uses of this term as th
转载
2018-12-20 00:37:00
214阅读
2评论
前段时间一直在搞Hadoop，把自己的学习心得分享给大家。个人水平有限，欢迎大家指出不足之处。
Hadoop的介绍和安装部署很多，我这就不废话了。它包括HDFS分布式文件系统，HBase分布式数据库，MapReduce编程模型。它适合于大数据的处理，例如FaceBook，google,百度之类的大公司用于日志处理、数据挖掘，一般的公司不会用到，除非是那些用来做噱头的。
随着IT的发展，
原创
2011-11-28 09:09:07
999阅读
清明假期翻以前的笔记发现有一些NoSQL相关的内容,比较零散,是之前读《Big Data Glossary》的笔记.简单整理了一下,记录于此.
转载
2012-04-05 15:10:00
165阅读
2评论
