当今互联网时代最火的技术莫过于云计算和大数据
云计算是什么?
云计算跟大数据有着什么样不可告人的关系?

云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。简单而言,云计算就是一种服务,一种按需求收费的服务。

那么云计算与大数据有什么关系?
大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘,但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。简单而言,云计算就是大数据的基础。

那么大数据又是什么?
当今时代,数据对企业的价值无法估量,一组好的数据足以让企业在发展、创新、服务等等中察觉出大众的喜好,需求。但是当今时代数据之量,时代的变迁,早已让整个世界充满了数据。如实时的温度、心跳、玩游戏数据等等,但并非所有数据都有用,大多数数据都是无用的,那么如何在海量的数据中找到有用的数据,那就是大数据的用武之地了。

IBM提出大数据的5V特点:volume(大量)、velocity(高速)、variety(多样)、value(低密度)、veracity(真实性)这是大家比较公认的大数据的特征。

就写特点反映出大数据数据量大,产生的速度快且多样,但是却是低密度价值。
Hadoop平台是分布式服务器集群上存储海量数据并运行分布式应用的平台
Hadoop有俩个部分
1.数据处理框架
2.HDFS

云平台数据库技术 云平台数据处理_大数据是什么

在HADOOP 1.0版本的时候
MapReduce的功能是集群资源管理和数据处理
HDFS的作用犹如hadoop的篮子,冗余,可靠

在HADOOP 2.0版本的时候
体系架构多出了YARN 和 others
同时它们也承担了Mapreduce的作用