云计算和大数据常常被大家混为一谈!二者有什么区别?好程序员今日解析云计算与大数据的主要区别。

  一句话解释二者主要不同:云计算是硬件资源的虚拟化。大数据是海量数据的高效处理。

  我们说大数据技术,是从成百上千,各种各样的数据中获取有价值的信息进行数据分析。应用大数据技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统。

  而云计算,它是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。 

  我们不妨可以理解,云计算相当于我们的计算机和操作系统。大量的硬件资源虚拟化后再进行分配使用,在云计算领域中,首屈一指的当数Amazon,它为云计算的商业化提供了教科书的示范。此外,还有大家熟知的VMware,Openstack。

  大数据相当于海量数据的“数据库”,通过大数据领域的诸多发展,我们也可得出结论,现如今的大数据处理已然沿着传统数据库体验的方向发展。Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群,把传统而昂贵的并行计算等概念一下就拉到了我们的面前,但是其不适合数据分析人员使用(因为MapReduce开发复杂),所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目,说到这补充一下,在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献),为我们带来了类SQL的操作,到这里操作方式像SQL了,但是处理效率很慢,绝对和传统的数据库的处理效率有天壤之别,所以人们又在想怎样在大数据处理上不只是操作方式类SQL,而处理速度也能“类SQL”,Google为我们带来了Dremel/PowerDrill等技术,Cloudera(Hadoop商业化较强的公司,Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。