什么是4v

数据量大(Volume)。

第一个特征是数据量大,包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。

类型繁多(Variety)。

第二个特征是种类和来源多样化。包括结构化、半结构化和非结构化数据,具体表现为网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。

价值密度低(Value)。

第三个特征是数据价值密度相对较低,或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何结合业务逻辑并通过强大的机器算法来挖掘数据价值,是大数据时代最需要解决的问题。

速度快时效高(Velocity)。

第四个特征数据增长速度快,处理速度也快,时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到,个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。

数据是在线的(Online)。

数据是永远在线的,是随时能调用和计算的,这是大数据区别于传统数据最大的特征。现在我们所谈到的大数据不仅仅是大,更重要的是数据变的在线了,这是互联网高速发展背景下的特点。比如,对于打车工具,客户的数据和出租司机数据都是实时在线的,这样的数据才有意义。如果是放在磁盘中而且是离线的,这些数据远远不如在线的商业价值大。

4v总结

Volume(数据量大):数据量大,采集、存储和计算的量大。
Variety(类型繁多):种类和来源多样化。
Value(价值密度低):数据价值密度较低。
Velocity(速度快失效高):数据增长速度快,处理速度快,时效性高。
Online(数据在线):数据永远在线。

两大核心技术:

1。分布式存储

解决海量数据的存储问题-集群分布式处理

2。分布式处理

将不同地点的,或具有不同功能的,或拥有不同数据的多台计算机通过通信网络连接起来,在控制系统的统一管理控制下,协调地完成大规模信息处理任务的计算机系统。

服务

IaaS-基础设施和存储

大数据_分布式处理

Paas-平台即服务

例如:接口、服务
大数据_大数据_02
大数据_分布式处理_03

SaaS软件即服务

大数据_大数据_04
大数据_大数据_05

大数据_分布式处理_06

云计算优势

大数据_结构化_07

云区分

私有云
公有云
混合云

数据中心应该建在哪

大数据_结构化_08
大数据_结构化_09

大数据_处理速度_10
大数据_数据_11

大数据_大数据_12
大数据_结构化_13