大数据:是指能够让某个机构创建、控制和管理非常大的数据集的所有相关事物,以及存储这些数据集的设备。更加准确的是指从网络涌入处理器的存储设备的大量、多样、高速率的结构化和非结构化数据,这些数据经过转换后存储到企业的商用设备中。

大数据基础设施需要考虑的因素:

  • 传统商用数据存储和管理技术包括关系型数据库管理系统(RDBMS)
  • 网络附加存储(NAS)
  • 数据仓库(DW)
  • 商业智能分析(BI)

大数据网络关键组成要素:

  • 数据仓库 :数据仓库保存从多源数据形成综合数据,主要用于上报和数据分析 。
  • 数据管理服务器:大规模服务器提供多种与大数据相关的功能服务,这些服务器运行着数据集成和分析工具等数据分析应用,其他应用还会对企业运营产生的数据进行集成和结构化处理,这些企业数据包括金融数据、销售点、以及电子商务行为。
  • 数据处理系统:数据仓库输入的产生的其他系统。
  • 网络管理服务器:负责网络管理、控制、监控服务器。

 

大数据云服务器服务器配置方案怎么写_数据仓库

注:防火墙、入侵检测、路由器等重要的网络设备并未在此显示 

大数据网络需要考虑的影响因素:

  • 网络容量
  • 时延
  • 存储容量
  • 处理能力
  • 安全的数据访问

云计算:是指通过网络将巨大的数据计算处理程序分解为无数个小程序,然后通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。

大数据云服务器服务器配置方案怎么写_数据仓库_02

云服务:提供商维护着一个或多个本地/区域云基础设施,云内部网络将基础设施中的各个单元连接起来(数据库服务器、存储阵列、防火墙、负载均衡器等等)。

云内部网络:主要由IP路由器连接的众多局域网,在该基础设施内部,数据库服务器构成了虚拟机集群,并为不同用户提供虚拟化的相互隔离的计算环境。主要由两类运维支持系统:

  • 网络OSS:支持的功能包括服务管理和网络详单维护、特定网络组件的配置以及故障管理
  • 云OSS:专用于云计算服务提供商的系统,支持云资源的维护、监视、配置 

以上云内部网络、云间网、核心网以及OSS部分构成了云计算结构。

云对网络功能所需的要素:

  • 可扩展性:网络必须易于扩展满足服务器集群的基础设施,但是同时也带来了诸如寻址、路由、拥塞控制、负载均衡等诸多领域的问题。
  • 性能:由于大数据设备和云服务商网络中的流量都是不可预测和易变的,所以数据传输的可靠服务机制,实现点对点的信道同时在数据中心内部为任意两个服务器之间提供相同的带宽。但是结合实际一种更为灵活和动态的数据流控制方法加上网络设备的虚拟化,可以实现所期望的服务质量拥有更好的基础。
  • 敏捷性:具有适应虚拟机迁移的能力
  • 灵活性 :数据中心里数据流的路由实施细粒度的控制。

移动流量:随着手机等诸多移动设备的普及以及多兆比特因特网接入、移动应用、多种无线接入方式以及传感器等形成物联网的链接盛举。无线通信首先关注的是语音,现在慢慢关注点转移到了数据,但是无线设备也不再仅仅局限于语音通信了。

移动流量划分为:

  • 移动数据流量:所有经过无线接入点的企业流量
  • 托管的IP流量:所有在IP网络传输但是仍处于公司广域网内的企业流量
  • 因特网流量:所有经过公用因特网的企业流量 

企业网需要足够灵活从而承担快速增长的移动数据负载,这类负载的特点是会动态改变物理接入点,而且流量类型也由大量弹性和非弹性流量组成,利用SDN和NFV将很好的处理移动流量的问题。