Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，大数据处理引擎尽可能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎，并将碎片任务发送(Map)到多个节点上，之后再以单个数据集的形式加载(Reduce)到数据仓库里。
但是对于Hadoop，特别是Hadoop分布式文件系统(HDFS)来说，大数据处理至少需要三份以支持数据的高可用性。对于TB级别的数据来说，HDFS看起来还是可行的，但当达到PB级别海量数据的时候，其带来的存储成本压力不可小觑。即便是可横向扩展存储亦不能避免压力本身，一些厂商选择了使用RAID技术实现卷级别的保护，而在系统级别则使用了复制的方式。对象存储技术可以提供面对大型环境的数据冗余问题的解决方案。
对象存储。基于对象的存储架构可以通过替代分层存储架构的方式，极大程度上提升可横向扩展存储的优势，它使用的方式则是以单一索引来关联灵活的数据对象。这将解决无限制扩展问题，从而提升了性能本身。对象存储系统包含了无需RAID或者复制作为数据保护的纠删码，极大程度上提升了存储的使用效率。
不像HDFS方式下需要两份或者三份多余数据拷贝以及额外的RAID机制，对象存储系统的纠删码可仅以50%-60%的额外容量就能达到更高的数据保护级别。在大数据存储级别，对于存储本身的节省将是非常重大的。许多对象存储系统亦可选择，包括Caringo、 DataDirectNetworksWebObjectScaler、NetAppStorageGRID、QuantumLattus以及开源的 OpenStackSwift和Ceph。
一些对象存储系统，比如Cleversafe的，甚至可以做到与Hadoop兼容。在这些项目的实施中，Hadoop软件组件可以运行在这些对象存储节点的CPU上，对象存储系统将替换存储节点的Hadoop分布式文件系统。
在这里我还是要推荐下我自己建的大数据学习交流qq裙：522189307 ， 裙 里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取
大数据处理存储的底线
大数据处理分析逐渐在IT行业成为了一个热门的话题，越来越多的企业相信它将引领企业走向成功。然而任何事情都有两个方面。这件事情上来看，就是现有存储技术本身。传统存储系统不管是在需要极低延时响应、实时大数据应用或者还是面对海量数据仓储的数据挖掘应用的时候都会遇到瓶颈。为了保证大数据分析业务能正常运行，相应的存储系统需要足够快，可扩展并且性价比有优势。
对于闪存解决方案来说，不管是以服务器端flash卡的形式还是以全闪存阵列的形式，都提供了一些对于高性能、低延时、大容量存储的替代解决方案。基于对象的带有擦写功能编程的可横向扩展架构为使用传统RAID以及复制方式的存储结构提供了一种能具备更高效率和更低价格的选择。
