IBM 提供云计算服务，包括基础设施即服务（IaaS）、平台即服务（PaaS）和软件即服务（SaaS），帮助客户将其业务迁移到云端。：IBM 积极
菜鸟学堂 了解什么是IBM BLadeCenter 2007年03月30日 09:31 源自:中关村在线 【 字号： 大 中 小 】 作者：中关村在线 王智超 在此之前，我们ZOL菜鸟学堂已经介绍了两期IBM BLadeCenter新技术，从随需应变到散热技术都为用户作了详细的介绍及分析，但仍然有用户不了解究竟什么是IBM BLadeCenter，此次我们将针对IBM BLadeC...
转载
2007-04-28 20:45:00
118阅读
2评论
如果说在IT业，SUN是边缘技术的代表，那么，IBM就是主流技术的代表。在过去的80多年里，IBM一直处于信息技术的前沿，并且参与了众多影响历史的事件。例如，1969年，阿波罗宇宙飞船载着三名宇航员，肩负着人类的使命，首次登上了月球；1981年哥伦比亚号航天飞机又成功地飞上了天空，这中间都凝聚着IBM的力量。在计算机领域，IBM也一直是尖端科技的执牛耳者，一个个最快运算纪录在IBM的实验室中相继诞生
转载
精选
2007-05-30 16:50:17
644阅读
大数据的介绍 第一节：数据 一、概念 数据就是数值，也就是我们通过观察、实验或计算得出的结果。数字、图片、 视频……. 二、分类 1、按照结构分 结构化数据：mysql表中的数据、excel 表、严格的二维表数据。每一行都有相同的列，每一行对应的列的类型一致的。 非结构化数据：没有任何结构的数据，视
转载
2020-07-21 14:32:00
110阅读
2评论
1、MongoDB——最受欢迎的，跨平台的，面向文档的数据库。 mongodb是一个基于分布式文件存储的数据库，使用C++语言编写。旨在为Web应用提供可扩展的高性能数据存储解决方案。应用性能高低依赖于数据库性能，MongoDB则是非关系数据库中功能最丰富，最像关系数据库的，随着MongDB 3.4版本发布，其应用场景适用能力得到了进一步拓展。 MongoDB的核心优势
原创
2022-10-10 20:43:18
87阅读
1.Hadoop是一个大家族，是一个开源的生态系统，是一个分布式运行系统，是基于Java编程语言的架构。不过它最高明的技术还是HDFS和MapReduce，使得它可以分布式处理海量数据。 2.HDFS（分布式文件系统）：它与现存的文件系统不同的特性有很多，比如高度容错（即使中途出错，也能继续运行），
原创
2021-07-23 09:51:09
279阅读
1. Azkaban介绍1.1. 为什么需要Azkaban一个完整的数据分析系统通常都是由大量任务单元组成shell脚本程序java程序mapreduce程序hive脚本等各任务单元之间存在时间先后及前后依赖关系, 为了很好地组织起这样的复杂执行计划， 需要一个工作流调度系统来调度执行；例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对 其进行处理...
原创
2022-03-04 16:34:27
105阅读
1. Flume 介绍1.1. 概述Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到 的数据(下沉sink)输出到HDFS、hbase、hive、
原创
2022-03-04 16:38:57
64阅读
1：Hadoop介绍
Hadoop是一个分布式系基础框架,它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理.
它主要解决两个问题
大数据存储问题： HDFS
大数据计算问题：MapReduce
问题一: 大文件怎么存储?
假设一个文件非常非常大，大小为1PB/a.txt, 大到世界上所有的高级计算机都存储不下,
原创
2022-03-04 17:06:33
110阅读
大数据技术是基于谷歌在2004~2006年发表的3篇论文第一篇论文 GFS 分布式文件系统第二篇论文 MapReduce 分布式计算第三篇论文 HBase 分布式存储Hadoop发展历史：Hadoop到目前为止一共有3个大版本Hadoop1.0Hadoop2.0Hadoop3.0Hadoop1.0 是分布式计算框架基于分布式文件系统，将计算和...
原创
2021-08-05 13:57:15
183阅读
1. Flume 介绍1.1. 概述Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到 的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中一般的采集需求，通过对flume的简单配置即可实现Flume针对特殊场景也具备良好的自定...
原创
2021-08-18 02:41:12
272阅读
1：Hadoop介绍Hadoop是一个分布式系基础框架,它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理.它主要解决两个问题 大数据存储问题： HDFS 大数据计算问题：MapReduce问题一: 大文件怎么存储?假设一个文件非常非常大，大小为1PB/a.txt, 大到世界上所有的高级计算机都存储不下, 怎么办?为了保存大文件, 需要把文...
原创
2021-08-18 10:41:04
167阅读
RAID介绍
原创
2022-10-16 16:06:36
39阅读
1. Azkaban介绍1.1. 为什么需要Azkaban一个完整的数据分析系统通常都是由大量任务单元组成shell脚本程序java程序mapreduce程序hive脚本等各任务单元之间存在时间先后及前后依赖关系, 为了很好地组织起这样的复杂执行计划， 需要一个工作流调度系统来调度执行；例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对 其进行处理...
原创
2021-08-18 10:39:44
148阅读
了解大数据各种技术之间的关系，选择合适的语言。我们可以带着下面问题来阅读本文章：1....
转载
2022-10-20 23:23:58
81阅读
大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。司与hadoop的关系是什么，都有什么产品，产品有...
原创
2023-07-24 18:08:25
81阅读
接上篇《 初探IBM大数据处理平台BigInsights（1） 》，本篇讲述Hadoop的一些基础命令及利用MapReduce运行一个简单的WordCount程序 1，在HDFS文件系统上创建test目录hadoop fs -mkdir /user/biadmin/test 2，将文件copy到test目录下hadoop fs -put /var/adm/ibmvmcoc-po
原创
精选
2016-01-15 17:55:27
2058阅读
不少人把数据中心、云计算数据中心、大数据搞混淆，觉得这三者是一样的产品，其实有显著的区别，数据中心机房是一整套复杂的设施，如今，云计算即将成为信息社会的公共资源，而数据中心则是支撑云计算服务的基础设施，所以自从云计算横空出世，一切信息技术都开始围着它转，云计算有如神一样地存在着，下面看看数据中心、云计算、大数据之间有什么区别和联系? 大数据 1、大数据(BigData)又称为巨量资料，指需
什么是大数据，大数据有哪些特点？大数据是指数据规模大，尤其是指由于数据形式多样性，非结构化特征明显，导致数据存储，处理和挖掘异常困难的那类数据集；特点：Volume(数据容量大，PB级以上的数据)Variety(数据类型繁多)Viscosity（价值密度低）Velocity（速度，大数据产生的速度快）Veracity（数据真实性差，大数据分析需要真实性数据）2.大数据技术概述大数据技术是指从数据采
转载
2023-08-14 13:12:22
61阅读
1. MapReduce 介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思 想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆 分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce负责“合”，即对map阶段的结果进行全局汇总...
原创
2022-03-04 16:43:49
137阅读
