51CTO博客>热门标签>hadoop与spark入门

hadoop与spark入门

全部文章近期文章热门文章标签简介

【hadoop与spark入门】内容共 240 条

转载 Spark入门实战系列--2.Spark编译与部署（中）--Hadoop编译安装

1 编译Hadooop1.1 搭建好开发环境1.1.1 安装并设置maven1.下载maven安装包。建议安装3.0以上版本号，本次安装选择的是maven3.0.5的二进制包，下载地址例如以下 http://mirror.bit.edu.cn/apache/mav...

hadoop

java

xml

maven

apache

阅读 74 评论 2 点赞 0

mb5ff982de32716 1731 天前
转载 Spark与Hadoop有哪些用途？

Hadoop和Spark是复杂的框架，每个框架都实现了可以单独或一起工作的不同技术。因此，尝试使彼此平行可能会丢失更广泛的画面。但是现实是，很多公司都在使用这两者，Hadoop用于维护和实施大数据分析，而.Spark用于ETL...

spark

hadoop

big data

sql

阅读 23 评论 0 点赞 0

wx5caecf2ed0645 115 天前
转载 Spark与Hadoop有哪些用途？

Hadoop和Spark是复杂的框架，每个框架都实现了可以单独或一起工作的不同技术。因此，尝试使彼此平行可能会丢失更广泛的画面。但是现实是，很多公司都在使用这两者，Hadoop用于维护和实施大数据分析，而.Spark用于E...

spark

hadoop

big data

大数据

数据

阅读 116 评论 0 点赞 0

wx5caecf2ed0645 253 天前
转载 Hadoop Spark

Spark

阅读 72 评论 2 点赞 0

mob604756e62e3d 1023 天前
转载探秘Hadoop生态9：Spark入门与分布式计算实践

Spark 介绍由 yiyohunter 创建，小路依依最后一次修改 2016-12-12 行业广泛使用Hadoop来分析他们的数据集。原因是Hadoop框架基于一个简单的编程模型（MapReduce），它支持可扩展，灵活，容错和成...

后端技术杂谈

Haoop

阅读 60 评论 0 点赞 0

黄小斜 304 天前
原创 spark系列3：spark入门编程与介绍

3. Spark 入门目标通过理解 Spark 小案例, 来理解 Spark 应用理解编写 Spark 程序的两种常见方式 spark-shell spark-submit Spark 官方提供了两种方式编写代码, 都比较重要, ...

spark

scala

hdfs

其他

阅读 42 评论 0 点赞 0

涤生手记 110 天前
原创 spark系列3：spark入门编程与介绍

3. Spark 入门目标通过理解 Spark 小案例, 来理解 Spark 应用理解编写 Spark 程序的两种常见方式 spark-shell spark-submit Spark 官方提供了两种方式编写代码, 都比较重要, 分别如下 spark-shellSpark...

spark

scala

hdfs

maven

apache

阅读 277 评论 0 点赞 0

涤生手记 263 天前
原创 [Kafka与Spark集成系列一] Spark入门

欢迎支持笔者新作：《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》，同时欢迎关注笔者的微信公众号：朱小厮的博客。 Spark是一个用来是实现快速而通用的集群计算的平台。Spark是UC Berkeley AMP Lab...

spark

kafka

sql

流处理

可扩展

阅读 65 评论 0 点赞 0

朱小厮 252 天前
原创 Kafka与Spark集成系列一Spark入门

欢迎支持笔者新作：《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》，同时欢迎关注笔者的微信公众号：朱小厮的博客。Spark是一个用来是实现快速而通用的集群计算的平台。Spark是UC Berkeley AMP Lab（...

spark

kafka

sql

流处理

微信公众号

阅读 56 评论 0 点赞 0

cndba 258 天前
转载与 Hadoop 对比，如何看待 Spark 技术？

Hadoop首先看一下Hadoop解决了什么问题，Hadoop就是解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。 HDFS，在由普通PC组成的集群上提供高可靠的文件存储，通...

大数据

spark

hadoop

数据处理

数据

阅读 5 评论 1 点赞 7

mb5fdb09f39fed1 2510 天前
转载 Spark VS Hadoop

1、 Spark VSHadoop有哪些异同点？ Hadoop:分布式批处理计算，强调批处理，常用于数据挖掘、分析 Spark:是一个基于内存计算的开源的集群计算系统...

对比

hadoop

spark

阅读 458 评论 0 点赞 0

矩阵 2587 天前
转载 storm spark hadoop

Storm优势就在于Storm是实时的连续性的分布式的计算框架,一旦运行起来,除非你将它杀掉,否则它一直处理计算或等待计算的状态.Spark和hadoop都做不到. 当然它们各自都有其应用场景,各有各的优势.可以配合使用. 下面我...

storm spark hadoop

阅读 1118 评论 0 点赞 0

from_null 2077 天前
原创 Hadoop、Spark、HBase与Redis的适用性讨论（一）：Hadoop Vs. Spark

最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大...

Hadoop

Spark

HBase

Redis适用性

阅读 1156 评论 0 点赞 0

数据视野 2897 天前
转载【原创 Hadoop&Spark 动手实践 5】Spark 基础入门，集群搭建以及Spark Shell

Spark 基础入门，集群搭建以及Spark Shell 主要借助Spark基础的PPT，再加上实际的动手操作来加强概念的理解和实践。 ...

scala

spark

hdfs

hadoop

apache

阅读 326 评论 2 点赞 0

mb5fca0be3cc41d 1830 天前
原创 Spark入门及安装与配置

以下是老男孩教育编写的大数据资料，转载请注明出处：http://www.oldboyedu.comHadoopHadoop是分布式计算引擎，含有四大模块，common、hdfs、mapreduce和yarn。并发和并行并发通常指针对单个节点的应对多个请求的能...

Spark

入门

阅读 549 评论 0 点赞 0

qq5b6035c07595e 1386 天前
原创 Hadoop与Spark等大数据框架介绍

分类目录：《大数据与云计算》总目录海量数据的存储问题很早就已经出现了，一些行业或者部门因为历史的积累，数据量也达到了一定的级别。很早以前，当一台电脑无法存储这么庞大的数据时，采用的解决方案是使...

大数据

Hadoop

Spark

apache

云计算

阅读 243 评论 0 点赞 0

wx5822a6c7c2782 113 天前
转载 hadoop与spark的区别是什么

hadoop与spark的区别是什么1、目的：首先需要明确一点，hadoophe spark 这二者都是大数据框架，即便如此二者各自存在的目的是不同的。Hadoop是一个分布式的数据基础设施，它是将庞大的数据集分派到由若干台计算机组...

spark

hadoop

数据

mapreduce

数据集

阅读 138 评论 2 点赞 0

mb5fdb0ff6b2aaf 948 天前
转载 Spark与Hadoop计算模型的比较分析

转载自：http://tech.it168.com/a2012/0401/1333/000001333287.shtml Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。　　那么Spark和Hadoop有什么不同呢? 　　1.Spar...

spark

hadoop

mapreduce

迭代

数据

阅读 108 评论 0 点赞 0

chisj 273 天前
转载 hadoop spark学习笔记

http://www.csdn.net/article/2015-06-08/2824889hive:是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点...

数据

hdfs

hadoop

mapreduce

键值对

阅读 77 评论 2 点赞 0

mb5ff59354dd96e 2440 天前