一、spark1.x （1）引入内存计算的理念解决中间结果落盘导致的效率低下。早期官网中给出数据，在理想状况下，性能可达到MR的100倍 （2）支持丰富的API，支持多种编程语言，如python、scala、java、R等，代码量减少5倍以上，并且受众群体更广 （3）提供一站式的解决方案，同时支持离线、微批、图计算和机器学习 （4）支持多部署模式：支持Standalone、Cluster等多种模式
转载
2023-08-10 15:29:33
61阅读
一、Spark 1.4.x的新特性1、Spark Core
1.1 提供REST API供外界开发者获取Spark内部的各种信息（jobs / stages / tasks / storage info），基于这些API，可以搭建自己的Spark监控系统。
1.2 shuffle阶段，默认将map端写入磁盘的数据进行序列化，优化io性能。
1.3 钨丝计划（Project Tungst
转载
2023-08-13 14:49:24
61阅读
1.安装Spark之前需要先安装Java，Scala及Python(个人喜欢用pyspark，当然你也可以用原生的Scala)首先安装Java jdk：我们可以在Oracle的官网下载Java SE JDK，下载链接：http://www.oracle.com/technetwork/java/javase/downloads/index.html。最好是下载最新版本，下载完解压，配置环境变量等，
转载
2023-08-02 20:29:29
85阅读
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。Apache Spark社区刚刚发布了1.5版本，明略数据高级工程师梁堰波解析了该版本中的众多新特性，同时梁堰波也是QCon上海《基于大数据的机器学习技术》专题的讲师，他将分享《基于机器学习的银行卡消费数据预测与推荐》的
还没来得及去跑，先记下来。spark 1.3 出来dataframespark 1.4 出来sparkRspark 1.5 出来机器学习的pipeline 数据科学API之扩展 在2015年，Spark研究的主要致力于加强大规模数据科学研究。其中主要包括这三大方面：DataFrame、机器学习流水线、R语言支持。这三个部分所新增的API均有效的运行在Spark
转载
2023-10-14 12:53:11
94阅读
Spark1.5堆内存分配
这是spark1.5及以前堆内存分配图
下边对上图进行更近一步的标注，红线开始到结尾就是这部分的开始到结尾
spark 默认分配512MB JVM堆内存。出于安全考虑和避免内存溢出，Spark只允许我们使用堆内存的90%，这在spark的spark.s
转载
2023-11-16 19:50:37
64阅读
spark1.5发布了，赶紧去下了源码尝鲜git clone git://github.com/apache/spark.git -b branch-1.5输入命令进行编译./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -Dskip...
转载
2015-09-11 13:38:00
153阅读
一、Spark 1.4.x的新特性 1、Spark Core
1.1 提供REST API供外界开发者获取Spark内部的各种信息（jobs / stages / tasks / storage info），基于这些API，可以搭建自己的Spark监控系统。
1.2 shuffle阶段，默认将map端写入磁盘的数据进行序列化，优化io性能。
1.3 钨丝计划（Project Tung
转载
2023-08-22 22:13:01
40阅读
spark1.5发布了，赶紧去下了源码尝鲜git clone git://github.com/apache/spark.git -b branch-1.5输入命令进行编译./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -Dskip...
转载
2015-09-11 13:38:00
101阅读
2评论
说明：本翻译基本遵照Spark的官方翻译，但是某些不太顺口的地方还是做了一下处理，请原谅我poor的外语能力。官网链接：http://spark.apache.org/docs/latest/quick-start.html使用Spark Shell进行交互分析基本操作Spark的shell提供了一种简单的方式来学习Api，同时它也是一个强大的具有交互功能的数据分析工具。无论是Python还是Sc
转载
2024-01-03 11:09:30
451阅读
下面是我在spark user list的求助贴,很快就得到了正确回答，有遇到问题的同学解决不了也可以去上面提问。I can use it under spark1.4.1,but error on spark1.5.1,how to deal with this problem...
转载
2015-10-13 10:58:00
189阅读
2评论
Building with build/mvn · Building a Runnable Distribution · Setting up Maven’s Memory U
转载
2021-08-11 16:16:21
340阅读
最近需要用到大数据的一些相关技术，于是实验了一下spark和hadoop的集群环境搭建。实验包括三台虚拟机，linux-1、linux-2、linux-3，spark是一个master两个worker， hadoop是一个主NameNode、两个DataNode，其中一个兼做副NameNode。软件方面，spark用的1.5.2版本，最新的1.6.1版本遇到一个java代码访问拒绝的问题，网上有说
原创
2017-06-29 17:28:08
810阅读
这几天看了Django，现在的项目结构如上，是完全按照官方教程去做的。 今早上刷到一个Django的中文教程，说什么用版本低的Django做演示，听了一点 我就退了，我感觉还是用官方的教程去做最恰当。 其中diangoProject1是我用Pycharm创建Django项目时自带出来的目录包， 而p
原创
2023-01-08 00:02:02
105阅读
转载
2019-06-10 09:17:00
66阅读
我们将展示三种不同方式在git中完成commit在源代码管理系统的关键是跟踪更改。在Git中，这些被称为提交。在这里，我们将着眼于三种不同的方式来进行提交。我们将从本地计算机开始，使用命令行。假设你已有一个已经开始的项目。什么语言或平台都没关系，只要它的文本文件以目录组织。现在，你将要使用文本编辑器来对某一个文件进行更改，或者你将会一次改变几个。"Git status"命令将告诉你什么文件有可能需
原创
2017-06-17 17:46:39
644阅读
纹理
原创
精选
2023-07-15 09:48:25
307阅读
空调调大1.5匹、正1.5匹、小1.5匹有什么区别，很明显的就能看出来，其在功率大小上是有关系的。小1.5匹的空调制冷量是3200W左右，也叫1.25匹空调，适合16平米左右的房间使用；把制冷量为3500W的空调叫做正1.5匹，主要适用于18平左右的房子，制冷量大于3500W的空调叫做大1.5匹，主要适合20平左右的房间使用。如何选择性价比最高的空调
原创
2021-07-14 14:15:53
9276阅读
1· PyTorch 与 TensorboardX 的版本兼容性问题在tensorflow的使用中，大家往往都会用tensorboard进行数据的可视化，例如模型结构、损失函数的变化等，实际上PyTorch也可以使用TensorboardX 进行可视化。PyTorch有自己的visdom模块实现可视化，但是从接口的方便、简介的角度来说，TensorboardX用起来更加容易。 本文简要介绍一下自己
转载
2023-09-04 20:33:12
72阅读
自08年毕业，已19个多月了。
对于每一个刚毕业的普通大学生来说，估计给大家印象最深刻的是毕业后的6个月内的那段日子，因为在这6个月左右的时间里，个人的开销剧增（相对在校的日子而言），而工资又是最低的，因为那时正处于试用期或刚转正。像我就是，每一个月房租加水电费要600左右，平时的交通费、伙食费、电话费，通通加起来要1600左右，再除去每个月给小妹的生活费，一个月的工资基本所剩无几，万一买个日常
原创
2010-02-10 11:48:23
568阅读
