996440550的博客_Spark

spark MLlib之零构建通用的解析矩阵程序

在使用spark MLlib时，有时候需要使用到一些基础的矩阵（向量），例如：全零矩阵，全一矩阵；以及矩阵之间的运算操作。这里整理了一些常用的矩阵操作方法：矩阵：package utilsimport java.util.Random/** * 密集矩阵，用于封装模型参数 */class DenseMatrix(rowNum: Int, columnNum: Int) exte

程序

模型

package

通用

matrix

原创 2015-05-31 12:19:52 1692 阅读

spark streaming测试之四设置窗口大小接收数据

测试思路：首先，使用网络数据发送程序发送数据；然后，运行spark程序；观察效果。说明： 1. 这里也需要设置检查点目录 2. 这里有四个参数： &nbs

程序

window

package

import

streaming

原创 2015-05-31 12:12:38 2290 阅读

spark streaming测试之三有状态的接收数据

测试思路：首先，使用上篇文章的程序一发送网络数据；其次，运行spark程序，观察效果。说明： 1. 这里使用到了更新函数； 2. 使用检查点来保证状态。sparkStreaming import&nb

网络

程序

文章

import

streaming

原创 2015-05-31 12:03:09 1003 阅读 1点赞

spark streaming测试之二使用网络数据源

测试思路：首先，创建网络数据源数据发送器（程序一）；其次，创建spark接收数据程序（程序二）；接着，将程序一打包，放在服务器上执行。这里有三个参数分别是：所要发送的数据文件，通过哪个端口号发送，每隔多少毫秒发送一次数据；

网络

服务器

数据源

Random

原创 2015-05-31 11:55:13 1102 阅读

spark streaming测试之一使用本地数据源

直接上代码吧说下测试思路：该代码监控的/tmp/sparkStream/目录；首先，创建该目录mkdir -p /tmp/sparkStream；然后，运行spark程序；最后，向监控目录/tmp/spark

程序

数据源

package

import

原创 2015-05-31 11:40:59 2182 阅读

Flume结合Spark测试

近日，在测试Flume结合Kafka结合Spark Streaming的实验。今天把Flume与Spark的简单结合做出来了，这里记录一下，避免网友走弯路。有不周到的地方还希望路过的大神多多指教。实验比较简单，分为两部分：一、使用avro-client发送数据二、使用netcat发送数据首先Spark程序需要Flume的两个jar包：flume-ng-sdk-1.4.0、spark-stream

程序

记录

import

原创 2015-05-18 20:56:30 1428 阅读

基于IDEA使用Spark API开发Spark程序

清明假期折腾了两天，总结了两种方式使用IDE进行spark程序，记录一下：第一种方法比较简单，两种方式都是采用SBT进行编译的。注意：本地不需要安装Scala程序，否则在编译程序时有版本兼容性问题。一、基于Non-SBT方式创建一个Scala IDEA工程我们使用Non-SBT的方式，点击“Next”命名工程，其他按照默认点击“Finish”完成工程的创建修改项目的属性首先修改Modules选项在

IDEA

Spark API

Spark程序

原创 2015-04-17 20:54:03 7993 阅读

SparkSQL 初步应用（HiveContext使用）

折腾了一天，终于解决了上节中result3的错误。至于为什么会产生这个错误，这里，先卖个关子，先看看这个问题是如何发现的：首先，找到了这篇文章：http://apache-spark-user-list.1001560.n3.nabble.com/SparkSQL-select-syntax-td16299.html 里面有这么一段：The issue is that you're u

SparkSQL

HiveContext

原创精选 2015-04-17 20:14:48 5716 阅读 1点赞 1收藏

SparkSQL 初步应用

最近项目中使用SparkSQL来做数据的统计分析，闲来就记录下来。直接上代码： import org.apache.spark.SparkContext import org.apache.spark.sql.SQLContext object SparkSQL { //定义两个case class A和

SparkSQL

初步应用

原创精选 2015-04-15 13:35:38 1848 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

一步.一步

spark MLlib之零构建通用的解析矩阵程序

spark streaming测试之四设置窗口大小接收数据

spark streaming测试之三有状态的接收数据

spark streaming测试之二使用网络数据源

spark streaming测试之一使用本地数据源

Flume结合Spark测试

基于IDEA使用Spark API开发Spark程序

SparkSQL 初步应用（HiveContext使用）

SparkSQL 初步应用