今天早早地下班，闲来无事就继续鼓捣spark了，spark计算能力很强之外还有一个很强大的功能就是机器学习，借助于spark平台的高性能以及高计算能力，机器学习算法也被广泛地开发出来，今天在实际使用spark中提供的机器学习算法的时候遇到一个问题就是： 当前spark读取的都是libsvm格式的数据，我对于libsvm的了解，仅仅停留在他是台大
一、摘要 Apache Spark是现今最为流行的开源大数据计算框架，广泛应用于数据处理和分析应用。它提供的两种基于命令行的处理交互方式虽然足够灵活，但在企业应用中面诸如部署、安全等的问题。为此本文引入Livy这样一个基于Apache Spark的REST服务，它不仅以REST的方式代替了Spark传统的处理交互方式，同时也提供企业应用中不可忽视的多用户，安全，以及容错的
一、使用 DataFrame 进行编程1、创建 DataFrame1.1 通过 Spark 的数据源创建Spark支持的数据源：// 读取 json 文件
scala> val df = spark.read.json("/opt/module/spark-local/examples/src/main/resources/employees.json")
df: org.apache.sp
1.Spark SQL概述1）Spark SQL是Spark核心功能的一部分，是在2014年4月份Spark1.0版本时发布的。2）Spark SQL可以直接运行SQL或者HiveQL语句3）BI工具通过JDBC连接SparkSQL查询数据4）Spark SQL支持Python、Scala、Java和R语言5）Spark SQL不仅仅是SQL6）Spark SQL远远比SQL要强大7）
转载
2023-09-08 12:24:42
51阅读
第1章 Spark Streaming概述1.1 离线和实时概念数据处理的延迟离线计算就是在计算开始前已知所有输入数据，输入数据不会产生变化，一般计算量级较大，计算时间也较长。例如今天早上一点，把昨天累积的日志，计算出所需结果。最经典的就是Hadoop的MapReduce方式；实时计算输入数据是可以以序列化的方式一个个输入并进行处理的，也就是说在开始的时候并不需要知
本文章主要通过spark sql实现新闻网站关键指标的离线分析功能1 页面pv统计以及排序2 页面uv统计以及排序3 新用户注册比例统计4 用户跳出比例统计5 板块热度排行榜统计首先需要生成对应的访问数据import java.io.FileOutputStream;
import java.io.OutputStreamWriter;
import java.io.PrintWriter;
im
Spark Streaming实现实时流处理一、Streaming与Flume的联调Spark 2.2.0 对应于 Flume 1.6.0 两种模式： 1. Flume-style push-based approach：
Flume推送数据給Streaming
Streaming的receiver作为Flume的Avro agent
Spark workers应该跑在Flum
1.分布式计算引擎的发展(1) 第一代：MapReduce
应用：传统的离线计算缺点：基于磁盘存储，读写性能差，灵活性差(2) 第二代：Tez、Storm
应用：离线计算缺点：Tez基于MR做了颗粒度拆分，提高了灵活性，但还是基于磁盘，读写性能没有改善Storm应用于实时计算(3) 第三代：Spark
离线+实时：lambda架构目前在工作中主要使用的离线计算引擎(4) 第四代：
转载
2023-09-30 14:31:03
393阅读
一、SparkStreaming的介绍1.离线和流处理的区别1）离线处理是针对一个批次，这个批次一般情况下都比较大流处理对应的数据是连续不断产生，处理时间间隔非常短的数据2）离线处理程序，因为数据是有限的（bounded），所以会终止流数据因为是连续不断的产生，所以数据是无限的（unbounded）由于数据的特征，一般离线处理比较缓慢，流数据处理相对较快流处理：
实时流处理：（St
转载
2023-09-16 11:47:53
124阅读
1、背景介绍 Storm以及离线数据平台的MapReduce和Hive构成了Hadoop生态对实时和离线数据处理的一套完整处理解决方案。除了此套解决方案之外，还有一种非常流行的而且完整的离线和 实时数据处理方案。这种方案就是Spark。Spark本质上是对Hadoop特别是MapReduce的补充、优化和完善，尤其是数据处理速度、易用性、迭代计算和复杂数据分析等方面。
文章目录一、概述二、DStream 创建2.1 RDD 队列2.2 自定义数据源2.3 Kafka 数据源2.3.1 版本选型2.3.2 Receiver（0.8） 模式2.3.3 Direct（0.8）模式2.3.4 Direct（1.0）模式 ***2.3.4 总结三、DStream 转换3.1 无状态转化操作3.1.1 Transform3.2 有状态转化操作3.2.1 UpdateSta
四、数据技术篇—— 离线数据开发4.1 数据开发平台4.1.1 统一计算平台@4.1.2 统一开发平台4.2 任务调度4.2.1 核心设计模型4.2.2 任务状态机模型@4.2.3 工作状态机模型4.2.4 调度引擎工作原理4.2.5 执行引擎逻辑架构图@4.2.6 调度系统的特点 数据存储及计算、数据整合及管理体系4.1 数据开发平台了解需求 -> 模型设计 -> ETL开发 -&
转载
2023-10-11 10:29:57
65阅读
入职新公司一段时间，接手了前辈开发的spark 引擎，最痛苦的任务开始了，看别人的代码，优化别人的代码，淦！只能一步一步来吧，先调整最棘手的问题。解决数据量承载问题 由于之前业务刚开始，数据量较少，但是如今用户增长，数据量增加，一些配置不再适合现今的业务。第一个问题就是，数据入库问题，我们采用的是 spark 读取每日的增量日志（每个业务在70g左右，需要跑7、8个，由于公司太穷了，集群只有 45
转载
2023-09-04 16:00:31
101阅读
1.3 业务需求对广告数据进行初步ETL处理和业务报表统计分析，整体业务需求如下图所示： 两个主要方面的业务： 第一个、数据【ETL 处理】依据IP地址，调用第三方库解析为省份province和城市city；将ETL后数据保存至PARQUET文件（分区）或Hive 分区表中；第二个、数据【业务报表】读取Hive Table中广告数据，按照业务报表需求统计分析，使用DSL编程或SQL编程；将业务报表
1、Spark平台基本介绍Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and PeopleLab) 开发，可用来构建大型的、低延迟的数据分析应用程序。Spark 是在Scala 语言中实现的，它将 Scala 用作其应用程序框架。Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。Spark 是一种与Hadoop 相似的开源集群计算环境
转载
2023-10-18 20:13:09
104阅读
一、 基本的离线数据处理架构： 数据采集 Flume：Web日志写入到HDFS数据清洗 脏数据 Spark、Hive、MR等计算框架来完成。 清洗完之后再放回HDFS数据处理 按照需要，进行业务的统计和分析。 也通过计算框架完成处理结果入库 存放到RDBMS、NoSQL中数据可视化 通过图形化展示出来。 &
转载
2023-07-10 15:45:46
52阅读
在Spark生态当中，MLlib往往是被定义为一个机器学习的库，通过用MLlib封装好的算法，可以非常轻松便捷地构建机器学习应用。在大数据处理当中，有了MLlib的出现，可以说是非常有利的一个工具。今天的大数据学习分享，我们就来对Spark MLlib做一个简单的入门介绍。Spark MLLib简介MLlib作为Spark的机器学习库，提供了非常丰富的机器学习算法，比如分类、回归、聚类及推荐算法等
转载
2023-09-26 21:38:47
70阅读
（一）技术架构（二）数据开发的日常工作及特点数据开发岗位的日常工作流程为：1. 开会，了解产品需求，进行开发排期；2. 模型设计，了解依赖关系与约束原则，与产品二次核对；3. ETL开发，沟通其他部门，导入数据；4. SQL/MR开发，编写业务逻辑；5. 测试，测试人员检查逻辑，并核对结果准确性；6. 发布上线，加入日常监控报警。 数据开发岗位的几大特点：1. 业务需求众多，业务逻辑变更
Spark StreamingSpark Streaming核对实时流式数据的处理具有可扩展性、高吞吐量、可容错性。我们可以从kafka、flume、Twitter、 ZeroMQ、Kinesis等源获取数据，也可以通过高阶函数map、reduce、join、window等组成的复杂算法计算出数据。最后，处理后的数据可以推送到文件系统、数据库、实时仪表盘中。事实上，你可以将处理后的数据应用到Spa
第一章： 项目概述第二章： 项目架构2.1 技术选型2.2 架构选型会遇到的问题第三章：采集部分 3.1 查看flume源码 第一章：项目概述概述：处理的是APP的数据，处理一些用户行为（登录、登出），通过app的服务打点记录下来的数据用于商业分析。第二章：项目架构APP的服务器肯定是多台的，webserver产生很多日志，通过对用户行为进行打点，日志会落到约定的目录下，eg: /data/201
转载
2023-10-21 21:35:38
79阅读
