一、Spark入门Spark是开源类Hadoop MapReduce的通用并行框架。Spark拥有HadoopMapReduce所具有的优点，但不同于MapReduce的是，Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此，Spark能更好地适用于数据挖掘与机器学习等需要迭代的场景1. Spark概述Spark是一种与Hadoop相似的开源集群计算环境，但是两者之间还是存在一些不
转载
2024-02-10 06:57:06
106阅读
实战Scala & Spark (1) http://blog.csdn.net/sinat_20069255/article/details/49282921
原创
2015-10-22 00:23:56
600阅读
写了点scala的内容，方便看spark源码，估计一两天就能看完，内容比较粗浅。 下载地址： http://download.csdn.net/detail/lsshlsw/7983541
转载
2014-09-28 08:28:00
85阅读
2评论
写了点scala的内容，方便看spark源码，估计一两天就能看完，内容比较粗浅。 下载地址： http://download.csdn.net/detail/lsshlsw/7983541
转载
2014-09-28 08:28:00
69阅读
2评论
数据库设计：CREATE DATABASE bigdata;USE bigdata;CREATE TABLE `t_student` (`id` int(11) NOT NULL AUTO_INCREMENT,`name` vEFAULT NULL,PRIMARY KEY (`id`)) ENGIN...
原创
2022-10-31 12:23:08
215阅读
在python中编写spark的程序，需要安装好Java、spark、hadoop、python这些环境才可以，spark、hadoop都是依赖Java的，spark的开发语言是Scala，支持用Java、Scala、python这些语言来编写spark程序，本文讲述python语言调用pyspark的安装配置过程，文中的Java版本是Java SE10.0.1，spark版本是2.3.1，pyt
转载
2023-10-17 16:49:03
184阅读
前言：最近用了一段时间spark，略有所得，借此平台，互相学习！共勉！spark是什么？有什么特点？spark是基于内存计算的大数据框架引擎，有以下4个特点 1.速度快：主要通过DAG Scheduler 这个有向无环图，实现迭代式计算 2.易用性：支持多种语言，如Java、scala、Python、R、SQL等 3.通用性：统一实现了core 、sql 、 Streaming 、 Mlib 图计
转载
2023-08-10 22:08:38
40阅读
# Spark 支持视图吗？如何实现视图的使用
在大数据处理领域，Apache Spark 是一个非常强大的工具。今天，我们要探讨的主题是 Spark 是否支持视图，以及如何在 Spark 中实现视图。本文将为你提供一个清晰的流程和具体的代码示例，帮助你掌握 Spark 中视图的概念与实现。
## 流程概述
在 Spark 中，视图是临时的表，它基于已有的数据表，允许用户以更简单的方式访问数
原创
2024-09-26 08:58:04
51阅读
# StreamPark：Spark与流处理的完美结合
 方法用于在字符串中用一些字符替换另一些字符，或替换一个与正则表达式匹配的子串。语法 stringObject.replace(regexp/substr,replacement) regexp/substr必需。规定子字符串或要替换的模式的 RegExp 对象。请注意，如果该值是一个字符串，则将它作为要检索的直接量文本模式，而不是首先被转换为 RegExp 对象。
开发环境数据库：Sql Server项目：SpringBoot 2.1.3持久层：mybatis-plus 3.3.0连接池：druid 1.1.10<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid</artifactId>
<vers
转载
2024-07-12 07:51:44
57阅读
目录一、Scala的安装二、Spark的安装1、Spark的几个版本的意思2、Spark的最新版本3、安装Spark4、下载winutils 在我们安装Spark之前，由于Spark基于Scala的，所以我们需要先安装Scala。 一、Scala的安装 ，这里先说明一下Spark与Scala版本之间的问题，在Spark的官网中有这样一句话：Note that Spark 3
转载
2023-09-09 21:50:56
1332阅读
文章目录前言scala基础知识1、Scala特性面向对象函数式编程静态类型扩展性2、表达式3、方法与函数方法转函数4、模式匹配常量模式变量模式通配符模式类型模式case class模式模式守卫Option模式5、Scala Trait（特质）6、集合操作常用集合7、数据源8、隐式转换9、正则匹配10、异常处理1. java和scala捕获异常方式不同2. Scala没有checked异常3. S
转载
2023-08-29 16:41:02
145阅读
最近的Spark项目需要访问TSSD存储，由后台同学提供一个C++动态库，包含读写接口，然后我通过JNI包装so库，调用C++方法。在Spark中如何使用JNI调用C++动态库，这篇文章讲的很清楚了 http://icejoywoo.github.io/2018/07/25/spark-jni.html在后台同学给我提供so之前，我按照这篇文章实操了一遍，感觉问题不大，就把这项工作降低优先级，放一
转载
2024-06-05 22:52:18
69阅读
一、什么是scala scala 是基于JVMde 编程语言。JAVA是运行在jvm上的编程语言，java 源代码通过jvm被编译成class 文件，然后在os上运行class 文件。scala是运行在jvm 上的编程语言，scala源代码通过jvm被编译成class文件，然后在os上运行class文件。 二语法： 1.声明值和变量 var a =12 // 定义变量 vary val b...
原创
2021-07-29 10:50:00
208阅读
