Spark Streaming是核心Spark API的扩展，可实现实时数据流的可扩展，高吞吐量，容错流处理。数据可以从许多来源（如Kafka，Flume，Kinesis或TCP套接字）中获取，并且可以使用以高级函数表示的复杂算法进行处理map，例如reduce，join和window。最后，处理后的数据可以推送到文件系统，数据库和实时仪表板在内部，它的工作原理如下。Spa
转载
2023-08-07 20:35:07
169阅读
# 用SparkMLib进行机器学习的实现指南
欢迎来到SparkMLib的机器学习实现指南！本文将带领你逐步学习如何在Kubernetes集群上使用SparkMLib进行机器学习的开发。SparkMLib是Apache Spark的机器学习库，提供了丰富的机器学习算法和工具，能够帮助开发者快速实现机器学习模型。
## 实现步骤
接下来我们将分步介绍如何在Kubernetes环境下实现机
原创
2024-05-08 09:46:18
79阅读
/*scala test*/
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
object WordCount {
def main(args: Array[String]): Unit = {
println("start...")
/**
* 第一步：创建Spark的配置对象SparkConf，设置S
转载
2024-10-22 09:49:08
27阅读
1、找到spark安装目录E:\spackLearn\spark-2.3.3-bin-hadoop2.7\jars 里面放的是spark的所有依赖jar包2、从idea里面javalib导入即可调用里面的function
自动化学习。
转载
2023-06-13 20:21:34
49阅读
Spark 入门基础知识Spark 的特点速度快使用方便通用兼容Spark 基础下载独立部署模式（Standalone）弹性分布式数据集Scala shell1. 数组中的最值：2. RDD的创建3. 过滤RDD中的数据4. 读取文件中的数据到RDD对象5. 统计 RDD对象中的单词的数量RDD 编程（Java）00. sc.parallelize(list, numSlices)01. rdd
再按空格键，直到出现让你输入 yes：最后输入安装路径，并耐心等待安装完成：最后进行初始化，输入 yes：[root@hadoop01 ~]# source ~/.bashrc
# 测试安装是否成功
(base) [root@hadoop01 ~]# conda list1.3.1.1 添加国内阿里源(base) [root@hadoop01 ~]# vim ~/.condarc
channe
pom文件如下：<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.3.4</vers
摘 要 大数据时代已经到来，面对呈几何倍增且来源多样的海量数据，企业需要运用各种数据处理分析技术从中获取需要的有价值的信息。而基于大数据的四V特性，相关机构从海量数据中提取信息面临着原始数据无规则、非结构化、不完整等各种问题。这些带有各种质量问题的数据无疑增加了企业准确获取信息的难度，进而导致一系列不必要的决策失误。若能在数据处理之前对这些数据进行预处理操作，去除或纠正各种质
1、Spark MLlib的简介机器学习可以看做是一门人工智能的科学，该领域的主要研究对象是人工智能。机器学习利用数据或以往的经验，以此优化计算机程序的性能标准。机器学习强调三个关键词：算法、经验、性能用算法对数据进行训练以后得到的才叫模型。传统的机器学习算法，由于技术和单机存储的限制，只能在少数数据上使用，依赖于数据的抽样。由于大数据技术的出现，现在有了海量的存储空间，以及非常丰富的计算能力，就
一、Nacos集群部署一、环境准备注意！！！
1.Nacos 依赖 Java 环境来运行。如果您是从代码开始构建并运行Nacos，还需要为此配置 Maven环境，请确保是在以下版本环境中安装使用:
1.64 bit OS，支持 Linux/Unix/Mac/Windows，推荐选用 Linux/Unix/Mac。
2.64 bit JDK 1.8+；下载 & 配置。https://ww
转载
2024-02-15 19:54:28
69阅读
Java应用构建并部署K8S一、背景如果你使用Java进行开发使用容器镜像的制品形式进行交付制品最终会运行在阿里云ACK或者其他K8S集群上那么本文档可以帮助您实现研发流程的协同自动化。二、用户诉求一般来说，使用K8S部署场景如下：对源代码进行一定的质量检测，比如单元测试，代码扫描将源代码构建成为可交付的制品，也就是容器镜像对制品进行测试环境验证使用完成验证的制品进行线上部署使用基础设施即代码的方
转载
2024-02-27 10:14:56
125阅读
一、集群结构介绍接收客户端请求的端口号 2181 集群之间数据同步端口号 3888 集群选举端口号 只有leader会监听 2888 flower 会随机打开一个端口向2888请求数据 只有leader才能写，写完才同步到flower二、集群角色介绍三、Zookeeper 集群特性整个集群中只要有超过集群数量一半的 zookeeper 工作只 正常的，那么整个集群对外就是可用的。 假如有 2 台服
转载
2023-10-03 11:38:07
126阅读
对于任意一个数据集都是未知的，不管数据从何而来，都需要自己测试并且证明数据处于干净过滤的状态，不然不应该信任这些数据，也不应该用这些数据来建模。数据可以是重复数据、为观测数据和异常数据，可以有不存在的地址、错误的电话号码和区号、不准确的地理坐标、错误的日期、不正确的标签、大小写字母混乱、尾随空格以及许多其他更细小的问题。不管是数据科学家还是数据工程师，主要工作都应该是清理数据，这样才能够建立起一个
转载
2024-07-16 19:19:53
71阅读
### Java集群部署实现流程
Java集群部署是为了提高系统的可用性和负载能力，通过将应用程序部署在多台服务器上，实现负载均衡和容错机制。下面是实现Java集群部署的流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 准备服务器和操作系统 |
| 2 | 安装Java开发环境 |
| 3 | 编写代码 |
| 4 | 打包应用程序 |
| 5 | 配置负载均衡 |
|
原创
2023-08-19 03:49:59
332阅读
# 集群部署 Java 应用程序的科普文章
在现代软件开发中，集群部署已成为实现高可用性和可扩展性的关键手段。本文将介绍什么是集群部署，并结合 Java 应用程序的实际案例，展示如何有效地进行集群部署。
## 什么是集群部署？
集群部署是将多个服务器或计算节点组合在一起，以实现负载均衡、高可用性和故障恢复。通过将应用程序分布在不同的节点上，集群架构能够处理更高的请求量，并在部分节点发生故障时
【写在前面】本文是基于前文单机部署的基础上，扩展到kylin的集群部署模式。大数据平台使用的是金山云的大数据平台环境，本质也是CDH。如果想进行kylin的集群部署，需要先完成前文kylin多维数据分析(二)教程中的步骤噢。start01Kylin集群部署一、修改配置文件在完成前文的单机部署以后，就可以进行集群模式的在线扩展了。扩展前，需要明确即将安装的几台机器，哪个为主节点，哪几个为从节点。只有
转载
2023-09-04 09:24:50
303阅读
概述背景介绍Apache Spark是一个快速、通用的大规模数据处理引擎，可以用于数据清洗、分析和机器学习。Spark MLlib是Spark的一个子项目，专门为大规模机器学习提供一套高效的算法和工具。MLlib包含了许多常用的机器学习算法，如线性回归、梯度提升、支持向量机等。深度学习是一种人工智能技术，通过多层神经网络来学习数据的复杂模式。深度学习已经取得了很大的成功，如图像识别、自然语言处理等
# Spark MLlib 评估器简介
Apache Spark 是一个强大的分布式计算框架，而 Spark MLlib 是其中用于机器学习的库。MLlib 提供了丰富的工具来构建和评估机器学习模型。在机器学习的生命周期中，评估器(evaluator)在模型验证与性能评分中扮演着至关重要的角色。
## 什么是评估器？
评估器是 MLlib 中用于评估所构建模型的性能的工具。它通常包括一些统计
hadoop入门简介 Hadoop是apache开源的一个大数据组件，它包括大数据的计算存储以及资源和作业调度功能个，官网hadoop.apache.org广义: 以apache hadoop软件为主的生态圈(hive zookeeper spark hbase等)
狭义: apache hadoop软件hadoop的三大组成部分hdfs：存储，分布式文件系统
mapreduce：计算 但是企业不
转载
2024-06-11 10:49:47
81阅读
概述 Spark MLlib分为基于RDD的API和基于**DataStream的API，**其中基于RDD的API是MLlib的主要API。数据类型 MLlib支持存储在一台机器上的本地向量和矩阵，以及由一个或多个 RDD 支持的分布式矩阵。本地向量和本地矩阵用于公共接口的简单数据。 本地矢量 M
原创
2021-07-29 14:01:14
720阅读
