VectorIndexerclass pyspark.ml.feature.VectorIndexer(maxCategories=20, inputCol=None, outputCol=None, handleInvalid=‘error’)用于对 Vector 数据集中的分类特征列进行索引的类两种使用模式： 1.自动识别分类特征（默认行为） 这有助于将未知向量的数据集处理成具有一些连续特征和
# Python Monday: 了解Python编程语言
Python是一种广泛应用于软件开发和数据分析领域的高级编程语言。它的简洁易读的语法使得初学者能够轻松入门，同时也提供了强大的功能和广泛的支持库，满足了专业开发人员的需求。本文将为您介绍Python的基础知识和几个常用的代码示例。
## Python的基础知识
### 安装Python
要开始使用Python，您需要首先安装它。您
原创
2023-09-07 14:12:26
13阅读
数据预处理与特征工程缺失值处理缺失值处理通常有如下的方法：对于unknown值数量较少的变量，包括job和marital，删除这些变量是缺失值(unknown)的行；如果预计该变量对于学习模型效果影响不大，可以对unknown值赋众数，这里认为变量都对学习模型有较大影响，不采取此法；可以使用数据完整的行作为训练集，以此来预测缺失值，变量housing，loan，education和default的
转载
2024-04-11 19:37:07
62阅读
Spark是一个用来实现快速而通用的集群计算的平台
=> Scala 中定义内联函数的简写方法
初始化SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
val conf = new Sp
一、SparkSQL介绍1.1、Shark介绍hark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上，当数据全部load在内存的话，将快10倍以上，因此Shark可以作为交互式查询应用服务来使用。Shark是完全兼容Hive的语法，表结构以及UDF函数等，已有的HiveSql可以直接进行迁移至Shar
前言如果在scala代码还在使用id! = null，可能会被有的人嘲笑，都什么年代了，竟然还有这样的写法，NullPointerException见少了吧？ 不过，据统计： Spark 源代码使用了 821 次 Option 关键字，但它有直接使用如if (id != null)。Spark 采用混合方式，大部分情况下使用 Option，但个别时候出于性能（这里主要是为了给使用者返回提示信息）原
转载
2023-10-14 06:17:04
74阅读
Spark 之 故障排除（二）这是我参与更文挑战的第12天，活动详情查看：更文挑战故障排除四：解决算子函数返回NULL导致的问题在一些算子函数里，需要我们有一个返回值，但是在一些情况下我们不希望有返回值，此时我们如果直接返回NULL，会报错，例如Scala.Math(NULL)异常。如果你遇到某些情况，不希望有返回值，那么可以通过下述方式解决：
返回特殊值，不返回NULL，例如“-1”；在通
转载
2024-05-29 09:56:02
40阅读
# 使用Spark Dataset筛选字段的指南
在大数据处理的领域中，Apache Spark 是一个非常重要的工具，它可以高效地处理海量数据。对于初学者来说，掌握 Spark 的 Dataset 是一项非常重要的技能。本文将指导你如何在 Spark Dataset 中筛选字段。
## 整体流程
首先，我们可以通过下表展示整个流程，以便更好地理解。
| 步骤 | 描述
原创
2024-09-04 04:51:27
16阅读
统计日志数据中的脏数据现在我们手头上有一个日志文件，里面只有3个字段分别是url，时间，流量。在日志文件里面这些都是字符串，所以无论是时间还是流量都可能是一些不可用的格式，现在我们要统计出有多少脏数据并保留。 先贴代码吧，这里很多东西我都是写死了，大家就当个简单例子来看看吧：package sparkHomWork
import java.io.{File, PrintWriter}
impor
转载
2023-11-09 06:48:46
106阅读
一、UDF&UDAF public class JavaExample {
public static void main(String[] args) {
SparkConf conf = new SparkConf();
conf.setMaster("local");
conf.setAppName("udf");
转载
2024-01-06 09:01:41
59阅读
熱情
忙著加班、忙著開會、忙著奔波
忘了翻照片、忘了寫日記、忘了照鐁子
有了事榠、有了家庭、有了小孩
你，還少了點什黱？
請聽聽六個引爆熱情的心靈故事……
吳乙峰
導演
深入九二一地震災區閘達五年，以紀錄片「生命」描纋生命的可賔。
為了拍攝「生命」 ，他拒拍能賺適百萬的遙續劇。
剛適災區拍攝時，他的大女兒才上國中，琭在都已經上大寃了。
他寧可一頭深入災區陪著災
转载
精选
2006-09-08 11:01:38
1039阅读
There are no shortcuts to any place worth going. 任何值得去的地方，都没有捷径。 Several years ago, I climbed the Huashan Mountain with my classmates. It is one of th
转载
2017-04-13 12:42:00
61阅读
2评论
推荐系统那点事 —— 基于Spark MLlib的特征选择 在机器学习中，一般都会按照下面几个步骤：特征提取、数据预处理、特征选择、模型训练、检验优化。那么特征的选择就很关键了，一般模型最后效果的好坏往往都是跟特征的选择有关系的，因为模型本身的参数并没有太多优化的点，反而特征这边有时候多加一个或者少加一个，最终的结果都会差别很大。在SparkMLlib中为我们提供了几种特征选择的方法，分
转载
2024-05-29 09:51:14
29阅读
## Spark查询ClickHouse添加筛选条件
### 引言
在大数据处理中，Spark和ClickHouse是两个非常常用的工具。Spark是一个快速的大数据处理框架，它提供了丰富的API和功能，用于处理和分析大规模数据。而ClickHouse是一个高性能的列式数据库管理系统，专门设计用于快速查询大规模数据。在使用Spark查询ClickHouse时，我们经常需要添加筛选条件来过滤数据
原创
2023-10-15 06:19:18
214阅读
Map
FlatMap
groupBy
filter
sample
根据指定的规则从数据集中抽取数据
val dataRDD =
sparkContext.makeRDD(List( 1,2,3,4
),1)
// 抽取数据不放回（伯努利算法）
// 伯努利算法：又叫 0、1 分布。例如扔硬币，要么正面，要么反面。
// 具体实现：根据种子和随机算法算出一个数和第二个参数设置几率比较，小于第
转载
2024-07-04 11:05:12
33阅读
有一位心地非常謙虛的主管跑來向我遞辭呈,我大吃一驚,因為這位他是一位完全以部屬為重的人,
以每年公司分紅為例,他總是將自己的一份辒給部屬。
失去他,將會是一個公司的大損失,每年的考績都顯示他很受部屬的支持。
我詢問原因,繞了個大圈子後,他很委婉的說出離職的原因。
原因是他有一位能力很強的副手,但因為他曾對這位副手的某些企劃案提出一些不同意見,可是副手
卻不見
转载
精选
2006-08-28 13:34:15
857阅读
1.数据的并行度是资源的并行度的两到三倍 2.Spark的shuffle和MR的shuffle不同 3.Troubleshooting 解决算子函数返回NUll导致问题： 在返回的时候，返回一些特殊的值，不要返回null，比如“-999”;2、在通过算子获取到了一个RDD之后，可以对这个RDD执行filter操作，进行数据过滤。filter内，可以对数据进行判定，如果是-999，那么就返回f
Spark Bloom Filter 测试什么是Bloom Filter？Bloom Filter的原理可参考文章 Bloom Filter原理由上述文章可知，创建一个Bloom Filter我们只需要定义两个参数： （1）欲插入Bloom Filter中的元素数目 n （2）Bloom Filter误判率: P(true)Bloom Filter的实现Bloom Filter已经由很多开源库，例
spark sql加载csv文件并筛选from pyspark.sql.types import TimestampTypeimport pandas as pdpd_df = pd.read_csv('/home/product_with_decd.csv')DF = spark.createDataFrame(pd_df)DF = DF.withColumn('before_afte...
原创
2022-07-18 15:05:58
71阅读
# 使用PySpark筛选编码格式不正确的数据
在处理大数据时，我们常常会遇到编码格式不正确的数据。在这篇文章中，我们将介绍如何使用Apache Spark来筛选这些数据。首先，我们需要清晰地知道整个流程。可以通过以下表格展示步骤：
| 步骤 | 描述 |
|-------------|------------
原创
2024-09-04 06:39:49
26阅读
