摘要：在Spark开发中，由于需要用Python实现，发现API与Scala的略有不同，而Python API的中文资料相对很少。每次去查英文版API的说明相对比较慢，还是中文版比较容易get到所需，所以利用闲暇之余将官方文档翻译为中文版，并亲测Demo的代码。在此记录一下，希望对那些对Spark感兴趣和从事大数据开发的人员提供有价值的中文资料，对PySpark开发人员的工作和学习有所帮助。官网地
转载
2023-07-17 11:43:14
46阅读
# pandas
import pandas as pd
from pandas import Series,DataFrame
# numpy, matplotlib, seaborn
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
sns.set_style('whitegrid')
%matp
原创
2023-05-31 11:07:07
72阅读
1、python操作hbase1.1 配置 0.启动hbase集群 如果时钟不同步，采用下面的方式进行同步处理。$>su root
$>xcall.sh "ntpdate asia.pool.ntp.org"1.启动hbase的thriftserver，满足和第三方应用通信。$>hbase-daemon.sh start thrift22.查看webuihttp://s201
# Spark Python使用IPython生成密码
在Spark Python环境下，我们可以使用IPython来交互式地操作数据和运行代码。为了确保数据的安全性，我们可以为IPython设置密码，以防止未经授权的访问。
## IPython简介
IPython是一个功能强大的交互式Python解释器，提供了比标准Python解释器更多的功能。Spark Python环境默认使用IPyt
原创
2023-08-03 04:42:24
132阅读
一、sparkContext与sparkSession区别任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数,sparkContext只能在driver机器上面启动;SparkSession： SparkSession实质上是SQLContext和HiveContext的组合，S
转载
2023-07-15 12:20:37
46阅读
jupyter的安装与使用** 注我主要使用的是windows系统 其余的也不太了解不过这篇文章可以解决大部分问题 部分图片过大，建议打开网址简介 Jupyter Notebook是基于网页的用于交互计算的应用程序。 简而言之，Jupyter Notebook是以网页的形式打开，可以在网页页面中直接编写代码和运行代码，代码的运行结果也会直接在代码块下显示。 安装教程Windows系统安装教程 1.
# 使用GeoTools进行空间数据处理
GeoTools是一个开源的Java库，用于处理和分析地理空间数据。它提供了大量的功能和工具，可以帮助开发者进行空间数据的读取、处理、分析和可视化。本文将介绍如何在Spark中使用GeoTools进行空间数据处理，并提供一些代码示例。
## 1. 准备工作
在开始使用GeoTools之前，我们需要先安装GeoTools库。可以通过Maven来添加Ge
# Spark中使用Aggregator
## 介绍
在Spark中使用Aggregator可以用于对数据进行分组和聚合操作。本文将介绍使用Aggregator的流程，并提供代码示例和注释。
## 流程
使用Aggregator的流程如下：
```mermaid
journey
title 使用Aggregator的流程
section 准备数据
开发者->数据源
原创
2023-08-22 07:23:02
335阅读
package com.immooc.sparkimport org.apache.spark.{SparkConf, rdd}imp
原创
2022-08-01 20:30:12
168阅读
Spark 2.x管理与开发-Spark RDD的高级算子（二）aggregate*聚合操作，类似于分组Group By（１）先对局部进行聚合操作，再对全局进行聚合操作（２）举例：将每一个分区中的最大值加在一起分成两步操作：１）先在分区内部进行最大值操作２）面对全局进行操作－求和：２＋５＝７zeroValue: U：初始值，需要赋值 后面是两个函数参数，第一个函
## 实现Spark map中使用redis
### 一、整体流程
首先我们需要确保已安装好 Spark 和 Redis，然后按照以下步骤来实现 Spark map 中使用 Redis：
```mermaid
classDiagram
class Spark {
+ map()
}
class Redis {
+ get()
}
Spark&MapReduce的区别、多线程&多进程的区别1.spark与hadoop区别：2.Spark多线程运行， MR多进程运行3.MR存在的问题：4.线程和进程的区别： 1.spark与hadoop区别：本质:主要看是否进行磁盘的转换 hadoop:因为需要partition所以需要进行磁盘的转换存储 spark:则不需要这个2.Spark多线程运行， MR多进程运行多线
转载
2023-09-17 12:10:30
81阅读
因为在spark2.0后对接ipython的方法进行了变更我们只需要在pyspark文件里做出如下修改就行：
转载
2023-01-13 00:26:20
82阅读
Hive概述、内部表、外部表、分区表的操作一、Hive概述 Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取、转化、加载（ETL Extract-Transform-Loa
转载
2023-07-14 12:36:35
66阅读
Join是SQL语句中的常用操作，良好的表结构能够将数据分散在不同的表中，使其符合某种范式，减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。 SparkSQL作为大数据领域的SQL实现，自然也对Join操作做了不少优化，今天主要看一下在SparkSQL中对于Join，常见的3种实现。 SparkSQL的3种Join实现大家知道，在数据库的常见模型中（比如星型模型或者雪花
转载
2023-08-11 13:40:30
57阅读
方式1:1. 明确 Spark中Job 与 Streaming中 Job 的区别1.1 Spark Core一个 RDD DAG Graph 可以生成一个或多个 Job(Action操作)一个Job可以认为就是会最终输出一个结果RDD的一条由RDD组织而成的计算Job在spark里应用里是一个被调度的单位1.2 Streaming一个 batch 的数据对应一个 DStreamGraph而一个 D
转载
2023-09-14 16:34:53
67阅读
IPython介绍及使用
一、Ipython入门
IPython是一个交互式python命令行。
（1）安装IPython
转载
2023-07-17 23:18:47
146阅读
一、序列化我们这里不讨论什么是序列化以及序列化有什么作用、序列化方式等问题。此处我们只讨论spark程序开发中序列化的一些问题 我们都知道spark程序实际计算时是在Executor上执行，因此Driver端的对象如果Executor要使用的话需要通过网络传输，因此对象一定要实现序列化接口，否则单机测试可能没问题，但是放到集群上就报序列化错误。 无论是直接使用，或通过广播发送，对象都要序列化。二、
# 如何使用ipython
## 简介
ipython 是一个交互式的Python shell，它提供了比标准Python shell更多的功能和特性，使得编写、测试和调试Python代码更为方便和高效。
## 整体流程
首先，我们来看一下使用ipython的整体流程，可以用以下表格展示：
| 步骤 | 描述 |
| --- | ------------- |
| 1
# IPython使用
IPython（Interactive Python）是一个增强的Python解释器，提供了许多强大的功能和工具，使得在Python环境中进行交互式编程变得更加便捷和高效。本文将介绍IPython的使用方法，并演示一些常用功能和技巧。
## 安装和启动IPython
IPython是作为Python的一个独立包存在的，可以通过`pip`命令进行安装：
```mark
