--》org.apache.spark帮助文档
http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.package
--》帮助文档的使用
在左侧搜索框中输入包名
在右侧中查看相应函数及其用法
例rdd中的RDD类具有函数repart
转载
2023-10-31 21:47:44
81阅读
HDFS概述以及HDFS的shell操作和API操作目录HDFS概述以及HDFS的shell操作和API操作一、HDFS概述1.HDFS背景2.HDFS定义3.HDFS的优缺点4.HDFS组成架构5.文件块大小二、HDFS的shell操作1.基本语法2.命令大全3.常用命令三、HDFS的API操作1.客户端环境准备2.HDFS的SPI实例操作一、HDFS概述1.HDFS背景随着数据量越来越大，在一
转载
2023-08-30 19:29:35
263阅读
1. Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。具体请查阅官网2. 需要安装的包（基于centos）yum install libsasl2-dev
yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64
yum install python-devel
yum inst
转载
2023-10-26 21:28:30
157阅读
1.读取本地文件
首先需要在目录“/usr/local/spark/mycode/wordcount”下，建好一个word.txt：
转载
2023-07-12 08:33:33
480阅读
HDFS的读取和写入原理数据读取请求将由 HDFS、NameNode和DataNode来服务。让我们把读取器叫 “客户端”。1.HDFS读操作1、客户端启动通过调用文件系统对象的 open() 方法读取请求;它是DistributedFileSystem 类型的对象。2、此对象使用 RPC 连接到 namenode 并获取的元数据信息，如该文件的块的位置。 请注意，这些地址是文件的前几个块。3、响
转载
2023-07-14 10:42:04
120阅读
大数据前驱知识hadoop: 一个大数据计算框架,使用hdfs作为存储,多个廉价的集群组成集群hive：丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；mapreduce: 一个计算任务被拆分为多个部分,分配到集群下的计算机,多台计算机并行计算并将结果汇总.一、背景介绍spark 是和hadoop 一样的分布
转载
2023-09-27 04:54:11
198阅读
又是装环境斗志斗勇的一天，苦笑之前一直不想搭虚拟机/Hadoop/spark这些环境，后来python三千万行数据实在跑不动了，知道有pyspark这等好东西，以为conda install pyspark一下就可以了，发现并没有那么简单。找了很多资料，搜了很多也没找到合适的教程，正好记录一下，希望能帮到需要的同学。不用虚拟机不用Hadoop。环境：anconda 3.0 win10 64位1.下
# 如何使用 Pyspark 读取 HDFS 数据
在大数据处理的世界中，Pyspark 是一种非常流行的工具，用于在大规模数据上执行并行处理。在这篇文章中，我们将学习如何使用 Pyspark 读取 HDFS（Hadoop 分布式文件系统）上的数据。对于刚入行的小白来说，理解这一过程至关重要，下面我们将提供一个详细的指南。
## 流程概述
在使用 Pyspark 读取 HDFS 数据时，可以
# 使用PySpark和HDFS的BytesWritable
在大数据领域，PySpark是一个功能强大的工具，它使得我们能够使用Python与Apache Spark进行交互。Apache Spark提供了强大的数据处理能力，尤其在处理分布式数据时表现优异。在与Hadoop分布式文件系统（HDFS）结合使用时，BytesWritable作为一种数据类型，能够有效地处理字节流数据。本文将探讨如何
目录 1. 连接spark2. 创建dataframe2.1. 从变量创建2.2. 从变量创建2.3. 读取json2.4. 读取csv2.5. 读取MySQL2.6. 从pandas.dataframe创建2.7. 从列式存储的parquet读取2.8. 从hive读取3. 保存数据3.1. 写到csv3.2. 保存到parquet3.3. 写到hive3.4. 写到hdfs3.5. 写到mys
转载
2023-08-08 10:10:50
235阅读
4 从HDFS上读取文件并实现排序1- 上传一个words.txt文件到HDFS中vim words.txt
输入i 进入插入模式
添加以下内容:
hadoop hive hive hadoop sqoop
sqoop kafka hadoop sqoop hive hive
hadoop hadoop hive sqoop kafka kafka
kafka hue kafka hbase h
转载
2023-08-31 14:51:03
326阅读
背景 平台HDFS数据存储规则是按照“数据集/天目录/小时目录/若干文件”进行的，其中数据集是依据产品线或业务划分的。 用户分析数据时，可能需要处理以下五个场景： （一）分析指定数据集、指定日期、指定小时、指定文件的数据；（二）分析指定数据集、指定日期、指定小时的数据；（三）分析指定数据集、指定日期的数据（24个小时目录的数据）；（四）分析多个数据集、多个日期或多个小
# PySpark 读取 HDFS 文件及可视化分析
在大数据处理领域，Apache Spark 是一个广泛使用的开源框架，它提供了快速的数据处理能力。PySpark 是 Spark 的 Python API，允许我们使用 Python 语言进行大数据处理。Hadoop Distributed File System（HDFS）是一个分布式文件系统，用于存储大规模数据集。本文将介绍如何使用 Py
# 科普文章：PySpark删除HDFS路径
在大数据处理的过程中，HDFS（Hadoop Distributed File System）是一个非常重要的组件，它用于存储海量数据，并提供高可靠性和高性能的数据访问能力。而PySpark作为一种基于Python的Spark API，也是大数据处理中常用的工具之一。但在实际应用中，我们可能会遇到需要删除HDFS路径的情况，本文将介绍如何使用PySp
# PySpark读取HDFS数据
## 简介
Apache Hadoop是一个开源的分布式存储和计算系统，其中的HDFS（Hadoop Distributed File System）是其核心组件之一，用于存储大量的数据。PySpark是Apache Spark的Python API，可用于处理大规模数据集。在本文中，我们将介绍如何使用PySpark读取HDFS中的数据。
## 准备工作
## 科普文章：Pyspark中如何移动HDFS文件
Apache Spark是一个流行的大数据处理框架，而Pyspark则是Spark的Python API。在Pyspark中，我们经常需要处理HDFS（Hadoop分布式文件系统）中的数据文件。有时候，我们需要将文件从一个位置移动到另一个位置。本文将介绍如何在Pyspark中移动HDFS文件，并附带代码示例。
### HDFS文件移动的原理
引入Python中pyspark工作模块import pyspark
from pyspark import SparkContext as sc
from pyspark import SparkConf
conf=SparkConf().setAppName("miniProject").setMaster("local[*]")
sc=SparkContext.getOrCreate(con
转载
2023-08-24 14:59:00
165阅读
本博客记录了学习Pyspark的笔记。Pyspark是Spark的Python接口。Pyspark结构整个程序由11个公共类加4个模块组成。如下图所示：SparkContext: 集群功能入口RDD: 弹性分布式数据集(基本抽象类)Broadcast: 广播变量，跨task共享变量Accumulator: 累加器，仅可累加的的共享变量SparkConf: 配置Spark环境Sparkfiles:
转载
2023-10-12 20:38:29
185阅读
class pyspark.sql.DataFrame(jdf, sql_ctx) 一个以列名为分组的分布式数据集合 一个DataFrame 相当于一个 与spark sql相关的table，可以使用SQLContext中的各种函数创建。people = sqlContext.read.parquet("...") Once created, it can be manipulated us
# pyspark配置HDFS用户密码
## 1. 概述
在使用pyspark进行数据处理时，常常需要与HDFS进行交互。为了确保安全性，HDFS通常需要设置用户密码来进行访问权限的控制。本文将介绍如何通过pyspark来配置HDFS用户密码，并提供相应的代码示例。
## 2. HDFS用户密码配置步骤
### 步骤1：安装pyspark
首先，我们需要确保已经安装好了pyspark。可
