重要提示：如果是windows系统，不用看了，这方法用不了，因为本人的系统是ubuntu的。所以可以使用第一步：你当然需要在本地装好spark，hadoop，java等环境，保证线上不使用kerberos认证的时候，你的pyspark是可用的。如果不行，请参考我的另一篇文章，pyspark 连接远程hive，当然同样先保证你的环境是OK的，并且环境变量这些都配置好了，同时hosts中的路由也配好了
转载
2023-09-15 11:48:02
135阅读
之前我们部门在数据分析这边每天的日报都是直接使用hive脚本进行调用，随着APP用户行为和日志数据量的逐渐累积，跑每天的脚本运行需要花的时间越来越长，虽然进行了sql优化，但是上spark已经提上日程。直接进行spark开发需要去学习scala，为了降低数据分析师的学习成本，决定前期先试用sparkSQL，能够让计算引擎无缝从MR切换到spark，现在主要使用pyspark访问hive数据。以下
转载
2023-11-03 10:08:39
82阅读
文章目录项目场景：问题描述原因分析：分析hive的MV策略如下：hdfs mv原理解决方案：方案一：修改临时目录方案二： 项目场景：spark streaming从 Kafka 消费数据，写到 Hive 表。问题描述数据量级上亿，SparkStreaming 的 bath time 为 1 min, 在某一个时刻开始出现任务堆积，即大量任务处于 Queued 状态，卡在了某个 job，最长延迟时
转载
2023-07-28 13:46:28
118阅读
文章目录简介环境搭建与效果演示更细节的搭建方法搭建HDFS、Spark或hive的前提已经有了远程可访问的测试集群搭建hadoop2.7.2修改hadoop配置格式化hdfs测试搭建spark-2.4.5解压hive-2.1.0创建hive元数据库的schema测试spark-sqlspark-sql访问已经被hive创建的表出现的问题测试hivejupyter中使用pyspark使用pys
windows 上搭建pyspark环境，并使用pyspark连接hive由于最近有使用python连接hive，编写spark程序的需求，所以开始搭建pyspark的windows开发环境 开发环境：pycharm2018 + python3.6 + spark2.3 + pyspark2.3 + hadoop2.61.安装jdk1.8以上版本1.下载并安装jdk1.8，记住安装路径 下载地址：
转载
2024-03-05 21:12:31
145阅读
1，pyspark读取hive get_name_sql=''' select * from *.*_slot_feature_detail_info_di ''' rdd=spark.sql(get_name_sql).rdd print(rdd.take(1)) -> Row("slot_num ...
转载
2021-08-02 15:17:00
1290阅读
2评论
## PySpark Hive RDD: 理解与使用
PySpark是Apache Spark的Python API，它提供了一种方便和强大的方式来处理大数据集。在PySpark中，Hive是一个重要的组件，它是一种基于Hadoop的数据仓库解决方案，用于数据的存储和查询。PySpark Hive RDD是PySpark中与Hive集成的一种弹性分布式数据集（RDD）类型，它提供了在PySpar
原创
2024-01-06 06:40:09
68阅读
# PySpark写Hive
在大数据领域，Hive被广泛用于数据仓库和数据分析。作为一个数据仓库，Hive可以通过使用HQL（Hive查询语言）来查询和分析存储在Hive表中的数据。PySpark是Apache Spark的Python API，它提供了一种使用Python来处理大规模数据的方式。本文将介绍如何使用PySpark来写Hive。
## 环境设置
在开始之前，我们需要确保已经安
原创
2023-10-12 13:09:52
137阅读
# 使用 PySpark 读写 Hive 数据
Apache Hive 是一个用于数据仓库的基础设施，它可以将数据存储在 Hadoop 分布式文件系统(HDFS)中，并通过类似 SQL 的语言来查询和管理数据。PySpark 是 Apache Spark 的 Python API，能够高效地处理大规模数据集，并与 Hive 集成。因此，使用 PySpark 读写 Hive 数据是一种非常流行的方
在大数据处理的场景中，利用 PySpark 连接 Hive 进行数据分析越来越普遍，但这个过程往往会遭遇各种挫折和困难。本篇文章将详细记录解决“PySpark连接Hive”问题的过程，通过清晰的结构和图示帮助你理解并掌握连接步骤、调试方法及性能优化策略。
## 背景定位
在商业环境中，企业需要将大量数据存储在 Hive 中，以便后续的数据分析、报表生成等任务。然而，PySpark 与 Hive
# 在 PySpark 中读取 Hive 数据的完整指南
在数据分析和大数据处理的世界中，Apache Hive 和 Apache Spark 是两种广泛使用的工具。Hive 提供了一种简单的 SQL 风格的查询语言，而 Spark 则提供了强大的数据处理能力。若想在 PySpark 中读取 Hive 数据，了解基本的流程至关重要。本文将逐步指导你完成这一过程，包括必要的代码和示意图。
##
因为公司要处理流量数据，其中设计到了会话id的处理，从而需要用spark来实现这一功能。 而公司的数仓是基于Doris搭建的，这就涉及到了spark读写Doris，简单来说一下spark读写Doris具体的实现方案01jdbc读写 因为Doris支持mysql协议，所以可以直接通过spark使用jdbc的方式来读写Doris.Pom相关
转载
2023-11-23 10:07:30
681阅读
需求：内网通过Excel文件将数据同步到外网的CDH服务器中，将CDH中的文件数据写入hive中。CDH版本为：6.3.2 spark版本为：2.4 python版本：2.7.5 操作系统：CentOS Linux 7 集群方式：yarn-cluster一、在linux中将excel文件转换成CSV文件，然后上传到hdfs中。 为何要先转csv呢？主要原因是pyspark直接读取excel的话，涉
转载
2024-07-26 08:27:36
97阅读
## 用 PySpark 写入 Hive
Apache Hive 是一个基于 Hadoop 的数据仓库工具，它提供了一种将结构化数据映射到 Hadoop 分布式文件系统上的方式，并提供了一套 SQL 类似的查询语言 HiveQL 来查询数据。PySpark 是使用 Python 编写的 Apache Spark 的 Python API，它提供了一个方便的方式来处理大规模数据集。
在本文中，我
原创
2023-10-27 14:44:26
439阅读
# 使用 PySpark 读取 Hive 的完整指南
在大数据处理领域，PySpark 和 Hive 是两种强大的工具。当需要处理大规模的数据集时，常常需要利用 PySpark 从 Hive 中读取数据。本文将逐步引导您完成整个过程，包括流程、代码实现和详细解释。
## 整体流程
在开始之前，我们首先要了解读取 Hive 数据的整体流程。下面是一个简单的步骤表格：
| 步骤 | 说明
# 使用Pyspark读写Hive
## 引言
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和分析。Hive是Hadoop生态系统中的一个数据仓库基础设施，可以提供类似于SQL的查询接口，将查询转化为MapReduce任务。Pyspark是Apache Spark的Python API，它提供了一个简单和高效的方式来处理大规模数据集。在本文中，我们将介绍如何使用Pyspa
原创
2023-08-24 10:31:20
1304阅读
本文介绍了美团引入Spark的起源，基于Spark所做的一些平台化工作，以及Spark在美团具体应用场景下的实践。总体而言，Spark由于其灵活的编程接口、高效的内存计算，能够适用于大部分数据处理场景。
前言美团最初的数据处理以Hive SQL为主，底层计算引擎为MapReduce，部分相对复杂的业务会由工程师编写MapReduce程序实现。随着业务的发展，单纯的Hive SQL查询或
转载
2024-06-11 13:00:55
70阅读
Spark以及其强大的数据分析功能变成了炙手可热的数据分析引擎，不仅如此，Spark还提供了很多的拓展的方式方法。像我们熟知的UDF和UDAF就是Spark的两个典型的拓展方式，这种拓展方式的存在使得用户可以根据需求编写需要的函数，也使得Spark可以更加灵活的被多方拓展增强Spark的功能。使用过UDF的用户都注意到了一个问题：拓展方式全部都是基于行的处理，使得用户拓展Spark存
转载
2024-04-02 15:45:09
46阅读
# PySpark 读取 Hive 数据
在大数据领域，Hive 是一种常用的数据仓库基础设施工具。它提供了一个类似于 SQL 的查询语言，可以让用户通过简单的查询语句从大规模数据集中提取数据。PySpark 是 Apache Spark 的 Python 接口，可以在 Python 中使用 Spark 的分布式计算能力。本文将介绍如何使用 PySpark 读取 Hive 数据。
## 环境准
原创
2023-11-05 09:41:35
475阅读
# 使用 PySpark 读取 Hive 数据库中的数据
在大数据处理领域，Apache Hive 是一个非常流行的数据仓库工具，常用于存储和查询大规模的数据集。PySpark 是 Spark 的 Python API，能够高效地处理大数据。本文将介绍如何在使用 PySpark 读取 Hive 数据库时处理密码认证，并提供代码示例。
## 1. 环境准备
在开始之前，请确保您已安装以下软件：
原创
2024-08-25 04:46:53
58阅读
