1. 简介Join是SQL语句中的常用操作，良好的表结构能够将数据分散在不同的表中，使其符合某种范式，减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。Join连接是大数据处理的重要手段，它基于表之间的共同字段将来自两个或多个表的行结合起来。如今Spark SQL(Dataset/DataFrame)已经成为Spark应用程序开发的主流，作为开发者，我们有必要了解Join在S
转载
2023-06-14 17:45:07
113阅读
CDH内嵌spark版本不支持spark-sql,可能是因为cloudera在推自己的impala；如果上线spark却不能使用sql这种结构化语言，对于大部分分析人员其实是有一定的门槛的准备环境maven等相关环境安装 scala安装 下载spark源码 cdh5.5.0中使用的spark-1.5.0，下载对应源码 http://archive.apache.org/dist/spark/
转载
2023-09-06 16:36:14
88阅读
下图概述了Cloudera Manager，Cloudera Navigator和Cloudera Management Service角色使用的一些端口：Cloudera Manager和Cloudera Navigator使用的端口当对等网络分发为包裹启用，Cloudera的管理代理可以获取来自Cloudera的管理服务器或从其他代理包裹，如下所示：用于对等包裹分发的端口有关更多详细信息，请参
转载
2023-07-10 15:45:57
108阅读
# 在CDH上运行Spark的详细指南
对于刚入行的小白来说，运行Spark可能看起来有些复杂，但只要按照一定的流程和步骤，一切都会变得清晰。本文将详细介绍在Cloudera’s Distribution for Hadoop（CDH）环境中运行Spark的步骤，并解释每一步的具体操作。
## 流程步骤
以下是运行Spark的流程步骤：
| 步骤 | 描述
一，环境信息 CDH集群，Cloudera Manager5安装部署CDH5.X详细请见：二，在CDH5.3.2中配置运行Spark SQL的Thrift Server 1，root用户登录CDH5.3.2集群中的某一个节点2，cd /opt/cloudera/parcels/CDH/lib/spark/sbin 执行./start-thriftserver.sh –help3，执行./star
转载
2024-02-07 10:17:28
52阅读
本文简单的介绍了 Spark SQL 3.0 与 Hive 2.1的结合，包括安装配置，spark-sql的使用，spark thriftserver的使用及 spark thriftserver 日志信息的查看。文中通过简单的案例串联起来了 spark thriftserver 和 hive的结合，有较强的参考价值。0.解压spark3.0.1的包将编译好的spark-3.0.1-bin-had
转载
2023-10-10 20:29:41
219阅读
在公司用CDH集群还是挺多的，之前有在公司部署一套CDH+SPARK2大数据开发集群，但CDH默认只支持spark1，安装spark2需要自己进行升级，现将部署过程进行整理，欢迎各位大佬指教~CDH环境如下Hadoop 2.6.0-cdh5.12.0 spark2-2.2.0 rehel 6.5x64 cdhmaster 192.168.114.210&
转载
2024-03-12 17:45:06
57阅读
# 在CDH上增加Spark SQL：让数据分析更高效
Apache Spark是一个快速、通用的大数据处理引擎，广泛应用于数据处理和分析中。其中，Spark SQL为用户提供了用结构化方式处理数据的能力，让SQL用户能够高效地利用Spark的强大功能。在CDH（Cloudera Distribution including Apache Hadoop）环境中使用Spark SQL，能够极大提升
# 介绍CDH、Spark SQL和Hue
CDH（Cloudera Distribution for Hadoop）是一种针对Hadoop生态系统的分布式数据存储和处理的开源解决方案。Spark SQL是一个新的模块，用于结构化数据处理。而Hue是一个开源的、基于Web的用户界面，用于Hadoop和其生态系统的操作。
## CDH
CDH是一个由Cloudera公司开发和维护的Hadoop
原创
2024-03-22 06:52:04
35阅读
本篇教程探讨了大数据技术之关于CDH6的一些介绍，希望阅读本篇文章以后大家有所收获，帮助大家对相关内容的理解更加深入。一： cdh6 的介绍1.1： cdh6 的发布Cloudera在北京时间5月16日的半夜，在其社区(community.cloudera.com)对外宣布发布Cloudera Enterprise 6，Beta。咱们在5
转载
2023-10-01 18:38:47
94阅读
前言众所周知，CDH为了推自家的Impala，阉割掉了Spark的spark-sql工具，虽然很多时候我们并不需要spark-sql,但是架不住特殊情况下有使用它的时候，这个根据项目或者团队（个人）情况而异。我这边就是因为项目原因，需要使用spark-sql，因此从网上各种查资料，折腾了好几天，最终在CDH集群上集成了spark-sql，以下操作并不能保证百分百适配你的环境，但思路可供借鉴。集成步
转载
2023-09-06 22:24:18
196阅读
升级背景CDH6默认没有Spark-SQL，对于代码开发者来说，有没有Spark-SQL都不重要，因为开发者使用SQL语句较少。而对于数据仓库和数据分析人员来说，Hive SQL较慢，Spark-SQL还是比较合适的。但是CDH稍微有点自私，为了力推自家的Impala框架，阉割掉了Spark的SparkSQL工具，也即CDH不自带SparkSQL工具。如果相关工作人员需要在CDH中使用SparkS
转载
2023-06-14 17:41:45
519阅读
CDH 的 6.0.1 是一个尴尬的版本，那时候 cloudera 还没有将 spark 更新到 2.4 还使用的是 spark 2.2版本。 但后来我们发现 2.3 | 2.4 更新了非常多的 feature 和修复了一些 bug 以及更新了很多包括 structed streaming 特性。并且最近最新的 6.2.0 将会在不久之后提供 Apache phoenix 的支
转载
2024-06-28 20:07:26
66阅读
介绍 hive在执行查询的时候会把sql任务分解成mapreduce job去执行，所以hive一般作为批量查询的场景比较多，mapreduce job启动较慢，经常有job运行时间在30分钟以上，作为分析人员肯定要崩溃的，而impala作为交互查询的场景比较多，不过自从hvie 1.1之后，hive查询可以采用s
转载
2023-08-09 16:30:39
146阅读
# 如何在 CDH 中查看 Spark 运行状况
Apache Spark 是一个强大的数据处理引擎，能够快速处理大规模的数据分析任务。而 Cloudera Distribution Including Apache Hadoop (CDH) 是一个包括 Hadoop 和 Spark 的大数据平台。为了更好地利用 Spark，我们需要监控其运行状况，以便及时处理潜在的问题。本文将介绍如何在 CD
原创
2024-09-18 03:20:24
69阅读
# 在CDH中运行Spark Standalone指南
## 1. 指南概述
在CDH（Cloudera's Distribution Including Apache Hadoop）中运行Spark Standalone是一个常见的需求，本文将向您介绍如何在CDH环境中实现这一目标。我们假设您已经有一定的开发经验，并且对CDH和Spark有一定的了解。
## 2. 实现步骤
下表展示了在
原创
2024-04-13 05:03:56
55阅读
简介本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。背景Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均
转载
2023-07-04 14:16:54
141阅读
文章目录一、自定义排序四种方式、实现序列化二、案例：自定义分区器 一、自定义排序四种方式、实现序列化前面两种是样例类实现、普通类实现第三种方式可以不实现序列化接口用的最多的还是第四种方式，第四种方式不需要封装类，直接使用元组即可 但是第四种方式有一定局限，如果不是Int类型则不能使用负号进行排序import org.apache.spark.rdd.RDD
import org.apache.s
转载
2024-02-26 14:19:32
21阅读
SparkSQL其实说白了就是方便开发人员对RDD进行间接的操作，之我前在阿里巴巴架构数据中台的时候本来想随笔的写写今天有时间就随便写点。SparkSQL中的DataFrame本质上还是一个RDD但是DataFrame本质上又是一个DataSet，SparkSQL的中心是一个SparkCore，SparkCorez中RDD是核心。不说了直接上第一种写法使用spark1.x版本 package co
转载
2023-06-19 18:39:39
178阅读
Spark SQL允许您使用SQL或使用DataFrame API查询Spark程序内的结构化数据。有关Spark SQL的详细信息，请参阅Spark SQL和DataFrame指南。继续阅读：SQLContext和HiveContext所有Spark SQL功能的入口点是 SQLContext 类或其后代之一。你创建一个 SQLContext 从一个 SparkContext 。使用SQLCon
转载
2023-10-30 18:29:34
61阅读
