文章目录问题push命令clone命令pull命令Could not read from remote repository 的解决办法 问题 我们发现，使用IDEA上的git功能，当使用ssh协议出现了可以commit但无法push和pull的问题，经过测试发现原因是Could not read from remsitory。直接翻译是 “远程仓库无法读取”。 为什么会无法读取呢？（ssh权
转载
2024-01-10 12:10:31
52阅读
# 远程连接CDH的Spark
## 概述
本文将以一个经验丰富的开发者的角度，教会一位刚入行的小白如何实现远程连接 CDH 的 Spark。我们将通过一系列的步骤来完成这个任务，并提供相关代码和注释。
## 目标
我们的目标是通过远程连接方式，使用 Spark 运行在 CDH（Cloudera Distribution for Hadoop）集群上。以下是实现这一目标的步骤流程。
```m
原创
2023-11-08 09:21:20
108阅读
# IDEA 集成 CDH 和 Spark：提升大数据处理能力的利器
在大数据时代，Apache Spark 作为一种强大的大规模数据处理框架，因其快速和易用性而受到越来越多数据科学家的青睐。在本篇文章中，我们将探讨如何在 IntelliJ IDEA 中集成 CDH（Cloudera Distribution Including Apache Hadoop）和 Spark，以便充分利用其强大的数
起因这几天，我做的项目中需要使用第三方的 API，在第三方的 API 回调时，出现各种错误，需要远程调试。之前做远程调试的时候，我只会在代码中输出日志，记录下来做分析处理，但这样做既麻烦又费时，往往还不能准确定位问题，恶心至极。之前做 .NET 开发时用过 Remote Debug 这个功能，想想 Idea 这么牛逼，是不是也有这个功能，上网一查，还真有，共享出来，与诸君共勉。服务端配置
转载
2023-08-29 10:29:05
73阅读
基于Non-SBT方式 创建一个Scala IDEA工程 我们使用Non-SBT的方式，点击“Next” 命名工程，其他按照默认 点击“Finish”完成工程的创建 修改项目的属性 首先修改Modules选项 在src下创建两个文件夹，并把其属性改为source 下面修改Libraries 将Spark开发需要的jar包导进来 加入后： 导入包完成后，在工程的scala下面创
转载
2023-09-06 12:55:09
220阅读
# CDH Spark 连接 Elasticsearch
在大数据处理中，Apache Spark 是一个非常流行的分布式计算框架，而Elasticsearch 则是一个用于全文搜索和分析的开源分布式搜索引擎。将两者结合使用，可以为我们提供更加强大和高效的数据处理和分析能力。
本文将介绍如何在CDH（Cloudera Distribution Including Apache Hadoop）环
原创
2024-05-08 07:55:07
42阅读
编写目的 编写此文档的目的是为了在idea上 能够远程提交spark程序到集群中运行，避免上传jar包到linux中，同时也避免了编写相应的spark脚本执行文件。 实现功能 在idea的上编写spark程序，不编写脚本，直接在idea上运行，且程序在spark集群（standalone）上运行。 环境 1、 Spark集群（standalone模式）完全分布式 2、 你的项目工程可以访问hdfs
转载
2023-12-22 14:27:44
45阅读
下载tomcat进入apache tomcat的官方网站下载，地址https://tomcat.apache.org/download-90.cgi 下载好后，解压就可以了。新建web项目如果项目已经建好，请跳转点击跳转 进入到界面后配置自己的Java版本，选择new 找到自己jdk目录，完成jdk的配置。 这里我们主要讲解集成tomcat，最开始打开Application server这里应该什
转载
2024-03-12 13:23:05
49阅读
Hive体系结构Hive有2个服务端守护进程：Hiveserver2：支撑JDBC访问，Thrift服务。MetaStore Server：支撑访问元数据库的服务。Hive内核结构Complier：编译器，编译hql语法。Optimizer：优化hql代码，产生最优执行计划。通过explain select …查看执行计划。Executor：执行最终转化的类(MRjob)。Hive用户接口用户接口
转载
2023-07-04 09:46:29
174阅读
1.文档编写目的 CDH 自带的Spark 不支持Spark Thrift，因为spark-assembly jar中缺少Hive thrift相关的依赖包，导致CDH用户没法使用JDBC的方式连接Spark并使用Spark SQL。Apache Spark 1.6之后spark-assembly jar 中包含了 Hive 相关的依赖包了，而恰好 CDH5.13 的 spark也是 1.6，所以
转载
2023-12-25 22:22:20
67阅读
# 连接 CDH 和 Spark2
在大数据领域中，CDH（Cloudera's Distribution Including Apache Hadoop）是一个基于Apache Hadoop的开源软件发行版，而Spark2则是Apache Spark的最新版本。本篇文章将介绍如何连接CDH和Spark2，以便在CDH集群上运行Spark2应用程序。
## 确保环境准备
在开始之前，确保你已
原创
2023-12-19 12:53:10
73阅读
# 在CDH环境下使用Spark连接MySQL
Apache Spark是一个强大的开源分布式计算框架，广泛用于大数据处理和分析。结合CDH（Cloudera's Distribution Including Apache Hadoop）使用Spark连接MySQL数据库，是数据工程师和分析师常用的一种数据集成方案。本文将介绍如何在CDH环境下配置Spark连接MySQL，并给出相应的代码示例。
原创
2024-09-13 07:17:28
23阅读
首先说下这样做的好处，不用每次都打成jar包在集群测试，直接在本地就可以测试。平台环境：hadoop 2.6.0-CDH5.7 Hive 1.1.0 Spark 1.6.0 Scala 2.11.5项目环境：jdk 1.8 scala2.11.01.创建新工程 1.创建一个maven工程，不做赘述。工程目录结构如下：2.配置环境 1.左上角File ->Project Structure -
转载
2024-06-20 08:27:22
64阅读
一.背景介绍许多中小型企业使用Ambari去管理自己的大数据集群，以Spark作为主要的计算框架去实现数据的分析。通用的Spark的开发调试流程是往往需要以下流程：Idea上进行开发，并使用spark local模式进行调试。打包程序放到测试分布式环境上进行spark on yarn client模式进行调试。使用spark on yarn cluster模式进行调试，成功后在正式环境中进行分布式
转载
2024-05-30 09:54:44
28阅读
如何编译CDH Spark源代码 经过漫长的编译过程（我编译了2个半小时），最终成功了，在assembly/target/scala-2.10目录下面有spark-assembly-1.0.0-cdh5.1.0-hadoop2.3.0-cdh5.1.0.jar文件，用rar打开看看hive jdbc
原创
2021-07-29 11:06:21
332阅读
IDEA连接spark集群写在前面一、安装Scala插件二、新建一个Maven项目三、编写pom.xml文件四、导入Scala环境五、导入spark的jar包六、编写Scala程序并提交给集群 写在前面我所使用的spark集群是基于docker搭建的，一共三个节点，一个master和两个slave，安装过程参考我之前的博客 宿主机使用的是windows10专业版一、安装Scala插件 搜索Sc
转载
2023-07-13 13:33:27
149阅读
1、首选创建项目，创建方法请看：2、添加远程同步目录(或者叫远程映射)，首选选择Tools->Deployment->Configuration...，如下图所示：3、然后选择+号，选择SFTP，如下图所示：4、输入名称，如下图所示：5、输入要远程执行spark的host，用户名和密码，如下图所示：6、输入之后进行测试SFTP是否成功，如果不成功请检查远程主机是否支持SFTP，如下图所
转载
2023-10-17 10:36:49
200阅读
①csd包：http://archive.cloudera.com/spark2/csd/ 下载SPARK2_ON_YARN-2.2.0.cloudera1.jar②parcel包：http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/ 下载SPARK2-2.2.0.cloudera1-1.cdh5
转载
2023-10-26 14:26:37
108阅读
简介：在我的CDH5.13集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。这里做一下安装spark2.3版本的步骤记录。
一. 安装准备csd包：http://archive.cloudera.
转载
2024-03-08 16:41:16
74阅读
【CDH CM版本5.13以下】解决「通过Parcel对spark2版本升级无法发现服务」问题前言现象报错报错原因新升级方案操作留档准备版本升级升级验证版本回退回退验证后记 前言公司对于CDH5.10(注意这个版本)有三个物理集群（非云服务，自有机房），其中两个作为生产，一个作为测试，。生产集群目前都处于满负荷运载的状态，随着业务数据增生，计算方面的瓶颈已较为明显。 对于生产集群的性能提升团队已
转载
2024-04-21 19:36:18
58阅读
