最近准备升级将生产环境chd5.7.1升级到cdh5.12.0并同时升级spark1.6到spark2.2.在cdh5.12.0中可以部署两个spark parcels.输入spark2-shell可以运行spark2.2的程序,输入spark-shell可以运行spark1.6的程序.非常方便测试升级中可能存在的问题.读完Spark 1.6升级2.x防踩坑指南发现有挺多问题.同时手动测试了cdh
转载
2024-02-04 10:13:01
64阅读
Spark Streaming1. 课程目标1.1. 掌握Spark Streaming的原理1.2. 熟练使用Spark Streaming完成流式计算任务2. Spark Streaming介绍2.1. Spark Streaming概述2.1.1. 什么是Spark Streaming Spark Streaming类似于
说一下前提：最近写了一个java的小游戏，使用exe4j将jar转化成exe文件，但是在运行时需要提供java运行环境，我的jre1.8有199M，程序只有400k，这肯定忍不了了。jre中的很多东西根部没有用到，所以需要精简一下。结果：199M的jre优化到26.6M，是不是很可怕。说一下思路，以jre结构为例：1.优化bin下的.dll文件，去除没有用到的。2.优化lib下使用的.jar文件，
Hive on MapreduceHive的原理大家可以参考这篇大数据时代的技术hive：hive介绍，实际的一些操作可以看这篇笔记：新手的Hive指南，至于还有兴趣看Hive优化方法可以看看我总结的这篇Hive性能优化上的一些总结Hive on Mapreduce执行流程执行流程详细解析Step 1：UI(user interface) 调用 executeQuery 接口，发送 HQL 查询语
转载
2024-08-14 22:06:29
61阅读
# 解决Spark Guava包冲突问题
在使用Spark框架时，有时会遇到与Guava包的冲突问题。这种冲突通常是由于Spark自带的Guava版本与项目中所引入的Guava版本不一致导致的。本文将介绍如何解决这种包冲突问题，并提供代码示例帮助读者更好地理解。
## 问题描述
在使用Spark时，我们可能会遇到类似以下的错误信息：
```bash
java.lang.NoSuchMeth
原创
2024-03-08 06:26:33
330阅读
首先要对源码进行编译，生成对应hadoop版本的spark开发程序jar包，上篇已经写了具体的过程，这里不再赘述。在安装spark的机器上，下载eclipse-java-x86_64版本，将spark-assembly.jar和spark/lib下全部加进路径，建立普通java projectWordCount代码 package sparktest.util.test;
import ja
转载
2023-08-25 17:10:05
134阅读
# 解决 Spark 和 Hadoop 版本冲突的方法
## 简介
在使用 Spark 和 Hadoop 进行开发时，由于版本的不同可能会导致一些兼容性问题，例如某些功能无法正常运行，或者出现异常。本文将介绍如何解决 Spark 和 Hadoop 版本冲突的问题，并提供了具体的步骤和代码示例。
## 解决流程
下面是解决 Spark 和 Hadoop 版本冲突的一般流程，可以使用表格展示步骤。
原创
2023-12-23 08:50:22
375阅读
## 实现“pyspark 版本与 spark 版本”的步骤
为了实现“pyspark 版本与 spark 版本”的对应关系，我们需要按照以下步骤进行操作：
1. 安装 Spark
2. 安装 PySpark
3. 验证安装结果
4. 查看 Spark 版本
5. 查看 PySpark 版本
下面我将逐步介绍每个步骤需要做的事情，并提供相应的代码示例。
### 步骤一：安装 Spark
原创
2023-10-14 13:49:21
1203阅读
# Spark版本与Python版本的兼容性
在大数据处理和分析的领域中，Apache Spark由于其高效性和灵活性，已成为一种流行的开源框架。Spark的强大之处在于，它支持多种编程语言，包括Java、Scala、R和Python（通过PySpark）。然而，要充分发挥Spark的优势，我们必须了解不同Spark版本与Python版本之间的兼容性关系，以实现最佳的性能和功能支持。
## 1
原创
2024-09-26 04:47:45
513阅读
在我日常的开发工作中，经常会遇到“yarn与node版本冲突”的问题。这一问题在项目中引发了一系列困扰，因此我决定把这个问题的解决过程记录下来，以便于后续参考。
我们的用户场景是：某团队正在开发一个使用 React 的前端项目，采用 Yarn 作为包管理工具，而 Node.js 版本管理通过 NVM 来实现。随着时间的推移，开发团队中的某些成员升级了他们的 Node.js 版本，而其他人仍然在使
第四章 Spark Standalone集群Standalone模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理4.1 Standalone 架构Standalone集群使用了分布式计算中的master-slave模型，master是集群
转载
2024-02-14 21:22:21
78阅读
Training端深度学习框架
文章目录Pytorch VS TensorflowGoogle 的 TensorflowFacebook的PytorchPytorchPytorch更“Python”化有用的库轻松实现数据并行移动开发就绪易于调试支持ONNX支持动态计算图强大的社区支持TensorFlow高度灵活性可移植性科研、产品紧密相联自动求微分多语言支持性能最优化对比上手时间 -
转载
2024-09-20 16:28:00
42阅读
准备工作查看操作系统的版本信息：计算机>>右键“属性”>>查看版本信息，如Windows10专业版64位。1安装Anaconda1.1 下载注意选择与操作系统匹配的版本，截止写本教程时，官方版本为Anaconda5.0.1，内部封装的为Python3.6，也可根据需要下载封装其他版本Python的Anaconda3下载地址为：https://www.anaconda.com
转载
2024-03-07 14:03:32
547阅读
本文主要演示如何通过Python对Spark的RDD进行编程，只列出了一些常用的RDD操作接口，完整的功能，请参考官方文档
演示环境说明 RDD的详细介绍操作系统：Ubuntu 12.04 部署环境：1.6单机版演示环境：pyspark测试语言：PythonTransformation
map
概述：map是对RDD中的每个元素都执行一个指定的函数来产生一个新的R
转载
2023-11-18 16:50:23
103阅读
目录前言一、pyspark.SparkConf参数：注意：二、调用方法1.pyspark.SparkConf.contains2.pyspark.SparkConf.get3.pyspark.SparkConf.getAll4.pyspark.SparkConf.set5.pyspark.SparkConf.setAll6.pyspark.SparkConf.setAppName 7.p
转载
2023-09-01 19:18:45
289阅读
最近项目有资金账户的相关需求，需要使用锁做并发控制，借此机会整理下基于MybatisPlus @Version注解的乐观锁实现的方案，以及项目中遇到的坑 一.MybatisPlus 乐观锁的配置 参考MybatisPlus(以下简称MP)官方文档，https://baomidou.com/pages/0d93c0/#optimisticlockerinnerinterceptor MP
转载
2024-07-11 19:53:35
88阅读
解决版本冲突的命令。在冲突解决之后，需要使用svn resolved来告诉subversion冲突解决，这样才能提交更新。冲突发生时，subversion会在Work Copy中保存所有的目标文件版本（上次更新版本、当前获取的版本，即别人提交的版本、自己更新的版本、目标文件。假设文件名是sandwich.txt，对应的文件名分别是：sandwich.txt.r1、sandwich.txt.r2、s
转载
2024-02-03 06:58:40
97阅读
1、jQuery多个版本共存之间的冲突：
由于导航浮动使用了jquery-1.7.2.min.js，而弹出浮动窗口使用了jquery.min.js（jquery.floatDiv.js插件使用），例用如下方法解决—— 第一步：在 jquery.min.js 的源代码的最后加上一句var $j4 = jQuery.noConflict(true);//之所以在源码这里加，而不是
转载
2024-02-07 14:23:14
389阅读
问题：在某些情况下，我们会用到其他厂商的大数据平台，而我们是没有相关管理权限的，但是集群和我们已有的代码所需要的环境存在差异，所以我们要向集群设置我们自己的运行环境的参数等，主要解决方案如下 1、对于pyspark，首先我们需要一个我们的相关的所有包的python虚拟环境，这里推荐anaconda的虚拟环境，里面包含很多科学计算的模块便于数据分析使用，在任意一台能联网的机器上创建一个co
转载
2023-12-13 11:13:16
458阅读
# Spring Boot与Quartz版本冲突
## 引言
在使用Spring Boot和Quartz框架进行任务调度时，我们有时会遇到版本冲突的问题。这种冲突可能导致应用程序无法正常运行，甚至无法启动。本文将介绍Spring Boot与Quartz版本冲突的原因，并提供解决方案和示例代码。
## 背景
Spring Boot是一个基于Spring框架的快速开发应用程序的工具。它提供了自动配
原创
2023-09-08 06:46:38
1009阅读
