代码示例：
转载
2018-03-06 17:24:00
139阅读
2评论
建筑物配置信息： 向hdfs写入json文件： 从hdfs中读取json文件：
转载
2018-03-14 00:41:00
102阅读
2评论
问题：为了将DataFrame中多列null值转换为0，采用na.fill方式，代码如下：_df.na.fill(0, Seq("col1", "col2", "col3"))在Spark2.1中运行该代码，发生报错Spark version 2.1.0 returns following error，报错信息如下
原创
2021-11-29 17:03:31
181阅读
前言大数据与容器是近年来的两个热点技术，大数据平台的容器化部署自然格外被关注。关于Apache Spark的容器化方案，目前使用最多的是sequenceiq/spark，在Docker Hub上有330K的下载量。sequenceiq/spark镜像中包含了Hadoop/Yarn，虽然采用的是一种“伪集群”的部署方式，但是用来做开发和测试还是非常便利的。遗憾的是sequenceiq的更新速度不是很
转载
2023-06-30 19:36:27
341阅读
测试spark版本： 备注：spark1.5中没有提供rdd.combineByKeyWithClassTag算子，但提供的有rdd.combineByKey算子（spark2.1中依然保留）。 使用示例：
转载
2018-03-04 22:27:00
143阅读
2评论
Redis基础数据类型Redis存放的是key-value形式的数据，其中key总是string类型，而value则分为5种类型，如下：☐ string☐ hash☐ list☐ set☐ zsetRedis通用命令通用命令适用于所有redis类型， 其实通用命令，是专门操作key的。# 心跳命令ping# 查看数据库中的key-value数量dbsize# 切换数据库select 2# 移动键值
原创
2024-07-01 21:46:35
33阅读
数据类型的作用和意义：决定了程序中数据的意义决定了能在该数据上进行的操作举例说明：i = i +j;该语句的含义依赖于i和j的数据类型。如果i和j都是整数，那么这条语句执行的就是普通的加法运算。然而，如果i和j是类类型的数据(例如Sales_item类型的类型),则上述语句就把这两个对象的成分相加。C++定义了一套包括算术类型和空类型在内的基本数据类型。算术类型包括：
翻译
精选
2016-07-22 13:44:14
630阅读
## Spark on Docker: 用容器化技术加速大数据处理
在现代数据处理领域中，大数据框架Apache Spark的重要性不言而喻。它提供了高效的分布式计算能力，使得处理大规模数据变得更加容易和高效。然而，为了使用Spark，我们通常需要在各个节点上配置和管理Spark集群，这可能会带来一定的复杂性和挑战。
幸运的是，通过使用Docker等容器化技术，我们可以简化Spark集群的部署
原创
2023-11-08 04:48:45
18阅读
一、软件准备1、基础docker镜像：ubuntu，目前最新的版本是182、需准备的环境软件包：(1) spark-2.3.0-bin-hadoop2.7.tgz
(2) hadoop-2.7.3.tar.gz
(3) apache-hive-2.3.2-bin.tar.gz
(4) jdk-8u101-linux-x64.tar.gz
(5) mysql-5.5.45-linux2.6-x86_
转载
2023-07-12 15:09:22
101阅读
目录为什么要在Docker上搭建Spark集群网络拓扑Docker安装及配置ssh安装及配置基础环境安装Zookeeper安装及配置Hadoop安装及配置Spark安装及配置集群部署总结参考资料 1 为什么要在Docker上搭建Spark集群他：为什么要在Docker上搭建Spark集群啊？我：因为……我行啊！ MR和Spark都提供了local模式，即在单机上模拟多计算节点来执行任务
转载
2024-04-17 19:47:42
347阅读
引言在进行数据分析时，Spark 越来越广泛的被使用。在测试需求越来越多、测试用例数量越来越大的情况下，能够根据需求快速自动化部署 Spark 环境、快速完成所有测试越来越重要。本文基于 Docker、Jenkins、Apache Ant、Apache Tomcat、Git、Shell 等技术或工具，根据用户对 Spark 版本、Scala 版本、JDK 版本、测试范围、测试版本等需求的
使用docker构建spark运行环境一、安装docker与docker-compose二、系统构架图三、docker compose部署文件四、使用yml部署文件部署spark环境五、完成创建RDD与filter处理的实验 一、安装docker与docker-compose查询docker版本号。在host上执行。sudo docker -v根据查询到的版本号，在下列网站找到对应的docker
转载
2023-08-04 20:39:29
1324阅读
点赞
1评论
传统MapReduce编程局限性一个新的框架的诞生，必然是先前的框架无法满足现有的需求和提高生产力，那么相对于spark，传统的mapreduce 编程有哪些局限性呢：1.繁杂：MapReduce 中，只提供了俩种算子：Map和Reduce,那么基于这俩种算子面对不同的需求场景必然会使编程变得很繁杂。2.效率低下：1）进程级别低; 2) 基于磁盘，在迭代计算时，数据和网络的频繁IO; 3)Map
转载
2023-09-01 14:54:03
68阅读
2.1 Spark Standalone 伪分布模式安装（Hadoop3.0）【实验目的】1.熟练掌握Spark Standalone伪分布模式的安装流程2.准确理解Spar
原创
2024-06-09 10:21:40
168阅读
简介Compose 作为Docker官方编排工具，可以让用户通过编写一个简单的模板文件，快速的搭建和管理基于Docker容器的应用集群。其定位是“定义和运行多个Docker容器的应用”，它允许用户通过一个YAML格式的模板文件来定义一组相关联的应用容器为一个项目。官方文档：https://hub.docker.com/r/sequenceiq/spark/安装我的安装环境是：centos 7.3
转载
2024-03-11 06:26:09
41阅读
如何从Spark2.1升级到Spark2.2
原创
2022-09-21 22:35:32
396阅读
ToyPostedinApps,BitTorrentClient,BitTorrent是KDE下一个比力流行的BitTorrent下载对象，比来该软件放出了新的2.1版，与上一个版本2.0.3相比，
转载
2011-03-07 12:46:00
78阅读
2评论
#include <bits/stdc++.h> #define inf 2333333333333333 #define N 1000010 #define p(a) putchar(a) #define For(i,a,b) for(int i=a;i<=b;++i) typedef unsig
转载
2020-09-24 10:32:00
129阅读
2评论
输入参数返回值功能独立库函数与自定义函数//自定义函数示例
#include <stdio.h>
int Add(int x, int y)
{
int z = 0;
z = x + y;
return z;
}
int main()
{
int a = 10;
int b = 20;
int sum = Add(a, b);
printf("%d\n",
原创
2024-02-12 20:22:28
56阅读
Ansible 2.1 is an open-source software platform for configuring and managing computer systems. It is an automation tool that helps in streamlining the process of infrastructure management. Ansible 2.1
原创
2024-02-26 11:32:09
67阅读
