建筑物配置信息： 向hdfs写入json文件： 从hdfs中读取json文件：
转载
2018-03-14 00:41:00
92阅读
2评论
问题：为了将DataFrame中多列null值转换为0，采用na.fill方式，代码如下：_df.na.fill(0, Seq("col1", "col2", "col3"))在Spark2.1中运行该代码，发生报错Spark version 2.1.0 returns following error，报错信息如下
原创
2021-11-29 17:03:31
157阅读
0: 设置系统登录相关Master要执行cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys如果用root用户sed -ri 's/^(PermitRootLogin ).*$/\1yes/' /etc/ssh/sshd_config编辑/etc/hosts1
原创
2017-02-24 12:02:06
6464阅读
测试spark版本： 备注：spark1.5中没有提供rdd.combineByKeyWithClassTag算子，但提供的有rdd.combineByKey算子（spark2.1中依然保留）。 使用示例：
转载
2018-03-04 22:27:00
123阅读
2评论
这两天和同事一起在想着如何把一个表的记录减少，表记录包含了：objectid(主小区信息)，gridid(归属栅格)，height(高度)，rsrp(主小区rsrp)，n_objectid(邻区)，n_rsrp(邻小区rsrp) 记录中一个主小区对应有多个邻区信息，在分组合并记录时： 1）先按照ob
转载
2018-03-24 14:45:00
156阅读
2评论
问题代码： 替换方案： 注意：如果你的业务可以，也可以把flatMap替换为map，我这里边是要求返回结果为一维List集合。
转载
2018-03-06 17:23:00
71阅读
2评论
本文主要介绍如何在非Kerberos的CDH中部署Spark2.1的Spark SQL。
原创
2022-09-08 15:30:51
225阅读
函数代码： 使用spark-submit提交函数时，抛出异常： 解决方案： 把当前MySparkJob集成Serializable
转载
2018-03-14 23:24:00
424阅读
2评论
最近工作中把一些sql.sh脚本执行hive的语句升级为spark2.1版本，其中遇到将case when 替换为scala操作df的方式实现的问题： 代码数据： 错误代码： 错误的愿意就是这里的判定是否为空的地方。 正确用法： 疑问代码，如下代码在spark-shell中执行没有问题，但是使用sp
转载
2018-03-07 21:40:00
127阅读
2评论
Nagios 官网 http://www.nagios.org 服务器配置 nagios 也需要 apache+php 的环境，CentOS6默认的 yum 源里没有 nagios 相关的rpm包，所
原创
2016-07-04 20:23:56
497阅读
2.1 Spark Standalone 伪分布模式安装（Hadoop3.0）【实验目的】1.熟练掌握Spark Standalone伪分布模式的安装流程2.准确理解Spar
简介： 今天主要为大将讲解如何在 Linux 系统下安装 GDAL，本文以 Ubuntu 为例，详细介绍 Ubuntu 及 GDAL 的安装过程。镜像下载、域名解析、时间同步请点击 阿里巴巴开源镜像站一、GDAL 简介GDAL 全称为 Geospatial Data Abstraction Library，是当前 GIS 和遥感领域最为知名和基础的
转载
2021-12-20 22:00:36
264阅读
官网地址https://v2-1.docs.kubesphere.io/docs/zh-CN/installation/prerequisites/在master节点输入curl -L https://g
原创
2022-04-19 14:40:58
203阅读
Linux操作系统是一种功能强大的开源操作系统，广泛应用于各个领域。在Linux上安装Jenkins 2.1是一个非常常见的需求，因为Jenkins是一个流行的持续集成工具，可以帮助开发团队更高效地构建、测试和部署软件。
首先，我们需要先确保我们的Linux系统已经安装好了Java环境。因为Jenkins是基于Java开发的，所以需要JRE或者JDK。可以通过在终端输入“java -versio
简介： 今天主要为大将讲解如何在 Linux 系统下安装 GDAL，本文以 Ubuntu 为例，详细介绍 Ubuntu 及 GDAL 的安装过程。镜像下载、域名解析、时间同步请点击 阿里巴巴开源镜像站一、GDAL 简介GDAL 全称为 Geospatial Data Abstraction Library，是当前 GIS 和遥感领域最为知名和基础的开源库。它实现了
转载
2022-02-23 23:07:26
352阅读
一.SVN客户端安装
运行TortoiseSVN-1.6.6.17493-win32-svn-1.6.6.msi程序, 开始安装
点击Next, 下一步
选择 I accept 接受, 点击Next, 下一步
选择安装路径, 点击Next下一步
点击 Install 开始安装
Win 7下会弹出一个对话框, 确认是否安装程序, 选择”是”, 继续安装.
转载
2021-08-17 23:05:04
151阅读
# TensorFlow 2.1 安装指南
欢迎来到TensorFlow 2.1安装指南！TensorFlow是一个开源的机器学习框架，可以帮助你构建和训练各种深度学习模型。在本文中，我将向您展示如何在您的Kubernetes集群上安装TensorFlow 2.1。让我们开始吧！
## 安装步骤
下面是安装TensorFlow 2.1的步骤：
| 步骤 | 描述 |
| ---- | --
