建筑物配置信息： 向hdfs写入json文件： 从hdfs中读取json文件：
转载
2018-03-14 00:41:00
92阅读
2评论
问题：为了将DataFrame中多列null值转换为0，采用na.fill方式，代码如下：_df.na.fill(0, Seq("col1", "col2", "col3"))在Spark2.1中运行该代码，发生报错Spark version 2.1.0 returns following error，报错信息如下
原创
2021-11-29 17:03:31
157阅读
测试spark版本： 备注：spark1.5中没有提供rdd.combineByKeyWithClassTag算子，但提供的有rdd.combineByKey算子（spark2.1中依然保留）。 使用示例：
转载
2018-03-04 22:27:00
123阅读
2评论
0: 设置系统登录相关Master要执行cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys如果用root用户sed -ri 's/^(PermitRootLogin ).*$/\1yes/' /etc/ssh/sshd_config编辑/etc/hosts1
原创
2017-02-24 12:02:06
6464阅读
这两天和同事一起在想着如何把一个表的记录减少，表记录包含了：objectid(主小区信息)，gridid(归属栅格)，height(高度)，rsrp(主小区rsrp)，n_objectid(邻区)，n_rsrp(邻小区rsrp) 记录中一个主小区对应有多个邻区信息，在分组合并记录时： 1）先按照ob
转载
2018-03-24 14:45:00
156阅读
2评论
问题代码： 替换方案： 注意：如果你的业务可以，也可以把flatMap替换为map，我这里边是要求返回结果为一维List集合。
转载
2018-03-06 17:23:00
71阅读
2评论
本文主要介绍如何在非Kerberos的CDH中部署Spark2.1的Spark SQL。
原创
2022-09-08 15:30:51
225阅读
函数代码： 使用spark-submit提交函数时，抛出异常： 解决方案： 把当前MySparkJob集成Serializable
转载
2018-03-14 23:24:00
424阅读
2评论
最近工作中把一些sql.sh脚本执行hive的语句升级为spark2.1版本，其中遇到将case when 替换为scala操作df的方式实现的问题： 代码数据： 错误代码： 错误的愿意就是这里的判定是否为空的地方。 正确用法： 疑问代码，如下代码在spark-shell中执行没有问题，但是使用sp
转载
2018-03-07 21:40:00
127阅读
2评论
2.1 Python函数初识 一，什么是函数？ 现在有这么个情况：python中的len方法不让用了，你怎么办？ 来测试一下‘hello word’ 的长度： s1 = "hello world" length = 0 for i in s1: length = length+1 print(len
原创
2021-07-22 09:49:50
117阅读
数据类型的作用和意义：决定了程序中数据的意义决定了能在该数据上进行的操作举例说明：i = i +j;该语句的含义依赖于i和j的数据类型。如果i和j都是整数，那么这条语句执行的就是普通的加法运算。然而，如果i和j是类类型的数据(例如Sales_item类型的类型),则上述语句就把这两个对象的成分相加。C++定义了一套包括算术类型和空类型在内的基本数据类型。算术类型包括：
翻译
精选
2016-07-22 13:44:14
620阅读
Redis基础数据类型Redis存放的是key-value形式的数据，其中key总是string类型，而value则分为5种类型，如下：☐ string☐ hash☐ list☐ set☐ zsetRedis通用命令通用命令适用于所有redis类型， 其实通用命令，是专门操作key的。# 心跳命令ping# 查看数据库中的key-value数量dbsize# 切换数据库select 2# 移动键值
2.1 Spark Standalone 伪分布模式安装（Hadoop3.0）【实验目的】1.熟练掌握Spark Standalone伪分布模式的安装流程2.准确理解Spar
调用函要调用一个函数，须知道函数的名称和参数。调用时如果传入的参数不正确，会报TypeError的错误，并且Python会明确的告诉你出错原因。Python中内置了数据类型转换的函数，比如int()函数，可以将其他数据类型函数转换为整数：>>>int(12.24)12>>>float('12.24')12.24>>>str(1.23)'1.23
转载
精选
2015-12-30 13:38:08
526阅读
1.8字典zip()方法可以把几个列表组合成一个大列表字典是python中的唯一的映射类型（哈希表）使用{}大括号定义key,value字典对象是可变的，但是字典的键必须使用不可变对象，一个字典中可以使用不同类型的键值。字典的方法：-keys()-values()-items()将字典的每对键值返回成列表的元素•创建字典-dic={}创建一个空字典-dic=dict()这样也可以创建一个空字典le
原创
2018-11-22 07:56:40
418阅读
#include <bits/stdc++.h> #define inf 2333333333333333 #define N 1000010 #define p(a) putchar(a) #define For(i,a,b) for(int i=a;i<=b;++i) typedef unsig
转载
2020-09-24 10:32:00
116阅读
2评论
输入参数返回值功能独立库函数与自定义函数//自定义函数示例
#include <stdio.h>
int Add(int x, int y)
{
int z = 0;
z = x + y;
return z;
}
int main()
{
int a = 10;
int b = 20;
int sum = Add(a, b);
printf("%d\n",
