1、当我做transfomer的时候没有问题，可是一做到action操作就会报错。以下是几个小问题：distFile=sc.textFile("hdfs://user/spark/test/201201.csv")distFile.map(lambdas:len(s)).reduce(lambdaa,b:a+b)执行第一条没问题，执行第二条的时候就会报错：Illegalchar
原创
2018-05-29 10:32:14
1580阅读
本人使用ignite spark以及集成两组件中的一些错误示范和心得体会 ...
转载
2021-08-30 19:00:00
626阅读
2评论
今天新开发的Structured streaming部署到集群时，总是报这个错：SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/data4/yarn/nm/filecache/25187/slf4j-log4j12-1.7.16.jar!/org/slf4j/impl/Sta
转载
2018-06-06 18:13:00
251阅读
2评论
Spark聚合函数一、Spark聚合函数特殊场景二、spark sql group by一、Spark聚合函数特殊场景在对数据进行统计分析时，如果对指标进行聚合运算，而待查询的字段中还包含了维度，则原则上我们还需要按照维度字段进行分组。倘若这个聚合运算为sum函数，分组之后就相当于分类汇总了。有一种特殊场景是我们对指标执行了sum聚合，查询字段也包含了维度，但我们不希望对维度分组。例如：se...
原创
2021-06-01 12:14:32
4846阅读
又到了周五的胡扯时间，今天来扯一扯坑。最近，有一个感觉，就是一直在填坑，我想不止我一个人，不少奋战在一线的“
原创
2022-06-10 09:25:52
378阅读
又到了周五的胡扯时间，今天来扯一扯坑。最近，有一个感觉，就是一直在填坑，我想不止我一个人，不少奋战在一线的“勇士”，都在填坑。一般来说坑分两种，自己挖的，和别人挖的。挖坑也是有水平的，有...
原创
2023-06-20 02:54:32
139阅读
Golang踩坑 内存溢出 GC回收时,无法实现100%的回收 有goroutine泄漏，zombie goroutine没有结束，这个时候在这个goroutine上分配的内存对象将一直被这个僵尸goroutine引用着，进而导致gc无法回收这类对象，内存泄漏。 有生命周期和程序一样长的的数据结构意 ...
转载
2021-07-30 16:10:00
593阅读
2评论
1. Host 未生效使用http 发送post请求，服务端一直返回参数错误。reader := bytes.NewReader([]byte(postData))req, _ := http.NewRequest("POST", url, reader)// 设置头部信息req.Header.Set("Content-Type", "application/x-www-form...
原创
2022-12-15 14:05:35
127阅读
Rocketmq踩坑合集 生产者无法发送消息 我的broker,namesrv中都没有配置10909这个端口，其实10909是vip通道，Producer应该指定关闭vip通道连接 示例： //1.创建消息生产者producer，并指定生产者组名 DefaultMQProducer producer ...
转载
2021-07-21 16:23:00
713阅读
2评论
python环境3.7.4，windows环境下（支持server 2008R2，将py版本降低了），使用 pyinstaller -F app.py 命令，将程序打包为exe可执行程序。放到环境上执行就失败了。报错如下图。 源码如下： sched.add_job(operate_file, 'cr ...
转载
2021-10-25 15:44:00
510阅读
2评论
1.安装node会自动安装对应的npm版本查看版本对应https://nodejs.org/zh-cn/download/releases/2.git clone失败git config http.sslVerify “false”git init再次git config http.sslVerify “falseutm_medium=distribute.pc_relev
原创
2022-11-17 20:03:04
106阅读
2022-07-06 17:07:42 gdb python install mysqldb for python 1、sudo apt-get instal
原创
2022-10-20 15:54:59
428阅读
# 开发者之路：如何在 MySQL 中“踩坑”并避免错误
在成为一名优秀的开发者的旅途中，经历“踩坑”的过程是必不可少的。本文将带领你了解如何在 MySQL 数据库中“踩坑”（即错误操作），并通过一系列的实践来认识这些错误。我们将从整个流程开始，逐步探讨每一步骤中的注意事项与所需代码。最后，我们将借助旅行图和状态图来帮助理解。
## 整体流程
在 MySQL 中工作时，我们可能会经历以下几个
在打开注册表时，32位程序往往在64为系统上不能直接访问64的路径，都是自动跳到WoW6432Node下面，在打开注册表时添加“KEY_WOW64_64KEY”标志，就能直接访问64为注册表路径。
LONG lReturn = RegOpenKeyEx(HKEY_LOCAL_MACHINE, L"Software\\", 0, KEY_ALL_ACCESS | KEY_WOW64_64KEY, &
Rocketmq踩坑合集 生产者无法发送消息 我的broker,namesrv中都没有配置10909这个端口，其实10909是vip通道，Producer应该指定关闭vip通道连接 示例： //1.创建消息生产者producer，并指定生产者组名 DefaultMQProducer producer ...
转载
2021-07-21 16:23:00
1225阅读
2评论
1 ERROR: External URL must include a FQDN 默认的 配置文件就是错的 /etc/gitlab/gitlab.rb external_url 'http://gitlab.example.com' 应该是 external_url='http://gitlab. ...
转载
2021-10-15 14:32:00
333阅读
2评论
public class kk { public static void main(String[] args) { K k=new K(); k.ooo(); } } import java.util.Observable; public class K extends Observable { ...
转载
2021-10-23 20:36:00
156阅读
2评论
字符串类型的数字转换成number类型的数字，一定要去掉里面的逗号,比如 var num=“4,500”； 要先正则去掉【,】 变成"4500" ,才可以放到Number(num) ...
转载
2021-09-27 11:55:00
147阅读
2评论
toJSONString踩坑toJSONString空值被忽略解决办法data中部分字段值为null，在JSON.toJSONString的过程中会把null值过滤掉，最后导致转换后的数据中部分字段丢失了解决办法：用 toJSONString(Object object, SerializerFeature… features)JSON.toJSONString(data, SerializerF
原创
2023-04-24 19:15:09
418阅读
最近一个小bug的修改差点让我怀疑起了String.split()是不是有问题。代码如下：public static void main(String[] args) {
String param="2022.9";
String retDate="";
String[] splitArr = param.split(".");
re
原创
2023-06-10 08:52:55
128阅读
