Saprk mapPartitionsWithIndex
原创
2022-12-28 15:29:07
47阅读
上一篇讲到了spark里面的action函数： Action列表： reduce collect count first take takeSample takeOrdered saveAsTextFile saveAsSequenceFile saveAsObjectFile countByKey
转载
2018-01-12 14:03:00
105阅读
2评论
错误日志：Yarn application has already ended! It might have been killed or unable to launch application master.出现此问题一般是机器的虚拟内存不够，导致yarn进程被杀解决方法：1.加大内存；2.在yarn-site中添加以下配置<property> <...
原创
2022-01-11 16:29:12
437阅读
Saprk core Transformation 转换算子RDD整体上分为Value类型、双Value类型和Key-Value类型Key-Value类型总结：reduceByKey、aggregateByKey、foldByKey、combineByKey
原创
2022-12-28 15:32:43
94阅读
今天早上来到公司，看了一下hue平台执行的时候，出现以下报错，然后我就去平台上查看日志，找了半天也没有找到，以为是spark的问题。
然后在去hive上去看日志，发现了报错如下（原来是与atlas集成的时候，把阿里的oss的jar也移了过来，因为hive设置辅助jar只能设置一个路径）：
查看了一下，无权限，然后去服务器上开通相关的权限
原因是因为这几个包是与aliyun的oss集成的包，hi
原创
精选
2021-08-24 10:32:55
944阅读
点赞
shell ，
已经看了几天书了，发现我只不过是在一样东西而已，那就是shell，又翻回第一章，到底什么是shell？
shell就像它的字面意思，只是一个壳而已，作为我们（不懂机器语言的人类）和内核（不会说话的代码）的一个中介（命令行解释器），当然我们还要按照shell的规矩来跟它交流（还需
原创
2009-05-26 17:03:49
580阅读
1评论
文章目录数组的定义数组的简单介绍数组的引用数组使用举例数组的切片与替换1. 根据索引切片2. 数组替换总结数组的定义数组中可以存放多个值。Bash Shell 只支持一维数组（不支持多维数组）
原创
2021-04-17 23:34:01
1016阅读
点赞
文章目录数组的定义数组的简单介绍数组的引用数组使用举array=(value01 value02 … valuen)注意，赋值号=两边不能有空格，必须紧挨着数
原创
2022-02-19 16:48:07
926阅读
目录 一、SHELL 1.1 输入单个指令 1.2 输入多行指令 限制输入内容的个数 控制输入内容的可见性 二、Expect 简介 实例 SSH登录 FTP文件同步 一、SHELL 1.1 输入单个指令 自动输入yes echo "y" | yum in...
转载
2021-07-05 15:37:00
2884阅读
2评论
Linux Shell 子Shell
在Linux操作系统中，Shell（即命令行解释器）被广泛使用，用于与用户进行交互以及执行各种操作。而Linux中的Shell又可以进一步分为主Shell和子Shell，子Shell是在主Shell中创建的新的Shell进程，它可以独立执行命令，执行完毕后返回给主Shell。
在Linux中，主Shell通常是用户登录系统后默认启动的Shell，例如Bas
原创
2024-02-05 16:37:29
163阅读
通过编写Shell命令发送给linux内核去执行, 操作就是计算机硬件. 所以Shell命令是用户操作计算机硬件的桥梁,
原创
精选
2023-10-22 21:46:42
429阅读
1、登陆每个用户登陆 shell 会加载相关的配置文件# 系统级的配置文件/etc/profile/etc/bashrc# 用户级的配置文件~/.bash_profile~/.bashrclogin shell 登陆 shellsu - jumper# 登陆时加载的文件有/etc/profile/etc/bashrc~/.bash_profile~...
原创
2022-11-16 20:54:30
215阅读
这张图，可以帮助我们理解这个词语！ 最底下是计算机硬件，然后硬件被系统核心包住，在系统核心外层的就是shell，然后shell外层的就是我们最容易理解的应用程序，我们平时接触最多的就是应用程序了。看图可知：shell其实是一个命令解释器，它的作用是解释用户输入的命令和程序，命令和程序可以理解成我们图中的应用程序，我们linux系统中的那些命令其实也都是一个个的小程序，只不过完成的是系统的应用功能。
转载
2023-12-02 23:49:34
176阅读
一．特殊符合1 | 管道符号2 >重定向3 >>重定向4 2>重定向错误输出5 >/dev/null 2>&16 *匹配任意字符 ？一个字符7 \ 转义字符 3\*58 &nbs
原创
2010-01-19 23:09:16
6776阅读
点赞
10评论
经常看到一些大牛操作linux的时候，双手运指如飞，指令如流水般输出，会不会感到羡慕呢？ 本文就整理了一些linux下shell的技巧，保管你学会之后，shell输出apm突飞猛进，开个玩笑，我们进入正题。 一般来说shell的命令行编辑使用Emacs或者Vi模式，也就是说可以用Emacs或者Vi的操作指令来进行命令行的编辑，默认的模式是Emacs模式。 Ctrl+T：将光标
转载
2021-05-28 22:37:18
648阅读
深入浅出Shell编程: Shell 变量先不要管Shell的版本，来看看Shell 变
原创
2023-07-24 16:13:33
252阅读
Linux中的Shell是一个非常强大的工具，可以通过Shell来执行各种任务和操作。其中，调用另一个Shell程序是Shell脚本中常见的操作之一。
在Linux系统中，我们经常会遇到需要调用其他Shell程序的情况。这时，我们可以使用一些命令来执行其他Shell程序或脚本。在这篇文章中，我们将重点介绍如何在Linux系统中调用另一个Shell程序。
在Linux系统中，我们可以使用一些命令
原创
2024-02-23 09:43:49
198阅读
