# Spark Shell操作DataFrame简介
Apache Spark是一种快速的、通用的分布式计算引擎，它提供了用于大规模数据处理的高级API。其中，Spark Shell是Spark提供的一个交互式环境，用于开发和测试Spark应用程序。本文将介绍如何在Spark Shell中使用DataFrame，以及DataFrame的基本操作和常见用法。
## DataFrame简介
Da
原创
2023-08-18 05:25:44
150阅读
目录Linux之NFS服务器简介NFS背景介绍生产应用场景NFS工作原理NFS工作流程图流程NFS的安装安装nfs服务安装rpc服务启动rpcbind服务同时设置开机自启动启动nfs服务同时设置开机自启动NFS的配置文件主配置文件分析 示例案例 --- 建立NFS服务器，使用客户端访问第一步：服务端及客户端进行预处理第二步：服务端se
今天也有同学问我Linux下查看目录大小的命令，现在也将前阵子学习到du/df两个命令总结一下吧。 前阵子测试工作中有遇到过由于磁盘空间满导致程序无法执行到情况，所以使用了df和du两个命令。du查看目录大小，df查看磁盘使用情况。 我常使用的命令（必要时，sudo使用root权限）， 1.查看某个目录的大小：du -hs /home/master/documents 查看目录下所有
磁盘满，小文件太多，节点满了，但是磁盘还是有的，写不了文件
解决方法：
#cd /var/spool/clientmqueue
#ls | xargs rm -f --- clean up the disk
原创
2011-08-23 20:08:26
3245阅读
df 列出文件系统整体磁盘使用量df [ahikHTm] [目录或文件] - a 列出所有的文件系统，包括系统特有的/proc 等系统文件-k 以KB的容量显示各文件系统 du 评估文件系统的磁盘使用量 比较常用的是df -h 命令
转载
2021-03-27 09:21:08
209阅读
2评论
# Docker目录的查看和使用
在使用Docker时，我们经常需要查看Docker的相关信息，例如Docker目录的使用情况。本文将介绍如何通过`df -h`命令来查看Docker目录，并提供一些常用的Docker目录管理方法。
## 查看Docker目录
要查看Docker目录的使用情况，我们可以使用`df -h`命令。该命令可以显示系统中所有已挂载的文件系统的使用情况。
下面是一个示
原创
2023-08-19 06:50:44
322阅读
# Spark 中的 coalesce 与 repartition 数据帧操作及其导出
在 Apache Spark 中，当我们处理大规模数据集时，数据帧（DataFrame）的分区管理是一个至关重要的概念。合理的分区操作不仅可以提升数据处理的效率，还能优化资源利用率。本文将介绍 Spark 中的两个重要方法：`coalesce` 和 `repartition`，并演示如何将数据帧保存到指定目录
原创
2024-09-28 04:20:41
35阅读
说明自己的一个虚拟机重启后，查看df -h显示异常，少了很多磁盘分区信息。但是系统是正常运行的，所以出现在一些文件的配置上。如果对
原创
2022-09-29 11:47:31
393阅读
#!/bin/bashfunction read_dir() { for file in `ls $1` do if [ "`ls -A $1"/"$file`" != "" -a -d $1"/"$file ] then &
原创
2014-04-24 21:36:58
891阅读
Linux作为一个广泛使用的操作系统，其shell(linux shell)提供了丰富的命令来管理文件和目录。在Linux系统中，目录是非常重要的，可以通过一些特定的命令在shell中对目录进行操作，其中最常用的命令之一便是“cd”命令。
在Linux系统中，用户可以通过cd命令来切换目录，比如要进入一个名为“documents”的目录，用户可以输入“cd documents”来完成目录的切换。
原创
2024-03-20 10:53:29
80阅读
Linux操作系统中的Shell是用户与系统进行交互的接口，它可以帮助用户输入命令，执行程序，并管理系统的文件和目录。在Linux中，有一个非常重要的目录叫做“/”目录，也被称为根目录。在这个根目录下，会包含一些关键的系统文件和目录，其中就包括“/bin”、“/usr”、“/etc”、“/home”、“/tmp”等。
首先让我们来了解一下“/bin”目录。“/bin”目录是用来存放系统基本命令的
原创
2024-03-07 11:37:29
83阅读
查找目录：find /（查找范围） -name '查找关键字' -type d
转载
2018-04-18 11:05:00
158阅读
2评论
视频教程地址 Shell笔记1-Shell概述、Shell解析器、Shell脚本入门 Shell笔记2-Shell中的变量 Shell笔记3-Shell运算符、Shell条件判断 Shell笔记4-Shell流程控制 Shell笔记5-read读取控制台输入、函数 Shell笔记6-Shell工具
原创
2023-03-07 06:38:41
83阅读
文件管理1.创建一个空文本文件: touchfilename 就创建了一个文件名为filename的空文本文件 linux下的默认的
转载
2024-04-10 18:26:46
50阅读
说到DF，你最先想起的是啥呢？我最选想来的是以前玩过的由 NovaLogic 开发和出版的一款第一人称射击游戏，名字
原创
精选
2024-02-29 09:54:28
243阅读
本文我们介绍一个shell脚本，用来使用rsync命令将你本地Linux机器上的文件/目录备份到远程Linux服务器上。使用该脚本会以交互的方式实施备份，你需要提供远程备份服务器的主机名/ip地址和文件夹位置。我们使用一个单独的列表文件，在这个文件中你需要列出要备份的文件/目录。我们添加了两个脚本，第一个脚本在每次拷贝完一个文件后询问密码（如果你启用了ssh密钥验证，那么就不会询问密码），而第二个
转载
2024-01-16 21:59:46
51阅读
# copy
import pandas as pd
df = pd.DataFrame({"co1": [1]})
def foo(df):
df["col2"] = 2
def bar(df):
df = df.copy()
foo(df=df)
print(df) # df就在原地生效
bar(df=df)# copy
import pand
原创
2024-06-07 17:15:24
99阅读
比如在/tmp中有1,2,3,4,5个文件夹 [root@test tmp]# mkdir {1..5} [root@test tmp]# ls 1 2 3 4 5 test yum.log然后在1
原创
2015-06-24 11:14:35
983阅读
