7:查看hive库的大小
hadoop fs -du -s -h /user/hive/warehouse/ods.db
第一位为总存储量 第二位为父本存储量(默认为3个)
8:查看hive中某张表的数据量大小
hadoop fs -du /user/hive/warehouse/src.db/user/user_account|awk ' { SUM += $1 } END { print SUM/(1024*1024*1024) }'
none inf 300G① 300G② 36 30 1.4M③ /user/hive/warehouse/xxxxxx.db
9:查看hive某个数据库所有表的本机存储大小和总存储大小
hadoop fs -du -s -h /user/hive/warehouse/src.db/*
(hadoop fs -du -s -h /user/hive/warehouse/src.db查看某个库的本机大小和总副本存储大小)
本机大小 副本总大小 路径位置
10:awk的使用方式
11:修改软连接指向
ln -snf 【新目标目录】 【软链接地址】
12:递归更改当前文件夹以及子文件夹的所有者
chown -R mister:mister *
13:gg回到开头G到结尾
14:control+a&e
15:并发(处理器同一时间内处理多个代码块,每个代码块是分开运行的并不是同时运行的,有一个处理器对排队的代码块统一处理)
并行(将现有的资源拆分成多个小的资源来同事处理多个同时进行的工作)
同步是阻塞模式,
异步是非阻塞模式。
同步就是指一个进程在执行某个请求的时候,若该请求需要一段时间才能返 回信息,那么这个进程将会一直等待下去,直到收到返回信息才继续执行下去;
异步是指进程不需要一直等下去, 而是继续执行下面的操作,不管其他进程的状态。当有消息返回时系统会通知进程进行处理,这样可以提高执行的效 率。
17:OGG
主要用途-数据迁移
OGG的标准用途是将数据从Oracle迁移到非Oracle数据库,或从非Oracle数据库迁移到Oracle数据库,支持的数据源有:
Oracle和非Oracle数据库,如MySQL,IBM DB2,MS SQL,Sybase等
文件,XML,JSON,CSV文件和其他非结构化数据源
基于大数据的数据库,如基于Apache Hive,Apache HDFS和Apache Hadoop等技术的大数据平台数据库。
Java消息传递服务(JMS)和Java API
18:MPP架构
Massively Parallel Processing,一种分布式 Shared Nothing 计算架构,支持多个无共享的节点,执行全并行计算,计算性能随节点增加而线性提升。AnalyticDB for PostgreSQL 实例即为MPP集群架构,由多个计算节点组成。
19:HTAP等业务场景
20:COALESCE是一个函数, (expression_1, expression_2, ...,expression_n)依次参考各参数表达式,遇到非null值即停止并返回该值。如果所有的表达式都是空值,最终将返回一个空值。使用COALESCE在于大部分包含空值的表达式最终将返回空值。
21:LEAST()函数与GREATEST()函数相反。其目的是为了从值列表(N1,N2,N3,等等)返回至小值项。
22:Lateral View+explode(字段名称)语法使用->https://help.aliyun.com/document_detail/87722.html?spm=a2c4g.11186623.6.694.19c16f41znW7iW
23:first_value 截取当前分组内第一个值,配合over()开窗函数一起使用
24:移动窗口函数
rows between 2 preceding and current row # 取当前行和前面两行
rows between unbounded preceding and current row # 包括本行和之前所有的行
rows between current row and unbounded following # 包括本行和之后所有的行
rows between 3 preceding and current row # 包括本行和前面三行
rows between 3 preceding and 1 following # 从前面三行和下面一行,总共五行
当order by后面缺少窗口从句条件,窗口规范默认是rows between unbounded preceding and current row.
当order by和窗口从句都缺失, 窗口规范默认是 rows between unbounded preceding and unbounded following
Hdfs回收站处理命令:
查看回收站文件:
hdfs dfs -ls /user/hive/.Trash/220506080000/warehouse/tablespace/managed/hive/yhsgj.db
查看具体回收站中文件:
hdfs dfs -ls /user/hive/.Trash/Current/warehouse/tablespace/managed/hive/yhsgj.db/ods_yh_zjj_201_qcpdk
清空回收站文件
hdfs dfs -rm -r -f /user/hive/.Trash/Current/warehouse/tablespace/managed/hive/yhsgj.db/*
Vim快捷命令
行首 :%s/^/your_word/
行尾 :%s/$/your_word/
按键操作:
注释:ctrl+v 进入列编辑模式,向下或向上移动光标,把需要注释的行的开头标记起来,然后按大写的I,再插入注释符,比如"#",再按Esc,就会全部注释了。
删除:先按v,进入visual模式,横向选中列的个数(如"#"注释符号,需要选中两列),再按Esc,再按ctrl+v 进入列编辑模式,向下或向上移动光标,选中注释部分,然后按d, 就会删除注释符号(#)。
PS:当然不一定是shell的注释符"#",也可以是"//",或者其他任意的字符;vim才不知道什么是注释符呢,都是字符而已。
使用替换命令:
在全部内容的行首添加//号注释
:% s/^/\/\//g
在2~50行首添加//号注释
:2,50 s/^/\/\//g
在2~50行尾删除//号
:2,50 s/$\/\///g