Shell脚本调试选项Shell本身提供一些调试方法选项：-n，读一遍脚本中的命令但不执行，用于检查脚本中的语法错误。-v，一边执行脚本，一边将执行过的脚本命令打印到标准输出。-x，提供跟踪执行信息，将执行的每一条命令和结果依次打印出来。使用这些选项有三种方法(注意:避免几种调试选项混用)1.在命令行提供参数：$sh -x debug.sh2.脚本开头提供参数：#!/bin/sh -x3.在脚本中
转载
2023-12-19 19:56:13
23阅读
一、前置准备CentOS7、jdk1.8、zookeeper-3.5.7、kafka-2.4.1想要完成本期视频中所有操作，需要以下准备： 二、脚本源码USAGE="使用方法：sh kf.sh start/stop/status"if [ $# -ne 1 ];then echo $USAGE exit 1fiSHELL_ZK=/home/xiaokang/bin/zk.shSHEL
原创
2021-12-08 09:55:39
370阅读
一、前置准备CentOS7、jdk1.8、hadoop-2.7.7 二、简单了解basename：会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来dirname：从给定的包含绝对路径的文件名中去除文件名（非目录部分），然后返回剩下的路径（目录的部分）Shell数组用括号来表示，元素用空格符号分割，Shell中使用@ 或 * 可以获取数组中的所有元素rsync是根
原创
2021-12-08 09:58:53
305阅读
一、前置准备CentOS7、jdk1.8、zookeeper-3.5.7想要完成本期视频中所有操作，需要以下准备： 二、简单了解登录式 Shell， 采用用户名密码，比如 xiaokang 登录， 会自动加载/etc/profile 非登录式 Shell， 采用 ssh 比如 ssh hadoop02 登录， 不会自动加载/etc/profile， 会自动加载~/.bas
原创
2021-12-08 09:52:56
395阅读
一、前置准备CentOS7、jdk1.8、zookeeper-3.5.7、kafka-2.4.1、flume-1.9.0想要完成本期视频中所有操作，需要以下准备： 二、简单了解nohup可以在你退出帐户/关闭终端之后继续运行相应的进程。nohup就是不挂起的意思， 不挂断地运行命令。awk 默认分隔符为空格，xargs表示取出前面命令运行的结果， 作为后面命令的输入参数
原创
2021-12-08 09:53:50
1054阅读
一个简单的任务调度首先要写一个脚本world.sh 目的是为了验证#！、bin/bashecho "hello world' >> tt.txtwq 退出保存然后更改权限chomd 755 world.sh智游更改权限 sh才能变成可执行脚本 然后安装crontab服务linux应该都有crontab，没有的话可以安装一下：yum inst
转载
2024-05-11 21:00:19
52阅读
shell脚本赋权chmod 777 file.sh1、for循环打印数组arr1=(20 21 23 24 25)arr2=(a b c d e f g)for i in ${arr1[*]};do echo -e $i "\c"doneechofor i in ${arr2[@]};do echo -e $i "\c"doneecho# -e：...
原创
2021-08-26 09:26:55
281阅读
shell脚本赋权chmod 777 file.sh1、for循环打印数组arr1=(20 21 23 24 25)arr2=(a b c d e f g)for i in ${arr1[*]};do echo -e $i "\c"doneechofor i in ${arr2[@]};do echo -e $i "\c"doneecho# -e：...
原创
2022-04-22 13:57:19
231阅读
这个方法适用于存在多个hql脚本，想要统一调度，或者多个hql存在依赖关系的场景逻辑简述：四类文件 1、pkg.sh文件（1个pkg.sh文件），用来调度rpt.sh文件，在linux crontab -e 调度中添加这个文件，用于调度可同时调度多个rpt.sh文件 2、rpt.sh文件（n个rpt.sh文件），用来调度.q文件，并在.q文件执行成功后，自动生成执行l
转载
2023-07-12 19:00:08
162阅读
常见调度框架实现方式 开源Oozie成熟稳定可靠，可直接用于生产环境 Azkaban单点、简单粗暴，有两套独立的调度实现，必须二次开发才可用 Airflow 代码以及流程配置都是python自己封装基于quartz单机使用zk来做分布式控制常用quartz+zk做调度系统使用db心跳来做分布式控制比如阿里Zeus（3年前不再开源，还需要做一些二次开发才能用）基于qu
转载
2024-05-11 19:57:56
85阅读
1. 使用&符号在后台执行命令你可以在Linux命令或者脚本后面增加&符号，从而使命令或脚本在后台执行，例如：. $ ./my-shell-script.sh & 2. 使用nohup在后台执行命令使用&符号在后台执行命令或脚本后，如果你退出登录，这个命令就会被自动终止掉。要避免这种情况，你可以使用nohup命令，如下所示： $ nohu
转载
2024-07-29 20:12:37
71阅读
一、前置准备CentOS7、jdk1.8、flink-1.10.1、hadoop-2.7.7、zookeeper-3.5.7 二、脚本源码#!/bin/bash#作者：小康#描述：ha-flink集群（yarn模式）启动停止以及进程查看脚本#微信公众号：小康新鲜事儿USAGE="使用方法：sh ha-flink.sh start/stop/status"if [ $# -ne 1 ];then
原创
2021-12-07 18:11:28
431阅读
常见调度框架实现方式开源Oozie成熟稳定可靠，可直接用于生产环境 Azkaban单点、简单粗暴，有两套独立的调度实现，必须二次开发才可用 Airflow 代码以及流程配置都是python自己封装基于quartz单机使用zk来做分布式控制常用quartz+zk做调度系统使用db心跳来做分布式控制比如阿里Zeus（3年前不再开源，还需要做一些二次开发才能用）基于quar
转载
2023-09-30 01:52:59
195阅读
一、前置准备CentOS7、jdk1.8、scala-2.11.12、spark-2.4.5、hadoop-2.7.7、zookeeper-3.5.7 二、脚本源码#!/bin/bash#作者：小康#描述：ha-spark集群（yarn模式）启动停止以及进程查看脚本#微信公众号：小康新鲜事儿USAGE="使用方法：sh ha-spark.sh start/stop/status"if [ $#
原创
2021-12-08 09:57:17
184阅读
一、前置准备CentOS7、jdk1.8、zookeeper-3.5.7、hadoop-2.7.7想要完成本期视频中所有操作，需要以下准备： 二、简单了解 KaTeX parse error: Undefined control sequence: \* at position 1: \̲*̲表示传递给函数或脚本的所有参数…*”会将所有的参数作为一个整体 延时函数sleep，默认以秒为
原创
2021-12-08 09:54:29
266阅读
大数据 DolphinScheduler Airflow
大数据任务调度应用 大数据开发平台
大数据任务调度引擎
任务执行引擎
任务监控告警
海量异构数据同步
数据采集（同步）—数据处理—数据管理调度系统功能构成01.调度系统-调度方式
定时调度 、依赖调度
手动调度--手动暂停/停止/恢复
转载
2024-07-28 14:48:16
112阅读
Shell后台执行命令Crontab命令（周期性计划任务）At命令（一次性任务） Crontab命令（周期性计划任务）用于创建、修改、删除和查看定时计划任务功能：可以在固定的间隔时间执行指定的系统指令或 shell script脚本。
时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合；适合周期性的日志分析或数据备份等工作。选项说明-u查看指定用户的定时计划任务-e创建或修改当前用户的定
# 实现大数据调度框架的流程及代码示例
大数据调度框架是指通过一种系统化的方式管理和调度大数据处理任务，以提高处理效率和资源利用率。在Kubernetes（K8S）中，我们可以利用其强大的容器编排和管理功能来实现大数据调度框架。
下面是实现大数据调度框架的一般流程及相关代码示例：
## 步骤
| 步骤 | 描述 |
|---|---|
| 1 | 创建Kubernetes集群 |
| 2
原创
2024-05-28 09:49:21
95阅读
Shell脚本： 1 获取数据存储路径（此处是oss路径）：cat make-csv.sh
#!/bin/bash
#
set -x
shopt -s expand_aliases
alias hive2='/usr/lib/hive-current/bin/hive -hivevar bucket=oss://cdp-pri-lakehouse-emr-stg'
cat &l
原创
2024-05-12 10:25:26
131阅读
点赞
调度系统是数据仓库的重要组成部分，也是每个银行或公司一个基础软件或服务，需要在全行或全公司层面进行规划，在全行层面统一调度工具和规范，由于数据类系统调度作业较多，交易类系统批量优先级高，调度系统的整体架构如下：调度中心对调度批次和作业进行创建、管理、监控，它负责所有批量作业的调度和编排； 在整个作业过程中，作业之间关系分为触发，依赖和互斥。1、触发 触发关系表示一个作业完毕后，生成另一个作业的控制
转载
2023-10-24 21:54:32
72阅读
