#!/bin/bash #set java env export JAVA_HOME=/home/hadoop/app/jdk1.7.0_51 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH #set hadoop env export HADOOP_HOME=/home/hadoop/app/h
原创
2022-01-12 16:05:23
112阅读
一、采集数据到HDFS1、建一个log4j.propertieslog4j.rootLogger=INFO,testloglog4j.appender.testlog = org.apache.log4j.RollingFileAppender log4j.appender.testlog.layout = org.apache.log4j.PatternLayout log4j.appender
原创
2022-04-22 10:29:23
508阅读
需求分析：点击流日志每天都10T，在业务应用服务器上，需要准实时上传至数据仓库（Hadoop HDFS）上。一般上传文件都是在凌晨24点操作，由于很多种类的业务数据都要在晚上进行传输，为了减轻服务器的压力，避开高峰期。如果需要伪实时的上传，则采用定时上传的方式。用到的技术： HDFS SHELL: hadoop fs –put xxxx.tar /data 还可以使用 Java...
原创
2021-07-07 11:46:16
253阅读
需求分析：点击流日志每天都10T，在业务应用上，需要准实时上传至数据仓库（Hadoop HDFS）上。一般上传文件都是在凌晨24点操作，由于很多种类的业务数据都要在晚上进行传输，为了减轻的压力，避开高峰期。如果需要伪实时的上传，则采用定时上传的方式。用到的技术： HDFS SHELL: hadoop fs –put xxxx.tar /data 还可以使用 Java...
原创
2022-03-24 10:15:39
157阅读
在Shell中要如何调用别的shell脚本，或别的脚本中的变量，函数呢？方式1：. filename 方式2：source filename 需要注意：两个点之间，有空格，千万注意。例如：. ./test.sh两个脚本不在同一目录，要用绝对路径。为简单起见，通常用第一种
转载
2023-05-26 16:31:13
109阅读
Linux Shell编程 test命令JAVA编程Linux学习 2023-04-08 08:03 发表于山东收录于合集#linux36个概述test 命令是Shell 脚本中用来进行条件判断的。test命令示例按照文件类型进行判断测试选项作 用-b 文件判断该文件是否存在，并且是否为块设备文件（是块设备文件为真）-c 文件判断该文件是否存在，并且是否为字符设备文件（是字符设
转载
2024-02-14 13:22:25
0阅读
# 使用Shell脚本进入Docker容器采集数据
## 简介
在开发过程中，我们经常需要进入Docker容器来执行一些操作，例如采集数据、调试代码等。本文将介绍如何使用Shell脚本来进入Docker容器并采集数据。
## 流程概览
下面是使用Shell脚本进入Docker容器并采集数据的流程概览：
| 步骤 | 描述 |
| --- | --- |
| 1 | 获取Docker容器I
原创
2023-07-29 13:14:40
95阅读
最近需要做资产列表，要采集DELL服务器的硬件信息，包括如下信息：1、操作系统信息（类型，版本，内核，平台，主机名）2、主板信息（厂商，机型，序列号）3、CPU信息（型号，个数，物理核数）4、内存（条数，单条容量）5、磁盘（个数，单个容量，磁盘类型，Raid级别）执行前请先安装MegaRAID，为了提高工作效率，我们使用SHELL脚本来实现，如下：#!/bin/sh
#get os&n
推荐
原创
2015-11-12 17:23:50
3835阅读
点赞
1评论
bash shell 脚本的方法有多种,假设我们编写好的shell脚本的文件名为hello.sh，文件位置在/data/shell目录中并已有执行权限。方法一：切换到shell脚本所在的目录(此时，称为工作目录)执行shell脚本：复制代码代码如下:cd /data/shell./hello.sh./的意思是说在当前的工作目录下执行hello.sh。如果不加上./ ，bash可能会响
转载
2024-01-11 11:26:24
95阅读
1. FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme
有两种方式执行shell scripts，一种是新产生一个shell，然后执行相应的shell scripts；一种是在当前shell下执行，不再启用其他shell。方法一：切换到shell脚本所在的目录（此时，称为工作目录）执行shell脚本：复制代码 代码如下:cd /data/shell
./hello.sh方法二：以绝对路径的方式去执行bash shell脚本：复制代码 代码如下:/dat
转载
2023-10-17 14:57:35
1293阅读
什么是Shell？Shell是用户与内核进行交互操作的一种接口，目前最流行的Shell称为bash ShellShell也是一门编程语言<解释型的编程语言>，即shell脚本一个系统可以存在多个shell，可以通过cat /etc/shells命令查看系统中安装的shell，不同的shell可能支持的命令语法是不相同的一个规范的Shell脚本在第一行会指出由哪个程序（解释器）来执行脚本
转载
2023-11-28 07:12:59
635阅读
文章目录前言shell函数的定义函数的优势shell 函数的调用实战案例总结前言Shell 函数的本质是一段可以重复使用的脚本代码，这段代码被提前编写好了，放在了指定的位置，使用时直接调取即可。
原创
2021-04-17 23:33:46
1698阅读
点赞
配置 bash Shell忽略命令大小写 |按“上“键显示该命令的历史 当按“上键”时，能够显示前一个历史命令。但是，这还 不太方便，下面的这个配置，可以让bash输入的命令头按“上“键显示该命令的历史，比如：输入 vim ，然后按”上“键，此时，可以显...
转载
2016-02-04 23:19:00
626阅读
2评论
一、开头 程序必须以下面的行开始（必须方在文件的第一行）： #!/bin/sh 符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行程序。 当编写脚本完成时，如果要执行该脚本，还必须使其可执行。 要使编写脚本可执行： 编译 chmod +x filename 这样才能用./filename 来运行二、注释 在进行shell编程时，以#开头的句子表示注释，
转载
2023-12-07 02:26:47
142阅读
文章目录前言shell函数的定义函数的优势shell 函数的调用实战案例总结前言Shell 函数的本质是一段可以重复使用的脚本代码，这段代码被提前编写好了，放在了指定的位置，使用时直接调取即可。Shell 中的函数和C++、Java、Python
原创
2022-02-19 15:41:41
1162阅读
一、如何抒写shell脚本 1、shell脚本的命名 名字要有意义，不要以a、b、c、1、2、3这种方式命令，建议以sh结尾，在30个字节内，例如：check_memory.sh 2、shell脚本的格式 shell脚本开头必须指定运行环境以#!这个特殊组合来组成，如：#!/bin/bash指该脚本 ...
转载
2021-07-18 22:50:00
863阅读
2评论
while循环循环语句常用于重复执行一条指令或一组指令，直到条件不满足停止，shell脚本语言的循环语句常见的有while、until、for、select循环语句，其中，until和select已经基本淡出历史舞台。本章讲while循环 while循环语句主要用来重复执行一组命令会语句。在企业中常用于守护进程或持续运行的程序，也有时候会用while来读取文件的每一行内容7.1 while语法wh
转载
2024-02-23 23:12:30
306阅读
理论部分：循环的意思就是让程序重复地执行某些语句;whiler循环就是循环结构的一种，当事先不知道循环该执行多少次，就要用到while循环;while循环语句的运行过程使用while循环语句时，可以根据特定的条件反复执行一个命令，直到条件不满足为止;while会出现死循环的过程，因此循环体内的命令序列内应包括修改测试条件的语句while语句的语法结构:注意:使用while循环语句时，有两个特殊的条
转载
2024-04-11 10:46:20
76阅读
目录一、while 介绍1.1 while 语法二、while 与 shell 运算2.1 比较运算2.2 逻辑运算2.3 文件类型判断2.4 特殊条件三、while 与循环控制语句3.1 sleep 语句3.2 break3.3 continue四、while 嵌套其他语句4.1 while 嵌套 if4.2 while 嵌套 for 4.3 while 嵌套 while &
转载
2024-04-30 14:13:00
112阅读
