#!/bin/bash#查询压缩包出来，然后解压cd /root/ls *.tar.gz > ls.logls *.tgz >> ls.logdata=$(cat
原创
2022-07-25 16:43:23
684阅读
HDFS(Hadoop Distributed File System)分布式文件系统，是Hadoop的储存系统，能够实现创建文件、删除文件、移动文件等功能，文件被平均分块通过网络在多台主机上存储，就可以并行从多机器上读取。HDFS高吞吐量的数据读写的特性，能够面向大规模数据使用，可进行扩展的文件存储与传递。 主要面向的问题域大数据文件，可以支持T级别的大文件，或大量文件存储。当然大量
转载
2024-10-25 15:24:36
21阅读
一个简单的任务调度首先要写一个脚本world.sh 目的是为了验证#！、bin/bashecho "hello world' >> tt.txtwq 退出保存然后更改权限chomd 755 world.sh智游更改权限 sh才能变成可执行脚本 然后安装crontab服务linux应该都有crontab，没有的话可以安装一下：yum inst
转载
2024-05-11 21:00:19
52阅读
#!/bin/bash #set java env export JAVA_HOME=/home/hadoop/app/jdk1.7.0_51 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH #set hadoop env export HADOOP_HOME=/home/hadoop/app/h
原创
2022-01-12 16:05:23
112阅读
一、采集数据到HDFS1、建一个log4j.propertieslog4j.rootLogger=INFO,testloglog4j.appender.testlog = org.apache.log4j.RollingFileAppender log4j.appender.testlog.layout = org.apache.log4j.PatternLayout log4j.appender
原创
2022-04-22 10:29:23
508阅读
需求分析：点击流日志每天都10T，在业务应用服务器上，需要准实时上传至数据仓库（Hadoop HDFS）上。一般上传文件都是在凌晨24点操作，由于很多种类的业务数据都要在晚上进行传输，为了减轻服务器的压力，避开高峰期。如果需要伪实时的上传，则采用定时上传的方式。用到的技术： HDFS SHELL: hadoop fs –put xxxx.tar /data 还可以使用 Java...
原创
2021-07-07 11:46:16
253阅读
需求分析：点击流日志每天都10T，在业务应用上，需要准实时上传至数据仓库（Hadoop HDFS）上。一般上传文件都是在凌晨24点操作，由于很多种类的业务数据都要在晚上进行传输，为了减轻的压力，避开高峰期。如果需要伪实时的上传，则采用定时上传的方式。用到的技术： HDFS SHELL: hadoop fs –put xxxx.tar /data 还可以使用 Java...
原创
2022-03-24 10:15:39
157阅读
为了满足定制化需求，特对物理主机的多路径软件multipath服务和路径进行了脚本采集，并提供自动化部署路径。
原创
2023-06-06 19:04:22
204阅读
用nohup命令让Linux下程序永远在后台执行 Unix/Linux下一般想让某个程序在后台运行，很多都是使用 & 在程序结尾来让程序自动运行。比如我们要运行mysql在后台：/usr/local/mysql/bin/mysqld_safe --user=mysql & 但是我们很多程序并不象mysqld一样可以做成守护进程，可能我们的程序只是普通程序而已，一般这种程序即使使用
转载
2023-10-19 16:15:13
136阅读
shell 解压文件20191017zip文件(参考资料1)压缩zip -r mydata.zip mydata #压缩mydata目录
zip -r mydata.zip ./*txt #压缩当前目录下后缀名为.txt的文件为mydata.zip解压unzip mydata.zip -d mydatabak #把mydata.zip解压到mydatabak目录里面参数-c：将解压缩的结果
-l：
转载
2023-07-30 23:33:58
760阅读
目录1. 准备一个Shell脚本1.1 注意2. 复制脚本到init.d目录3. 设置脚本权限4. 添加服务5. 测试是否成功添加6. 设置Shell脚本开机自启的方法和实例6.1 Shell脚本自启动原理6.1.1 添加到启动目录6.1.2 使用系统服务管理器6.2 不同Linux系统的具体实现方法6.2.1 Ubuntu/Debian6.2.2 CentOS/RHEL6.2.3 Arch L
转载
2024-04-12 19:30:39
119阅读
首先我们学习经典而有效的分类算法：决策树分类算法。1、决策树算法决策树用树形结构对样本的属性进行分类，是最直观的分类算法，而且也可以用于回归。不过对于一些特殊的逻辑分类会有困难。典型的如异或（XOR）逻辑，决策树并不擅长解决此类问题。决策树的构建不是唯一的，遗憾的是最优决策树的构建属于NP问题。因此如何构建一棵好的决策树是研究的重点。J. Ross Quinlan在1975提出将信息熵的概念引入决
nrpe自动安装脚本
#!/bin/sh
#nrpe install script writed by sery([email=sery@163.com),2009-11-23]
Os_is=`uname`
Nagios_is=`grep nagios /etc/passwd | wc -l`
if [ "$Os_is" = "Linux" ]
原创
2010-01-15 14:26:19
779阅读
4评论
由于管理着两百多台Linux服务器，一个人搞这么多机器的安全加固比较累，因此在学习了shell脚本之后果断的写了一些常用脚本做一些系统日常维护，本文OPENSSH的升级是博主本人几乎每两三个月就要做一次升级的，没办法绿盟安全扫描系统总是扫描到相关的高危漏洞，再就是OPENSSH版本更新的也比较频繁，因此不偷懒几乎没法活了。废话不说了，在这里贴下脚本，
推荐
原创
2016-07-10 11:38:13
8986阅读
点赞
4评论
最简单打开终端登录：gnome-terminal --tab -e "bash -c \"sshpass -p "apeadmin" ssh -tt ape@192.168.1.136 'cd / && /bin/bash' \"" sshpass为自动登录 -tt 为接受自动登录scp 拷贝:g_count_135="ape@ip"g_passwd="pwd"sshpass -p "apeadmin" scp -r ape@192.168.1
转载
2011-06-02 16:55:00
473阅读
2评论
比如我们想重启php-fpm。#!/bin/bash #变量初始化process="php-fpm" #进程名startCmd="/etc/inim ...
原创
2014-11-03 16:05:51
149阅读
自动安装nginx脚本，自动配置nginx虚拟机脚本
原创
2021-03-17 17:34:32
1474阅读
点赞
