流量统计（统计每个用户的上行流量和下行流量及其流量总和）源数据：1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliim
if语法：help ifif COMMANDS; then COMMANDS; [ elif COMMANDS; then COMMANDS; ]... [ else COMMANDS; ] fi文件相关：1、if [ -f file ]：是否问文件（不存在返回false）2、if [ -d dir ]：是否为目录3、if [ -e file ]：文件（目录）是否存在4、if [ -r file
hadoop配置HA（NN）配置信息参考hadoop配置名称节点HA原理1、停止所有进程stop-dfs.sh2、配置hdfs-site.xml和core-site.xml3、将s201的id_rsa发送到s205（确保两个NN能同时ssh到各个DN）4、将s201的工作目录复制到s2055、启动服务journalnodehadoop-daemons.sh start journalnode6、初
ArchitectureIn a typical HA clusiter, two separate machines are configured as NameNodes. At any point in time, exactly one of the NameNodes is in an Active state, and the other is in a
节点的退役和服役1、配置新节点的core-site.xml和yarn-site.xml，指向名称节点core-site.xml<name>fs.defaultFS</name><value>hdfs://s201/</value>yarn-site.xml<name>yarn.resourcemanager.hostname</na
maven：配置maven环境①将maven解压到一个没有空格没有中文的路径上②添加环境变量M2_HOME，并添加PATH路径M2_HOME=C:\mysoft\apache-maven-3.5.0PATH=%M2_HOME%\bin③测试（mvn -version）编辑pom.xml文件<groupId>org.apache.hadoop</groupId><art
启动脚本概览：1、{sbin}start-dfs.sh①hdfs-config.sh ---> {libexec}hadoop-dfs.sh②hadoop-daemons.sh --hostnames hostname start namenode（NN）③hadoop-daemons.sh start datanode（NN）④hadoop-daemon.sh start datanode
配置完全分布式1、修改静态IP和主机名称①规划IP和主机名映射②涉及文件etc/hostnameetc/hostsetc/resolve.confetc/sysconfig/network-script/ifcfg-ens32、配置ssh①删除各节点的~/.ssh目录②在各节点创建~/.ssh目录，同时指定权限mkdir ~/.ssh -m 700③在主节点生成公私密钥对//生成成公私密钥对ssh
CentOS下安装JDK，CentOS下安装JDK
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
