在工作过程中，经常需要调整一些hadoop的参数配置，所以经常会遇到各种各样的问题。比如改了个配置怎么突然namenode起不来啦，加了个jar包怎么让hadoop的jvm加载啊，如何设定log目录啦等等，每次都需要仔细的查一遍启动脚本才能找到原因，费时又费力，因此专门总结了一下以便不时之需。cloudera的hadoop的启动脚本写的异常复杂和零散，各种shell脚本分散在系统的各个角落，让人很
转载
2023-12-29 23:47:12
32阅读
自5.1开始对分区(Partition)有支持
= 水平分区（根据列属性按行分）=
* Range（范围） – 这种模式允许DBA将数据划分不同范围。例如DBA可以将一个表通过年份划分成三个分区，80年代（1980's）的数据，90年代（1990's）的数据以及任何在2000年（包括2000年）后的数据。
* Hash（哈希） – 这中模式允许DBA通过对表的一个或多个列的Hash Key进行
转载
2024-05-30 07:05:44
22阅读
前记： 这些天一直学习hadoop,学习中也遇到了许多的问题，主要是对hadoop的shell脚本和hadoop的源码概念不够清楚，所以我就对hadoop的bin目录下的shell脚本进行了研究，有一些成果想记录下来，也希望大家前来批评指正。分析原因： 很多hadoop的初学者对hadoop的脚本不是很清楚，不知道为什么可以在命令行中启动hadoop,也不知道为什么有时在命令行
原创
2014-08-26 23:29:15
1408阅读
前记： 这些天一直学习hadoop,学习中也遇到了许多的
原创
2023-07-24 18:51:07
26阅读
1 基本概述Hadoop的命令位于${HADOOP_HOME}/bin、${HADOOP_HOME}/sbin、${HADOOP_HOME}/libexec下面。包含了Linux的shell脚本和windows的批处理文件。本文主要解析linux下的shell脚本。 2 脚本详解2.1 start-all.sh要启动Hadoop的各节点和其他服务，这是一个绕不开的启动脚本，该脚本位于${
原创
2016-08-17 13:27:26
10000+阅读
1.描述GPT是什么，应该怎么使用GPT的全称是GloballyUniqueIdentifierPartitionTable，即GUID分区表，GUID分区表(GPT)是作为ExtensibleFirmwareInterface(EFI)计划的一部分引入的。相对于以往PC普遍使用的主引导记录(MBR)分区方案，GPT提供了更加灵活的磁盘分区机制。分区指物理或逻辑磁盘上彼此连接的存储空间，但提供功能
原创
2019-07-21 22:10:55
1069阅读
最近从事日志分析系统工作，日志分析在hadoop上运行， 工作之余， 学习下hadoop，将所学点滴做个记录， 以作备忘。
hadoop版本:hadoop-0.20.2
1. $HDOOP_HOME/bin目录下主要有以下脚本:
脚本名
描述
原创
2011-08-05 13:35:44
3158阅读
一、start-all.sh hadoop安装目录/home/hadoop/hadoop-2.8.0/ libexec/hadoop-config.sh 设置变量 sbin/start-dfs.sh 启动hdfs sbin/start-yarn.sh 启动yarn 二、sbin/start-dfs.
原创
2021-07-29 16:20:05
219阅读
我的新浪微博：http://weibo.com
原创
2023-07-24 18:57:28
173阅读
基本分区一.添加一块虚拟磁盘二.查看磁盘信息新添加的磁盘出现在最后面三.使用fdisk进行分区MBR14个分区（4个主分区，扩展分区，逻辑分区）1.创建分区[root@dong~]#fdisk/dev/sdbCommand(mforhelp):n添加新分区Commandactioneextendedpprimarypartition(1-4)p主分区Partitionnumber(1-4):1分区
原创
2018-12-09 18:57:56
515阅读
希望大家多给下建议，初出茅庐，多指正！
原创
2017-03-15 12:11:46
1210阅读
点赞
1评论
一、视图什么是视图？ 视图是从数据库中的基本表中选取的数据组成的逻辑窗口。它只是一个虚表，不进行实际的存储。数据库只存放视图的定义，数据项仍然存放在原来的基本表结构中。 视图可以被用于多个表的连接，也可以定义为部分行（列）可见。 Hive视图是一种无关底层存储的逻辑对象，视图中的数据是select查询返回的结果。视图的作用 1.简化查询语句 2.提高数据的安全性 3.视图保证了一定程度的逻辑独立性
转载
2023-09-04 21:10:00
78阅读
win10专业版系统分区C盘要留多大合适？安装win10专业版系统都会进行分区，用于存放不同的文件，一般C盘储存重要的系统文件，c盘也就是我们常说的系统盘，那么win10专业版系统分区c盘留多大比较好？设置太大或太小也不好。今天小编就在这里向大家简单的介绍一下win10专业版系统分区C盘应该留多大，希望大家会喜欢。win10专业版分区C盘留多大空间？如果用户不打算将软件装在C盘，推荐C盘分区60到
转载
2024-10-05 11:16:54
31阅读
【目录】1.MySQL的热备份脚本2.用FTP同步服务器3.Keepalived的监控切换脚本4.SVN的版本库的批量备份5.自动监控ADSL并重拔号6.Linux批量生成生成帐户（10月11日更新）7.测试局域网内主机是否alive（10月11日更新）一、MySQL的热备份脚本这是MySQL的备份方式之一，脚本如下：#!/bin/bashPATH=/usr/local/sbin:/usr/bin
原创
2013-09-05 13:59:47
433阅读
#!/bin/bash###################################################################### Description: Automation Deployment Script # Netkiller series utilities
转载
精选
2013-06-03 15:12:03
678阅读
# MySQL 脚本分表——数据管理的实践技巧
在现代大型应用系统中，随着数据的不断增长，单一表结构可能难以满足性能和管理需求。面对这些挑战，分表（Sharding）作为一种有效的解决方案，正受到越来越多开发者的关注。本文将通过代码示例，详细讲解如何在 MySQL 中实现分表，并且分别通过状态图和序列图来展示其工作流程。
## 什么是分表？
分表是将一张大表按照某种规则分割成多个小表的过程。
Linux Shell脚本与Windows/Dos下的批处理相似，也就是用各类命令预先放入到一个文件中，方便一次性执行的一个程序文件，主要是方便管理员进行设置或者管理用的。但是它比Windows下的批处理更强大，比用其他编程程序编辑的程序效率更高，它使用了Linux/Unix下的命令。 Shell本身是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell既是一种命令语言，又是一种程序设
SRS_WORKDIR="."SRS_OBJS_DIR="objs"SRS_OBJS="${SRS_WORKDIR}/${SRS_OBJS_DIR}"# 设置输出目录 ./objsSRS_MAKEFILE="Makefile". auto/options.sh# ---- options.sh 主要代码段 begin -------opt=# f
转载
2021-07-14 11:27:37
466阅读
#!/usr/bin/expectset timeout 300set list [open ./test.txt r]set b [exec date +%Y%m%d -d "-2 days"]while { [gets $list line ] >=0 } {set ip [lindex $line 0]set dir [lindex $line 1]set user [lindex $
原创
2016-03-31 11:46:53
425阅读
声明：本文由个人学习过程中整理而成，转载请注明出处。1、uboot/mkconfig(1)uboot是一个多CPU多架构的统一bootloader，为了完成针对的特定目标板，目标架构的编译，需要给Makefile指明哪些文件需要编译，相当与从整体上控制 需要编译的cpu,单板等。2、主Makefile传递的6个参数$1:x210_sd$2:arm$3: s5pc11x$4:x210$5
翻译
2017-04-13 19:32:56
547阅读
