标识符的定义规则 1.由数字、字母、下划线()和美元符号($)组成 2.不能以数字开头 3.不能是关键字 4.区分大小写 常见的命名约定 小驼峰命名法:方法、变量 约定1. 标识符是一个单词的时候,首字母小写 范例1: name 约定2: 标识符由多个单词组成的时候,第一个单词首字母小写,其他单词首字母大写 范例2: fristName 大驼峰命名法:类 约定1. 标识符是一个单词的时候,首字
/* 变量使用的注意事项: 名字不能重复 变更未赋值,不能使用 long类型的变量定义的时候,为了防止整数过大,后面要加L float类型的变量定义的时候,为了防止类型不兼容,后面要加F */ public class VariableDemo02 { public static void
/* 变量定义格式: 数据类型 变量名 = 变量值; 基本数据类型: byte,short,int,long,float,duble,char,boolean 变量的使用: 取值格式: 变量名 修改值格式: 变量名 = 变
问题现象 测试环境 1.Redhat7.4 2.CDH5.16.1 在HDFS上有许多Hive Staging目录,占用了大量的空间,有些目录占用的空间甚至比原始表还大,如下截图显示: 异常重现及分析 1.使用beeline、hive、spark-shell等多种方式执行Hive SQL语句验证产生的hive staging目录是否不会被清除,结果发现在SQL执行结束
---有关hive表占用磁盘空间大小的研究-----不加【distribute by uuid sort by uuid,servAddtime】-----16.7 Ginsert overwrite table tmp_ods_sony_opendevice_llk_ps2partition(pt='20210831')selectdevaddtime,servAddtime,brand,c
一、 配制过程1. 在主数据库(primary database)上启用强制生成日志SQL>shutdown immediate;SQL>startup mount;--修改为归档模式SQL>alter database archivelog;SQL>alter database open;--设置强制归档模式SQL> alter database force l
部署flink提交客户端的时间报错如下:提示/tmp下无权限 flink@dbos-bigdata-flink004 ~]$ flink run -m yarn-cluster -yjm 1024 -ytm 4096 /opt/flink/examples/batch/WordCount.jarSLF4J: Class path contains multiple SLF4J bindings.
/* 常量: 在程序运行过程中,其值不可以发生改变的量。 常量分类: 字符串常量: 用双引号括起来的内容。"HelloWorld","黑马程序员" 整数常量: 不带小数的数据。666,-88 小数常量: 带小数的数字
/* Java程序中最基本的组成单位是类 类的定义格式: public class 类名 { } 这是我定义的HelloWorld类 */ public class HelloWorld { /* 这是main方法 main方法是程序的入口
测试环境参考方案 1.0 资源:集群服务安排 服务名称 子服务 CM-24G ZK-Kafka(3台)-12G DataNode(3台)-64G NameNode1-16G NameNode2-16G Resourcemanager1-16G Resourcemanager2-16G hive-hbase-24G hive-hbase-24G MySQL MySQL √
一、安装配置Flink 1.1安装前准备 1、Prometheus安装完成,gateway相关组件均已启动,以及Grafana安装完成,这部分由监控运维组负责搭建并提供接口 2、flink 集群安装完成并且能正常运行 3、flink集群和Prometheus环境正常连通 1.2 上传jar包 下载flink 相应版本的源码,编译打包flink-metrics-prometheus模块,生成flin
一 、概述 1.1 AD域服务 日常生活中使用的电话薄内记录着亲朋好友的姓名、电话与地址等数据,它就是 telephone directory(电话目录);计算机中的文件系统(file system)内记录着文件的文件名、大小与日期等数 据,它就是 file directory(文件目录)。 如果这些目录内的数据能够由系统加以整理,用户就能够容易且迅速地查找到所需的数据,而 directory s
前言 基本概念 from vbrid 简略概述 Display Manager 提供登录需求 在文字界面下可以通过startx来启动Xwindows 在runlevel 5下,在tty7处有可以使用的图形登录界面(方便输入账号密码),这个就是Display Manager-->最大的任务就是登录 在CentOS上,利用GDM (GNOME Display Manager) 程序来提供tty
1.点击yarn---操作---选择启用ha 2.点击选择一个主机 3.选择RM角色的另外一台主机,master001 4.选择后点击确认 5.重启yarn的服务 6.点击完成即可。 7.完成后如下图。
HDFS NameNode 的健康关系整个集群是否能正常运行,生产为了集群的高可用必须开启HA。社区版需要手动修改配置文件进行开启。使用cloudera manager只需在界面根据向导执行即可。 1.点击hdfs组件的操作,选择启用启用 High Availability 2.输入nameservice名称,点击继续 4.选择namenode2的主机和journalnode的角色主机 5
一、查看hdfs的tmp文件夹是否存在 sudo su - hdfs hdfs dfs -ls / 发现hdfs的根目录下没有tmp文件夹 新建tmp文件夹 hdfs dfs -mkdir /tmp hdfs dfs -chmod -R 775 /tmp/ Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。 二、查
安装新集群的过程hive server2出现了红色告警,查看日志是hdfs的/tmp权限不够 解决方案:sudo su - hdfs hdfs dfs -chmod -R 775 /tmp 然后重启hive server2角色后问题解决。
wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.35-linux-glibc2.12-x86_64.tar
#!/bin/sh export ORACLE_BASE=/data/oracle export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1 export ORACLE_SID=orcl export PATH=$ORACLE_HOME/bin:/usr/sbin:$PATH export DATA_DIR=/home/oracle/investDat
什么是LNMP?就是Linux+Nginx+MySQL+PHP。 CentOS常用命令在我们的使用中经常被使用。所以对一些经常使用又很重要的CentOS常用命令进行了下面的收集。这里简单介绍这些CentOS常用命令。 一:使用CentOS常用命令查看cpumore/proc/cpuinfo|grep“modelname”grep“modelname”/proc/cpuinfo[root@loca
1. 有关Gentoo Linux的安装 1.a. 介绍 欢迎! 首先,欢迎使用Gentoo Linux系统!你将进入选择和性能的世界中。Gentoo处处给用户提供选择。当安装Gentoo时,这点你会经常感受到。你可以选择自己编译多少软件,可以选择怎样安装Gentoo,可以选择使用什么系统日志程序等等。 Gentoo是一个快速和现代的半发行版,设计理念干净灵活。Gent
今天初始化CDH的scm的报权限拒绝,提示mysql的root账号被拒绝。 2.检测msyql数据库发现,root没有远程访问的权限 use mysql select user, host from user; 解决办法 : grant all privileges on *.* to 'root'@'%' identified by 'root账号的密码' flush privileges;
今天早上来到公司,看了一下hue平台执行的时候,出现以下报错,然后我就去平台上查看日志,找了半天也没有找到,以为是spark的问题。 然后在去hive上去看日志,发现了报错如下(原来是与atlas集成的时候,把阿里的oss的jar也移了过来,因为hive设置辅助jar只能设置一个路径): 查看了一下,无权限,然后去服务器上开通相关的权限 原因是因为这几个包是与aliyun的oss集成的包,hi
开启THP精髓是提高内存分配效率,减少CPU SYS开销。 1、首先检查THP的启用状态: [root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/defrag[always] madvise never[root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/enable
secondaryNamenode对namenode当中的fsimage和edits进行合并时,每次都会先将namenode的fsimage与edits文件拷贝一份过来,所以fsimage与edits文件在secondarNamendoe当中也会保存有一份,如果namenode的fsimage与edits文件损坏,那么我们可以将secondaryNamenode当中的fsimage与edits拷贝
一、hdfs配置: 进入hdfs---配置---搜:hdfs-site.xml 的 HDFS 服务高级配置代码段(安全阀) xml的配置hdfs以下信息: xml信息 <property> <name>dfs.client.failover.proxy.provider.offline</name> <value>org.apa
vim ~/.bash_profile 添加以下内容 alias sqlmap='Python /usr/local/sqlmap-dev/sqlmap.py'alias python='/Library/Frameworks/Python.framework/Versions/3.7/bin/python3' source ~/.bash_profile
https://maven.aliyun.com/mvn/search
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号