public class ConversionDemo { public static void main(String[] args){ //自动类型转换 double d = 10; System.out.println(d); //定义byte类型的变量 byte b = 10; sho
标识符的定义规则 1.由数字、字母、下划线()和美元符号($)组成 2.不能以数字开头 3.不能是关键字 4.区分大小写 常见的命名约定 小驼峰命名法：方法、变量 约定1. 标识符是一个单词的时候，首字母小写 范例1： name 约定2: 标识符由多个单词组成的时候，第一个单词首字母小写，其他单词首字母大写 范例2： fristName 大驼峰命名法：类 约定1. 标识符是一个单词的时候，首字
/* 变量使用的注意事项： 名字不能重复 变更未赋值，不能使用 long类型的变量定义的时候，为了防止整数过大，后面要加L float类型的变量定义的时候，为了防止类型不兼容，后面要加F */ public class VariableDemo02 { public static void
/* 变量定义格式： 数据类型 变量名 = 变量值； 基本数据类型： byte,short,int,long,float,duble,char,boolean 变量的使用： 取值格式： 变量名 修改值格式： 变量名 = 变
1 文档编写目的 本文主要介绍HDFS Federation（联邦）相关知识，为后续文章《如何为CDH集群启用Federation（联邦）》做一个简单的铺垫。Federation即为“联邦”，该特性允许一个HDFS集群中存在多组Namenode同时对外提供服务，分管一部分目录（水平切分），彼此之间相互隔离，但共享底层的Datanode存储资源。 文章目录结构： 1. 文档编写
hadoop实操
当集群中的服务有故障时，CM的界面上可以直接显示告警，你也可以通过CM的API去获取这些信息，本篇文章主要介绍CM的界面告警事件以及如何使用CM提供的API获取集群的告警信息 内容概述 1.文档说明 2.告警介绍 3.事件告警REST API 测试环境 1.CM和CDH版本为CDH 5.16.1 2.操作系统版本为RedHat 7.2 2 告警介绍 在Cloudera Ma
内容概述 1.测试环境描述及创建hive管理员 2.为测试用户授权 3.权限测试 测试环境 1.CM和CDH版本为5.13.1 2.OpenLDAP版本2.4.40 前置条件 1.集群已配置集成OpenLDAP 2.集群已启用Sentry服务且配置正常 3.Hue已集成OpenLDAP 4.测试用户已添加至OpenLDAP服务 2.环境描述 在《6.如何为Hue配置Op
内容概述 1.测试环境描述 2.Impala集成OpenLDAP 3.Impala集成验证 测试环境 1.CentOS6.5 2.OpenLDAP版本2.4.40 3.CM和CDH版本为5.13.1 前置条件 1.OpenLDAP已安装且正常使用 2.集群未启用Kerberos 2.测试环境描述 OpenLDAP服务信息 IP地址 HOSTNAME 描
内容概述 1.测试环境描述 2.Hive集成OpenLDAP 3.Hive集成验证 测试环境 1.CentOS6.5 2.OpenLDAP版本2.4.40 3.CM和CDH版本为5.13.1 前置条件 1.OpenLDAP已安装且正常使用 2.集群未启用Kerberos 3.集群所有节点SSSD服务运行正常 2.测试环境描述 OpenLDAP服务信息 IP地址
内容概述 1.测试环境描述 2.导入hive用户到OpenLDAP 3.Hue集成OpenLDAP 4.Hue集成Hive和Impala 5.Hue集成验证 测试环境 1.CentOS6.5 2.OpenLDAP版本2.4.40 3.CM和CDH版本为5.13.1 4.OpenLDAP未启用TLS加密认证 前置条件 1.OpenLDAP已安装且正常使用 2.集群未启用Kerbe
1.文档编写目的 Hadoop集群管理员希望能对集群Yarn作业的资源进行控制。根据不同的业务组或不同的用户，对Yarn的资源池进行划分，达到资源管控、任务管控的效果。通过CM可以进行Yarn动态资源的配置，这里Fayson主要介绍如何在Cloudera Manager中配置Yarn动态资源池的放置规则。 在这里Fayson主要用一个场景进行描述，在不给作业指定资源池的情况下，通过CM的放
问题现象 测试环境 1.Redhat7.4 2.CDH5.16.1 在HDFS上有许多Hive Staging目录，占用了大量的空间，有些目录占用的空间甚至比原始表还大，如下截图显示： 异常重现及分析 1.使用beeline、hive、spark-shell等多种方式执行Hive SQL语句验证产生的hive staging目录是否不会被清除，结果发现在SQL执行结束
1.问题描述 Hadoop应用程序或者Yarn的作业随机的出现OutOfMemory(OOM)，在Cloudera Manager界面显示如下警告： ip-172-31-24-169.ap-southeast-1.compute.internal: Memory Overcommit Validation Threshold Suppress...Memory on host ip-1
---有关hive表占用磁盘空间大小的研究-----不加【distribute by uuid sort by uuid,servAddtime】-----16.7 Ginsert overwrite table tmp_ods_sony_opendevice_llk_ps2partition(pt='20210831')selectdevaddtime,servAddtime,brand,c
一、 配制过程1. 在主数据库（primary database）上启用强制生成日志SQL>shutdown immediate;SQL>startup mount;--修改为归档模式SQL>alter database archivelog;SQL>alter database open;--设置强制归档模式SQL> alter database force l
部署flink提交客户端的时间报错如下：提示/tmp下无权限 flink@dbos-bigdata-flink004 ~]$ flink run -m yarn-cluster -yjm 1024 -ytm 4096 /opt/flink/examples/batch/WordCount.jarSLF4J: Class path contains multiple SLF4J bindings.
/* 常量： 在程序运行过程中，其值不可以发生改变的量。 常量分类： 字符串常量： 用双引号括起来的内容。"HelloWorld","黑马程序员" 整数常量： 不带小数的数据。666，-88 小数常量： 带小数的数字
/* Java程序中最基本的组成单位是类 类的定义格式： public class 类名 { } 这是我定义的HelloWorld类 */ public class HelloWorld { /* 这是main方法 main方法是程序的入口
测试环境参考方案 1.0 资源：集群服务安排 服务名称 子服务 CM-24G ZK-Kafka(3台)-12G DataNode(3台)-64G NameNode1-16G NameNode2-16G Resourcemanager1-16G Resourcemanager2-16G hive-hbase-24G hive-hbase-24G MySQL MySQL √
一、安装配置Flink 1.1安装前准备 1、Prometheus安装完成，gateway相关组件均已启动，以及Grafana安装完成，这部分由监控运维组负责搭建并提供接口 2、flink 集群安装完成并且能正常运行 3、flink集群和Prometheus环境正常连通 1.2 上传jar包 下载flink 相应版本的源码，编译打包flink-metrics-prometheus模块，生成flin
一 、概述 1.1 AD域服务 日常生活中使用的电话薄内记录着亲朋好友的姓名、电话与地址等数据，它就是 telephone directory（电话目录）；计算机中的文件系统（file system）内记录着文件的文件名、大小与日期等数 据，它就是 file directory（文件目录）。 如果这些目录内的数据能够由系统加以整理，用户就能够容易且迅速地查找到所需的数据，而 directory s
前言 基本概念 from vbrid 简略概述 Display Manager 提供登录需求 在文字界面下可以通过startx来启动Xwindows 在runlevel 5下，在tty7处有可以使用的图形登录界面（方便输入账号密码），这个就是Display Manager-->最大的任务就是登录 在CentOS上，利用GDM (GNOME Display Manager) 程序来提供tty
1.点击yarn---操作---选择启用ha 2.点击选择一个主机 3.选择RM角色的另外一台主机，master001 4.选择后点击确认 5.重启yarn的服务 6.点击完成即可。 7.完成后如下图。
HDFS NameNode 的健康关系整个集群是否能正常运行，生产为了集群的高可用必须开启HA。社区版需要手动修改配置文件进行开启。使用cloudera manager只需在界面根据向导执行即可。 1.点击hdfs组件的操作，选择启用启用 High Availability 2.输入nameservice名称，点击继续 4.选择namenode2的主机和journalnode的角色主机 5
一、查看hdfs的tmp文件夹是否存在 sudo su - hdfs hdfs dfs -ls / 发现hdfs的根目录下没有tmp文件夹 新建tmp文件夹 hdfs dfs -mkdir /tmp hdfs dfs -chmod -R 775 /tmp/ Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。 二、查
安装新集群的过程hive server2出现了红色告警，查看日志是hdfs的/tmp权限不够 解决方案：sudo su - hdfs hdfs dfs -chmod -R 775 /tmp 然后重启hive server2角色后问题解决。
wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.35-linux-glibc2.12-x86_64.tar
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
