集群部署(Cluster) 1、基础软件安装(必装项请自行安装) PostgreSQL (8.2.15+) or MySQL (5.7系列)：两者任选其一即可，如 MySQL 则需要 JDBC Driver 5.1.47+ JDK (1.8+)：必装，请安装好后在 /etc/profile 下配置 JAVA_HOME 及 PATH 变量 ZooKeeper (3.4.6+)：必装 Hadoop
Centos 6.6静默安装Oracle的教程 一、配置Centos 6.6 1、安装数据库需要的软件包 yum -y install binutils compat-libstdc++ elfutils-libelf elfutils-libelf-devel glibc glibc-common glibc-devel glibc-headers gcc gcc-c++ libaio liba
[client] port=3306 socket=/data/mysql/data/mysql.sock [mysqldump] max_allowed_packet=1G default_character_set=utf8mb4 [mysql] no-auto-rehash default_character_set=utf8mb4 prompt=[\\u@\\h][\\d]>\\
Atlas 是什么? Atlas是一组可扩展和可扩展的核心基础治理服务，使企业能够有效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。 Apache Atlas为组织提供了开放的元数据管理和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能。 如果没有Atlas大数据表依赖问题不好解决，元数据管理需要自
--如何把分区[20210802]从本地磁盘转移到oss上存储（即：做到部分分区在本地磁盘存储，部分分区在oss存储） 1.通过命令复制过去hadoop distcp hdfs://bigdata/user/hive/warehouse/test.db/dim_sony_dev_list_oss2/pt=20210802 oss://dbbigdata/hangwenping/dim_sony_d
yarn任务上面显示任务跑成功。 dolphinscheduler上显示 通过服务器查看后台的work日志，有报错 报错的内容是因为连接RM主机超时。 查看common.properties的yarn的配置，是rm配置的主机配置错了，重新配置完后，重启work节点，重跑任务，问题解决。 重启命令 进入以下路径： [root@dbos-bigdata-test003 dolphinsch
#---------------------------------------------------------------------# Example configuration for a possible web application. See the# full configuration options online.## http://haproxy.1wt.eu/dow
Haproxy方式实现的Impala负载均衡在Hue中配置Impala服务的负载均衡。 内容概述 1.测试环境描述 2.Hue配置Impala负载均衡 3.测试Impala负载均衡 4.总结 测试环境 1.CM和CDH版本为5.13.1 2.Haproxy版本为1.5.18 前置条件 1.已配置好Haproxy实现的Impala负载均衡 2.环境描述 在CDH集
/* Java程序中最基本的组成单位是类 类的定义格式： public class 类名 { } 这是我定义的HelloWorld类 */ public class HelloWorld { /* 这是main方法 main方法是程序的入口
测试环境参考方案 1.0 资源：集群服务安排 服务名称 子服务 CM-24G ZK-Kafka(3台)-12G DataNode(3台)-64G NameNode1-16G NameNode2-16G Resourcemanager1-16G Resourcemanager2-16G hive-hbase-24G hive-hbase-24G MySQL MySQL √
一、安装配置Flink 1.1安装前准备 1、Prometheus安装完成，gateway相关组件均已启动，以及Grafana安装完成，这部分由监控运维组负责搭建并提供接口 2、flink 集群安装完成并且能正常运行 3、flink集群和Prometheus环境正常连通 1.2 上传jar包 下载flink 相应版本的源码，编译打包flink-metrics-prometheus模块，生成flin
一 、概述 1.1 AD域服务 日常生活中使用的电话薄内记录着亲朋好友的姓名、电话与地址等数据，它就是 telephone directory（电话目录）；计算机中的文件系统（file system）内记录着文件的文件名、大小与日期等数 据，它就是 file directory（文件目录）。 如果这些目录内的数据能够由系统加以整理，用户就能够容易且迅速地查找到所需的数据，而 directory s
前言 基本概念 from vbrid 简略概述 Display Manager 提供登录需求 在文字界面下可以通过startx来启动Xwindows 在runlevel 5下，在tty7处有可以使用的图形登录界面（方便输入账号密码），这个就是Display Manager-->最大的任务就是登录 在CentOS上，利用GDM (GNOME Display Manager) 程序来提供tty
1.点击yarn---操作---选择启用ha 2.点击选择一个主机 3.选择RM角色的另外一台主机，master001 4.选择后点击确认 5.重启yarn的服务 6.点击完成即可。 7.完成后如下图。
HDFS NameNode 的健康关系整个集群是否能正常运行，生产为了集群的高可用必须开启HA。社区版需要手动修改配置文件进行开启。使用cloudera manager只需在界面根据向导执行即可。 1.点击hdfs组件的操作，选择启用启用 High Availability 2.输入nameservice名称，点击继续 4.选择namenode2的主机和journalnode的角色主机 5
一、查看hdfs的tmp文件夹是否存在 sudo su - hdfs hdfs dfs -ls / 发现hdfs的根目录下没有tmp文件夹 新建tmp文件夹 hdfs dfs -mkdir /tmp hdfs dfs -chmod -R 775 /tmp/ Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。 二、查
安装新集群的过程hive server2出现了红色告警，查看日志是hdfs的/tmp权限不够 解决方案：sudo su - hdfs hdfs dfs -chmod -R 775 /tmp 然后重启hive server2角色后问题解决。
wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.35-linux-glibc2.12-x86_64.tar
#!/bin/sh export ORACLE_BASE=/data/oracle export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1 export ORACLE_SID=orcl export PATH=$ORACLE_HOME/bin:/usr/sbin:$PATH export DATA_DIR=/home/oracle/investDat
什么是LNMP？就是Linux+Nginx+MySQL+PHP。 CentOS常用命令在我们的使用中经常被使用。所以对一些经常使用又很重要的CentOS常用命令进行了下面的收集。这里简单介绍这些CentOS常用命令。 一：使用CentOS常用命令查看cpumore/proc/cpuinfo|grep“modelname”grep“modelname”/proc/cpuinfo[root@loca
1. 有关Gentoo Linux的安装 1.a. 介绍 欢迎！ 首先，欢迎使用Gentoo Linux系统！你将进入选择和性能的世界中。Gentoo处处给用户提供选择。当安装Gentoo时，这点你会经常感受到。你可以选择自己编译多少软件，可以选择怎样安装Gentoo，可以选择使用什么系统日志程序等等。 Gentoo是一个快速和现代的半发行版，设计理念干净灵活。Gent
今天初始化CDH的scm的报权限拒绝，提示mysql的root账号被拒绝。 2.检测msyql数据库发现,root没有远程访问的权限 use mysql select user, host from user; 解决办法 ： grant all privileges on *.* to 'root'@'%' identified by 'root账号的密码' flush privileges;
今天早上来到公司，看了一下hue平台执行的时候，出现以下报错，然后我就去平台上查看日志，找了半天也没有找到，以为是spark的问题。 然后在去hive上去看日志，发现了报错如下（原来是与atlas集成的时候，把阿里的oss的jar也移了过来，因为hive设置辅助jar只能设置一个路径）： 查看了一下，无权限，然后去服务器上开通相关的权限 原因是因为这几个包是与aliyun的oss集成的包，hi
开启THP精髓是提高内存分配效率，减少CPU SYS开销。 1、首先检查THP的启用状态： [root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/defrag[always] madvise never[root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/enable
secondaryNamenode对namenode当中的fsimage和edits进行合并时，每次都会先将namenode的fsimage与edits文件拷贝一份过来，所以fsimage与edits文件在secondarNamendoe当中也会保存有一份，如果namenode的fsimage与edits文件损坏，那么我们可以将secondaryNamenode当中的fsimage与edits拷贝
一、hdfs配置： 进入hdfs---配置---搜：hdfs-site.xml 的 HDFS 服务高级配置代码段（安全阀） xml的配置hdfs以下信息： xml信息 <property> <name>dfs.client.failover.proxy.provider.offline</name> <value>org.apa
vim ~/.bash_profile 添加以下内容 alias sqlmap='Python /usr/local/sqlmap-dev/sqlmap.py'alias python='/Library/Frameworks/Python.framework/Versions/3.7/bin/python3' source ~/.bash_profile
https://maven.aliyun.com/mvn/search
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
