两个hera集群开启Kerberos验证后，集群间不能够相互访问，需要实现Kerberos之间的互信，使用hera集群A的客户端访问hera集群B的服务（实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务）。先决条件：1）两个集群hera.com和yoga.com均开启Kerberos认证2）Kerberos的REALM分别设置为hera.com和yoga.c
1、在主KDC服务器上安装所需的Kerberos软件包并修改相应的配置文件yum -y install krb5-server krb5-auth-dialog krb5-workstation krb5-devel krb5-libs
背景最近在帮公司下线离线计算集群的机器，逐台decomiss，下到第四台机器时，cdh告警来了，丢失块大于集群的1%，算了一下集群有400多台，下线一台不应该告警，以为下线步骤有问题，点了中止下线，后来看了下其实步骤是没问题的，由于下线的机器配置比较好，所以确实这台机器上存储了集群1%以上的block，于是终止了datanode的decomission，但是集群还是出现了14个missingblo
ref:https://www.cnblogs.com/Skyar/p/5862261.htmlhttps://www.cnblogs.com/liupengpengg/p/7849914.html
如下图所示，从逻辑上来看，Hive包含了3大部分。HiveClientsHiveServicesHiveStorageandComputing用户操作Hive的接口主要有三个：CLI，Client和WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至HiveServer。在启动Client模式的时候，需要指出HiveServer所在
一、概要在Ambari页面启用Kerberos向导成功后，在Kerberos数据库中，就存放着许多Principal，在/etc/security/keytabs目录下也存放着很多keytab。这些principal与keytab是一一对应的，可以理解为锁与钥匙的关系。如果使用各服务的话，就需要进行Kerberos认证了。准确的说，是开启了kerberos认证的组件都必须先kinit后才可以使用，
在hue中使用sentry授权
1.安装python3.5.7wgethttps://www.python.org/ftp/python/3.5.7/Python-3.5.7.tgztar-zxvfPython-3.5.7.tgzcdPython-3.5.7./configure--prefix=/usr/local/python-3.5.7makemakeinstallln/usr/local/python-3.5.7/bin
cdh5升级cdh6
Yun2集群上Ambari+HDP安装1.安装环境说明：系统版本：CentOS7安装版本：Ambari版本:2.2.2.0HDP版本:2.4.2.0集群机器：AmbariServer:yun2AmbariAgent:yun3,yun4,yun6,yun18,yun19,yun20,yun212.操作系统环境准备2.1配置SSH免密码登录主节点里root用户登录执行如下步骤：ssh-keygen–t
说明这篇文章是来自HadoopHiveUDAFTutorial-ExtendingHivewithAggregationFunctions：的不严格翻译，因为翻译的文章示例写得比较通俗易懂，此外，我把自己对于Hive的UDAF理解穿插到文章里面。udfa是Hive中用户自定义的聚集函数，hive内置UDAF函数包括有sum()与count（），UDAF实现有简单与通用两种方式，简单UDAF因为使用
cdh版本：5.14主要参照官方文档：https://www.cloudera.com/documentation/enterprise/5-14-x/topics/sentry.html一.部署sentry服务1.配置：官方建议将hivemetastore的heapsize至少设为10GB：SettheHMSheapsizetoatleast10GB.Thisisrequiredbecauseb
hive+impala+hue+sentry+ldap整合，hadoop鉴权
cdh集成ranger
网上说的reloadmetadata的方法根本没有用，这个是zookeeper上面已经存在/kylin的节点所致，这个节点有问题导致没有数据，又无法创建新的节点，删除zookeeper下/kylin的节点就可以了明明是zk的问题报了个hive的错，尼玛kylin是真坑啊
curl -u admin:admin -H "X-Requested-By: ambari" -X DELETE http://yun2:8080/api/v1/clusters/HY_HDP2/hosts/yun3/host_components/DATANODE其中：yun2是ambari-server的host地址HY_HDP2是集群的名称就是这个东东yun3是要删除服务所在的
最近公司因为断电之前没有关闭Hadoop集群，造成数据丢失，namenode坏了，无法启动，所以我尝试恢复。方法一：使用hadoop namenode -importCheckpoint 1、删除name目录：1 [hadoop@node1 hdfs]$ rm -rf name
今天提交storm任务上集群的时候出现了这个异常：storm.kafka.UpdateOffsetExceptionjava.lang.RuntimeException: storm.kafka.UpdateOffsetException at backtype.storm.utils.DisruptorQueue.consumeBatchToCursor(DisruptorQueue.java:
这两天公司要学习kafka，结合之前的storm，做了一个简单的集成，之前也参考了网上的例子一些例子，发现或多或少都有一些问题。所以自己做了一个。 这个是网上其他人遇到的问题，给摘录一下，防止以后自己和大家出现：基本场景是应用出现错误，发送日志到kafka的某个topic，storm订阅该topic，然后
本文环境如下：操作系统：CentOS 6 32位Hive版本：2.0.0JDK版本：1.8.0_77 32位Hadoop版本：2.6.41. 所需要的环境Hive 2.0需要以下运行环境：Java 1.7以上（强烈建议使用Java 1.8）Hadoop 2.X2. 下载、解压Hive安装包Hive官网地址: http://hive.apache.org/例如：wget "http://mirror
1.需求安装ZooKeeper,metaQ2.下载http://zookeeper.apache.org/releases.html当前stable版是zookeeper-3.4.63.解压tar –xf zookeeper-3.4.6.tar.gz解压文件到"/usr/local/zookeeper-3.4.6".4.复制conf目录下的zoo_sample.cfg,并命名为zoo.cfg5.修
首先要安装zookeeper 安装zeromq以及jzmqjzmp的安装貌似是依赖zeromq的，所以应该先装zeromq，再装jzmq。1、安装zeromq： jzmq dependencies 依赖包sudo yum install uuid*sudo yum install libtoolsudo yum install libuuid sudo yum ins
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
