报错的原因是：Hive没有足够的权限来在HDFS上创建数据库目录。默认情况下，Hive使用当前用户的身份来执行操作，因此需要确保当前用户（在这种情况下为“root”）具有在HDFS上创建目录的权限，或者进入 hdfs 用户进行操作
（1）用如下命令创建数据库：#查看 hive 是否有 /user 目录的权限
[root@hadoop105 hive_db]# hdfs dfs -ls /
本文旨在简单介绍Hive、Spark、Hadoop等在企业中的关系和使用场景。一、几个概念辨析大数据两个流程：离线数据的处理；实时流数据的处理；几个区分：Hive(数据仓库工具)、Scala(一种编程语言)、Spark(为大规模数据处理而设计的快速通用的计算引擎)、Hadoop(分布式系统基础架构)；一个集成方案：hadoop+spark+hive+mysql;hadoop提供HDF
转载
2024-06-18 08:03:57
23阅读
# CDH Hive集成LDAP指南
在这篇文章中，我们将详细探讨如何在CDH Hive中集成LDAP（轻量级目录访问协议）。本文旨在为刚入行的小白提供明确的步骤指引。
## 流程概述
在开始之前，本文为你准备了一个流程表，帮助你更好地理解整个集成的步骤：
| 步骤 | 任务描述 |
| -----------
原创
2024-10-12 04:26:00
86阅读
大家好，我是小轩最近比较忙，想整理的比较多，从这篇开始吧！如果需要可以关注。硬件配置需求1、所需硬件服务器（台式机）4台路由器1台，千兆。显示器1台键盘鼠标1套网线5条接线板1个2、服务器硬件配置内存：16GCPU：4核硬盘：500Gb网卡：千兆网卡1个USB接口：可使用3、操作系统1台Windows 103台Linux Centos 74、软件配置所需软件：window 10，centos 7，
转载
2024-04-17 20:39:40
170阅读
1.电商用户画像环境搭建(SparkSql整合hive）
Hive 的执行任务是将 hql 语句转化为 MapReduce 来计算的，Hive 的整体解决方案很不错，但是从查询提交到结果返回需要相当长的时间，查询耗时太长。
这个主要原因就是由于Hive原生是基于MapReduce的，那么如果我们不生成MapReduceJob，而是生成 Spark Job，就可以充分利用 Spark
转载
2024-07-31 19:06:52
0阅读
# 如何在CDH中通过Hive和LDAP增加用户
## 一、流程概述
在CDH中通过Hive和LDAP增加用户可以分为以下几个步骤：
```mermaid
journey
title Adding User in CDH with Hive and LDAP
section 创建用户
开发者 -> 小白: 解释整体流程
小白 -> 开发者: 确
原创
2024-06-23 03:41:04
75阅读
背景现在我们公司有一些数据分析的场景，主要实现方式通过impala实现在线分析，现在接入我们cdh大数据平台的日志有很多，数据接入流程很简单，业务方所有的数据都发送至kafkak总线，flume二次开发，支持写入parquet格式数据，通过flume写入hdfs，db库数据通过dataX写入hdfs，格式为orc格式，这两种格式在压缩，和在线分析都有不错的性能提升。在线分析场景，由于各个业务方只希
hive启动方式，常用命令及数据类型启动hive启动方式有两种，一种时普通的客户端，另一种是jdbc协议的客户端普通客户端# 前提启动hadoop集群
[atguigu@hadoop102 bin]$ hive
xxx
hive> show databases;
OK
default
Time taken: 0.844 seconds, Fetched: 1 row(s)jdbc协议的客户端
转载
2023-07-09 11:49:14
236阅读
CDH 这里目录标题CDH1、 平台介绍1.2. CDH提供2、CDH结构图3、 Cloudera Manager3.1. CloudraManager技术构成3.2. CM 功能5、CDH 6.3.2 安装部署5.1. 环境准备5.1.1. 虚拟机前置配置5.1.2. 虚拟机新增配置5.1.3. Mysql数据库5.1.4. 上传安装包5.1.5. 安装Httpd5.1.6. 制作本地Yum源5
前言这篇文章参考了hadoop 实操大佬的文章，如何在CDH平台上集成SNMP服务，然后实现了CDP集群集成SNMP服务。在CDP集群中告警是一个很重要的信息，最直观的衡量一个集群的健康状况，那么我们如何来管理集群的告警信息？通过Cloudera Manager来管理的CDP集群，提供了多种告警管理方式（如：邮件、SNMP及自定义告警脚本）,本篇文章主要介绍如何通过Cloudera Manager
转载
2024-09-05 16:12:42
53阅读
cdh kerberos
原创
2021-03-24 14:39:38
886阅读
# 在 CDH 中启用 Spark 的科普指南
Cloudera's Distribution for Hadoop (CDH) 是一个流行的大数据平台，它集成了多个组件，以支持大规模数据处理和分析。其中，Apache Spark 是一个快速通用的大数据处理引擎，以其高效的内存计算能力和灵活的 API 受到开发人员的广泛欢迎。本文将详细介绍如何在 CDH 中启用 Spark，并提供相应的代码示例
原创
2024-09-23 06:36:48
13阅读
以下统一以root用户操作，机器环境视为准备好（防火墙，时间等）一、LDAP服务安装1.yum 安装相关包yum install -y openldap openldap-clients openldap-servers2.复制一个默认配置到指定目录下,并授权，这一步一定要做，然后再启动服务，不然生产密码时会报错cp /usr/share/openldap-servers/DB_CONFIG.e
转载
2024-05-05 21:34:42
141阅读
搭建环境多台linux主机搭建集群+CDH 6.3.2 (Parcel)版本+dolphinscheduler 1.3.2版本本流程在CDH已搭建完成并可正常使用后，开启kerberos功能dolphinscheduler用于大数据任务管理与执行，是很不错的任务调度平台，是否提前部署均可开启kerberos目的：用于用户权限管理与安全认证，在开启kerberos之前的安全防护主要采取开启防火墙的方
转载
2024-08-20 10:17:59
135阅读
CDH集群安装步骤参考文章安装前准备配置网络名称禁用防火墙设置SELinux模式启用NTP服务配置集群ssh免密登录安装安装jdk安装服务和配置TLS安装服务配置TLS安装并配置MySQL安装MySQL配置MySQL初始化数据库，启动服务初始化数据库启动服务 主要记录CDH安装过程，以及遇到的问题和解决方案。 未完待续 参考文章官网：https://docs.cloudera.com/docu
转载
2024-08-22 20:04:27
55阅读
一、简介hive是基于hadoop的一种数据仓库工具，可以将结构化的文件映射成为数据库的一张表，并提供简单sql查询功能，底层实现是转化为MapReduce任务计算。二、安装（1）下载从cdh下载页下载http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.11.1.tar.gz下载好后上传至服务器的/home/hadoop/software，
转载
2023-07-08 15:58:15
123阅读
关于CDH和Cloudera ManagerCDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的
转载
2023-08-03 14:48:42
309阅读
Hive JDBC连接hive（2.1.1）（java）
转载
2023-05-21 15:06:58
163阅读
1.背景Hive是建立在Hadoop之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统，Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce。Hive可以理解为一个客户端工具，将我们的sql操作转换为相应的MapReduce jobs，然后在Hadoop上面运行。 HBase全称为Hadoop Database，即HBase是Hadoop的数据库，是一个分布
转载
2023-08-28 13:32:08
122阅读
1.文档编写目的本文档主要讲述如何在启用Kerberos的CDH集群中安装配置及使用Sentry。内容概述1.如何安装Sentry服务2.Hive/Impala/Hue/HDFS服务如何与Sentry集成3.Sentry测试测试环境1.操作系统为CentOS6.52.CM和CDH版本为5.11.13.采用root用户操作前置条件1.CDH集群运行正常2.集群已启用Kerberos且正常使用2.Se
