注意：安装mysql使用的是root，所以，需要将Hadoop的工作用户XXX_user添加到root组，否则hive初始化失败：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to getschema version.Caused by: java.sql.SQLException: Access denied for use
转载
2024-05-21 15:48:28
116阅读
# Hadoop日志默认路径详解
Hadoop是一个处理大数据的开源框架，而日志则是我们监控和维护Hadoop集群的重要工具。本文将介绍Hadoop的日志默认路径，解释如何配置日志路径，并给出一些代码示例，以帮助读者更好地理解。
## 一、Hadoop日志的基本概念
在Hadoop生态系统中，日志通常用于记录系统运行状态、错误信息等重要事件。Hadoop日志由不同的组件生成，这些组件包括HD
原创
2024-09-01 06:09:20
262阅读
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢1文档编写目的Fayson为了方便接下来从HDP迁移到CDH的工作，这里先补充一篇如何禁用HDP的HDFS的HA，从HDP原地迁移到CDH，如果你的原HDP集群有HA的话
前言新装好的Centos系统，迫不及待地准备给yum换个国内源，想着速度能快点，于是搜了搜网上的教程，发现大家都是这样做的：将默认yum源文件进行备份通过wget下载新的源运行yum makecache生成缓存更新yum系统信息开始踩坑！教程看着很简单的样子~于是兴致勃勃地照着教程说干就干！源文件备份 ------> OKwget下载新源 -----> 失败，提示：wget not f
转载
2024-08-05 22:24:21
61阅读
配额：
目录配额：hdfs dfsadmin -setQuota
空间配额：hdfs dfsadmin -setSpaceQuota 块大小x副本数
快照：
和Linux的硬链接类似，作为数据块的引用
原文件发生改变，快照不会改变
回收站：
core-site.xml
hdfs dfs -expunge
序列化
序列化是将结构化
转载
2024-09-04 22:27:06
30阅读
python 安装包的默认路径与更改 每次总是用pip去安装包,但是有的时候电脑里有多个python安装包,不知道安装包安装在了哪里：安装包命令如下: pip install numpy； 2.如何查看安装包的位置 python -m site ； 3.显示出来的结果如下:C:\Users\siyaopeng>python -m site sys.path = [ ‘C:\Users\si
转载
2023-07-01 11:21:08
282阅读
1.MSCK REPAIR TABLE 一般用法MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 我们都知道hive服务中有一个叫hive metastore的服务，这个服务主要是存储一些meta元数据信息，比如数据库名，表名或者表的分区等等信息。如果不是通过hive的insert等插入语
转载
2023-08-23 18:56:50
84阅读
鲁春利的工作笔记，谁说程序员不能有文艺范？
Hive默认只有一个数据库default，并且
默认的文件存储
路径由配置文件
hive-default.xml文件指定。 <property>
<name>
hive.metastore.warehouse.dir</name>
<value>/user/
hive/warehouse</v
转载
2023-07-14 10:51:59
103阅读
Hive中数据库的操作·查看数据库列表hive(default)> show databases;·选择数据库hive(default)> use default;default是默认数据库，默认就在这个库里面 hive的数据都是存储在hdfs上，那这里的default数据库在HDFS上是如何体现的？在hive-site.xml中有一个参数hive.metastore.warehous
转载
2023-07-20 21:27:38
314阅读
Hive是一个构建在hadoop上的数据仓库框架，其目的是让精通SQL但Java编程技能相对较弱的分析师能够对存放在HDFS中的大规模数据进行执行查询。Hive安装：下载地址:http://hive.apache.org/downloads.htmlHive配置：⑴使用XML配置文件进行设置，配置文件为conf目录下的hive-site.xml，该目录下还有hive-default.xml配置文件
转载
2023-07-12 22:27:37
197阅读
# Yarn 默认路径详解
在现代的前端开发中，Yarn 已成为一种流行的包管理工具。它相比于 npm 提供了更快的安装速度和更好的依赖管理，而如何合理配置 Yarn 的默认路径是许多开发者面临的一个问题。本文将带您深入了解 Yarn 默认路径的概念、用法及相关操作，并配以相应的代码示例，帮助您在日常开发中更加高效地使用 Yarn。
## 什么是 Yarn 默认路径
Yarn 的默认路径指的
原创
2024-09-17 04:54:13
66阅读
在 Linux 操作系统中，红帽是一种常用的 Linux 发行版。Linux 的默认路径在红帽系统中有着特定的规定和约定。这些默认路径不仅直观地指导用户定位文件和程序，也有助于系统管理员管理文件和运行程序。本文将介绍一些关于 Linux 默认路径的知识，帮助读者更好地理解红帽系统的文件系统结构。
在 Linux 系统中，文件系统是一个层次化的结构，类似于树的形式。根目录（/）是整个文件系统的起点
原创
2024-02-23 10:44:03
206阅读
##################### Elasticsearch Configuration Example #####################
#
# 只是挑些重要的配置选项进行注释,其实自带的已经有非常细致的英文注释了!
# https://www.elastic.co/guide/en/elasticsearch/reference/current/modules.html
# 解决Hive读不到默认路径下的数据问题
在使用Hive进行数据分析时，经常会遇到读取数据的问题。有时候我们可能会发现Hive无法读取默认路径下的数据，这时候就需要进行一些调整来解决这个问题。本文将介绍如何解决Hive读不到默认路径下的数据的方法，并提供代码示例进行演示。
## 问题描述
当我们在Hive中创建表并加载数据时，通常会使用默认的路径来存储数据。但是有时候会出现Hive无法读取
原创
2024-05-25 04:10:03
101阅读
HDFS的默认目录在 /user/usernameHDFS的开放端口在core-site.xml这个配置文件中指定, 一般为9000或8020, data node 的数据存放本地目录也在该文件中, hadoop.tmp.dir配置项中当你执行命令时不指定目录时, 一般命令都会在这个目录下执行所以在HDFS里没有 cd 和 pwd 这样的命令. Hadoop fs命令:hado
转载
2024-03-11 07:42:45
174阅读
hive数据库在hdfs默认路径的描述
在大数据处理环境中，Apache Hive作为一个重要的数仓工具，依赖Hadoop的HDFS作为其底层存储。此时，Hive数据库的默认路径配置至关重要，尤其是在多个用户和应用同时操作HDFS时，可能会导致路径混乱、数据丢失等问题。本篇文章将深入探讨如何解决“Hive数据库在HDFS默认路径”问题，从多个维度分析和调试，以提高系统的健壮性和性能。
## 背
我们应该知道 Windows 有一个默认的安装目录专门用来安装软件。Linux 的软件安装目录也应该是有讲究的，遵循这一点，对后期的管理和维护也是有帮助的。/usr 系统级的目录，可以理解为 C:/Windows/ ， /usr/lib 可理解为 C:/Windows/System32 。/usr/local 用户级的
转载
2023-12-25 09:26:16
112阅读
一、安装SVN默认安装到/usr/local/bin下面 二、创建仓库 svnadmin create /home/svnrepo /root/svnrepo为所创建仓库的路径，理论上可以是任何目录 三、修改配置文件/home/svnrepo/conf/svnserve.conf 代码#去掉#[general]前面的#号
[general]
#匿名访问的权限，可以是read,write,n
转载
2024-05-09 19:10:00
1010阅读
VirtualBox更改默认路径
转载
精选
2016-02-03 10:26:12
2809阅读
安装完成后，有如下相关目录：（1）/usr/lib/jenkins/：jenkins安装目录，WAR包会放在这里。( 2 ) /etc/sysconfig/jenkins：jenkins配置文件，“端口”，“JENKINS_HOME”等都可以在这里配置。（3）/var/lib/jenkins/：默认
转载
2017-06-10 12:00:00
423阅读
2评论
