文章目录前提条件1 关闭防火墙&清空规则安装包说明3 JDK安装3.1 指定安装目录为/usr/java3.2配置环境变量4 安装配置个人环境变量5 部署5.1 添加本地信任5.2 配置文件5.2.1 core-site5.2.2 SNN5.2.3 DN5.4 配置文件部署5.4.15.3.2 mapred5.3.4 yarn5.5 启动hdfsyarn测试pihdfs启动bug 前提条
转载
2023-07-20 19:07:26
62阅读
简介 随着数据量的增大传统数据库已经不能支持所以需要将海量的数据迁移到hdfs上，而伴随着海量数据的迁移原有的业务也需要进行迁移。而hive提供了使用sql来操作大数据不一定非要求会写mapreduce，这样就降低了迁移难度。Hive是facebook公司开发在08年由其贡献给了apach基金会是had
最近刚接触大数据这块，从来没写过博客。就用大数据做为新的开始吧。一下为最近刚读完《Hive编程指南》这本书，本人整理的一些书中常用命令及简介。勿喷，谢谢。
1. 设置hive为本地模式，设置后hive主动使用该模式（小型数据、执行速度快）：
hive>set hive.exec.mode.local.auto=true
2. 当需要频繁使用hadoop dfs命令时，可为其设置别名：
$
转载
2023-08-21 17:16:32
339阅读
前言： Hive是一个基于Hadoop的数据仓库工具，以一种类SQL的HQL语句操作Hadoop数据仓库(HDFS等)。所以本地windows安装前需要先搭建Hadoop。前面文章已经大概介绍了环境搭建和踩坑汇总，所以这里也依旧只是介绍基础的安装方法。因为关于Hive的安装，网上其实有很多文章，这里更多的是小北在安装过程中的遇到的各种坑的汇总以
转载
2023-07-20 19:07:42
123阅读
－－－－－－－－－－－－－－hive常识－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－hive默认的是iso8859（latin1）[4] 下面内容来自[5]进入mysql中hive的元数据库hivemetastore 修改以下涉及注解comment的表和字段 表字段注解和表注解 alter table COLUMNS_V2 modify column COMMENT
MacOS Sierra 10.12.1 Hadoop 2.7.3 Hive 1.2.1前言本来安逸搞个local 的spark算了，但是过几天我还要搞个网易云音乐的大新闻，没有hive不得劲，遂装，期间遇到的问题，一一记录安装基础安装，先照这个来吧，反正肯定不会一次成功，科科，还可以自己百度，很多很多的@jeetpan–Mac 系统安装Hadoop 2.7.3问题这才是重点，坑Hadoop
转载
2024-08-02 11:09:12
135阅读
hive在centos7下的安装部署前提安装hivehadoop集群配置hive基本操作演示向hive中导入本地数据文件前提1、首先有自己的远程终端登录工具，我这里用的是mobaxterm，目前感觉这款工具比较强大，既可以实现终端操作，也可以实现sftp文件传输功能2、获取安装包hive-2.3.6版本Hive官网地址 http://hive.apache.org/文档查看地址 https://c
转载
2024-05-04 14:41:21
105阅读
现在很多用户都安装了最新的Win11系统，很多时候我们需要更新升级显卡驱动才能正常使用，那么win11怎么升级更新显卡驱动，我们一起来看看win11升级更新显卡驱动的方法吧。工具/原料：系统版本：win11专业版品牌型号：惠普ENVY 15-q001tx方法/步骤：方法一：从设备管理器进入升级更新驱动程序这种方法需要从设备管理器进入显示适配器操作更新，具体步骤如下：1、直接桌面底部搜索“设备管理器
转载
2023-01-11 17:56:44
595阅读
在进行高效的矿机管理与维护时，HiveOS作为一款针对矿工的操作系统，其安全配置非常重要。然而，有时在网络化的环境下，为了提升某些服务的可用性，需要关闭防火墙。本篇博文将探讨如何在HiveOS环境中安全地关闭防火墙，并提供详细的实施步骤与建议。
### 业务场景分析
在我们的操作环境中，HiveOS负责管理与监控多台矿机。我们发现当防火墙开启时，某些必要的网络通信受到了阻碍，影响了监控数据的实
一、Hive安装1. 官网下载hive安装包并解压；2. 修改环境变量vim ~/.bash_profile
export HIVE_HOME=
export PATH=$PATH:$HIVE_HOME/bin
source ~/.bash_profile3. 执行hive --version4. 配置hive-env.shcp $HIVE_HOME/conf/hive-env.sh
转载
2023-07-12 21:37:55
228阅读
硬盘在Windows上是必不可少的，因为它存储操作系统数据和用户数据，但硬盘不会永远健康不出问题，硬盘故障很容易导致各种问题，如果备份不可用(或损坏)会导致数据丢失。查找硬盘信息时，Windows PowerShell的功能非常强大。虽然用户可以直接在Windows磁盘管理中或通过使用第三方程序(例如Hard Disk Validator、Disk Checkup或DiskBoss)来查找某些信息
转载
2023-12-02 22:16:13
444阅读
Hive安装部署一.Hive的安装1、下载apache-hive-2.3.0-bin.tar.gz可以自行下载其他版本：http://mirror.bit.edu.cn/apache/hive/2.3.0版本链接：https://pan.baidu.com/s/18NNVdfOeuQzhnOHVcFpnSw 提取码：xc2u2、用xshell或者其他连接软件将安装包传输到虚拟机/tools 文件夹
转载
2024-01-04 11:32:23
646阅读
我最近研究了hive的相关技术，有点心得，这里和大家分享下。 首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性： 1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统
转载
2023-07-12 21:37:34
251阅读
说到画流程图，很多人第一反应是MS Visio。对于公司来讲，这确为较好的选择。但对个人偶尔应用、对于较简单的流程图，恐怕支付1000元/标准版或4000元/专业版的价格，远非良策。此时，不妨试一下免费/开源软件，或在线应用，来作为Visio的替代方案。一、免费流程图软件 以下免费软件可以用来绘制流程图。介绍顺序基本按照“体积从小到大”：EVE、Diagram Designer、Dia、ED
转载
2023-12-23 23:16:22
32阅读
HiveOS 是一个用于管理和监控各种矿机的操作系统，其 IP 地址管理对于确保矿机的正常运行至关重要。在使用 HiveOS 过程中，用户可能会遇到 IP 分配或连接的问题。本文将详细记录解决“hiveos ip”问题的全过程，包括备份策略、恢复流程、灾难场景、工具链集成、案例分析以及监控告警。
## 备份策略
为了确保 HiveOS 配置和关键数据的安全性，我们需要实现一个有效的备份策略。以下
Hive的文件存储格式包括：textfile, sequencefile, rcfile, orc, parquet textfile 默认的文件格式，行存储。建表时不指定存储格式即为textfile，导入数据时把数据文件拷贝至hdfs不进行处理。 优点：最简单的数据格式，便于和其他工具（Pig, grep, sed, awk）共享数据，便于查看和编辑；加载较快。
说明：本文的源码分析基于hive-0.10.0-cdh4.3.0。启动脚本从shell脚本/usr/lib/hive/bin/ext/cli.sh可以看到hive cli的入口类为org.apache.hadoop.hive.cli.CliDriver cli () {
CLASS=org.apache.hadoop.hive.cli.CliDriver
execHiveCmd $C
HIVE 基本概念Hive 简介什么是Hivehive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。为什么用Hive难点：学习成本太高；项目周期要求太短；MapReduce实现复杂逻辑开发难度大；优势：接口采用类SQL语法，提供快速开发能力；不需要写MapReduce，减少学习成本；功能扩展方便；Hive 特点可扩展： Hive可以自由的
转载
2024-09-08 07:16:30
65阅读
Hive面试题（约3.3w字） 说下为什么要使用Hive?Hive的优缺点?Hive的作用是什么?Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，
如MapR-FS、Amazon的S3和像HBase（Hadoop数据仓库）和Cassandra这样的数据库中的
转载
2023-12-22 20:04:42
81阅读
文章目录前言一、环境搭建主要步骤1.1 主要步骤1.2 解压文件1.3 文件改名以及warehouse的创建1.4 配置hive-site.xml1.5 拷贝mysql驱动1.6 配置环境变量1.7 Hive初始化1.8 启动hive1.9 关闭进程二、安装流程文档 前言什么是Hive？ Hive是基于Hadoop的数据仓库解决方案Hive的优缺点： 优点： ①、统一的元数据管理 Hive的元数
转载
2023-08-18 23:19:02
1574阅读
