1安装JDK请参照jdk的安装步骤。2安装Hadoop请参照hadoop安装步骤。3下载Hive下载地址：http://mirrors.tuna.tsinghua.edu.cn/apache/hive/在该地址下载稳定版本的hive，我下载的版本是：apache-hive-2.1.1-bin.tar.gz将下载的hive安装包上传到服务器上的~/Downloads目录下。4安装Hive4.1解压h
原创
2019-05-04 11:17:17
1337阅读
# Hudi编译CDH Hive 2.1.1指南
作为一名经验丰富的开发者，我将帮助你学习如何实现"Hudi编译CDH Hive 2.1.1"。下面是整个流程的步骤表格：
| 步骤 | 说明 |
| --- | --- |
| 步骤1 | 下载Hudi源代码 |
| 步骤2 | 配置编译环境 |
| 步骤3 | 编译Hudi |
| 步骤4 | 安装CDH Hive 2.1.1 |
| 步骤5
原创
2023-08-16 04:18:03
230阅读
转：://blog.csdn.net/zhongguozhichuang/article/details/52702476一、Hive 运行模式与 Hadoop 类似，Hive 也有 3 种运行模式：1. 内嵌模式将元数据保存在本地内嵌的 Derby 数据库中，这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby
转载
2022-04-13 13:46:06
528阅读
我用的hadoop 是2.6.0 版本 ，hive 是 2.1.1版本进入；/home/zkpk/apache-hive-2.1.1-bin/执行hive 后报错： （1）Exception in thread "main" java.lang.RuntimeException: org.apach
转载
2017-03-25 11:26:00
151阅读
2评论
安装hive 之前，要保证hadoop安装成功，本教程对应的是hadoop版本为2.6.4,hive 版本为 2.1.1，默认情况下，Hive
转载
2023-04-28 21:01:46
155阅读
Spark 是一款开源的大数据处理框架，由于其高性能和易用性，成为了数据科学家和工程师在大数据处理中的首选工具。本文将介绍如何从 Spark 的官方网站下载和安装 Spark，以及如何使用 Spark 进行基本的数据处理操作。
## Spark 的下载和安装
要下载 Spark，请访问官方网站 [Spark Downloads]( 页面。在该页面中，你会看到多个版本和包含的功能。我们选择 "s
原创
2023-08-27 12:20:31
534阅读
# 在Windows上下载Spark 2.1.1二进制文件
Apache Spark是一个快速的、分布式的大数据处理框架，它提供了丰富的API和工具，使得在大规模数据集上进行数据处理和分析变得更加容易。本文将介绍如何在Windows操作系统上下载并安装Spark 2.1.1二进制文件。
## 准备工作
在下载Spark 2.1.1之前，你需要准备以下工作：
1. 一个运行Windows操作
原创
2023-08-24 08:22:06
311阅读
Tar大量数据打包-bash: /bin/tar: Argument list too long
原创
2018-03-16 17:01:27
10000+阅读
点赞
1评论
一、运行速度方面： Spark把中间数据放到内存中，迭代运算效率高。 Hadoop MapReduce将计算结果保存到磁盘上，这样会影响整体速度，而Spark支持DAG图的分布式并行计算的编程框架，减少了迭代过程中数据的落地，提高了处理效率。二、容错方面： Spark引进了弹性分布式数据集RDD 的概念，它是分布在一组节点中的只读对象集合，这些集合是弹性的，如果数据集一部分丢失，则
转载
2023-07-18 22:35:11
29阅读
环境说明 操作系统：centos7 CDH版本：6.3.2 hive 版
原创
2022-06-17 22:27:33
1423阅读
Facebook曾在2010 ICDE（IEEE International Conference on Data Engineering）会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中，提供了一套类数据库的数据存储和处理机制。它采用类SQL语言对数据进行自动化管理和处理，经过语句解析和转换，最终生成基于Had
转载
2023-07-07 13:02:23
142阅读
tar、tar.gz、tar.Z、tgz、bz2、bin软件包的安装
转载
2010-03-12 11:33:47
1292阅读
原生类型
原生类型包括TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY (Hive 0.8.0以上才可用),TIMESTAMP (Hive 0.8.0以上才可用)，这些数据加载很容易，只要设置好列分隔符，按照列分隔符输出到文件就可以了。
假设有这么一张用户登陆表
CREATE TABLElogin (
uidBIGINT,
转载
2023-07-20 20:47:30
87阅读
# 如何安装sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz
## 流程概述
在开始安装sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz之前，你需要确保已经安装了Hadoop，并且Hadoop已经在运行。整个安装过程可以分为以下几个步骤：
1. 下载sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.
原创
2023-07-21 10:23:02
382阅读
APKTool是一个用于反编译和重新打包Android应用程序的工具。最新版本APKTool 2.1.1为Linux操作系统带来了更多强大的功能和改进，让用户能够更轻松地处理APK文件。
在使用APKTool 2.1.1 for Linux之前，我们首先需要了解一些基本概念。APK是Android Package的缩写，是Android应用程序的安装文件。反编译(APK Decompilatio
原创
2024-04-17 11:46:38
74阅读
# Hive Transform—如何使用Python tar包
在大数据处理的场景中，Hive作为一种数据仓库工具，为存储和查询大规模数据提供了便利。而在数据转换（Transform）环节中，Python作为一种流行的编程语言，拥有丰富的库和工具。本文将介绍如何结合Hive与Python，利用Python的tar包对Hive中的数据进行转换。
## 什么是Hive和Python tar包？
# 下载Hive3 Windows Bin
在进行大数据处理时，Hive是一个非常重要的组件，它可以让用户通过类似SQL的查询语言来操作大数据。Hive3是Hive的最新版本，它带来了许多改进和新功能。在Windows操作系统上安装Hive3的bin文件是一种常见的做法，下面我们就来介绍如何下载Hive3的Windows bin文件。
## 下载Hive3 Windows Bin
首先，我们
原创
2024-03-20 03:59:28
67阅读
# Java在MacOS上的安装及使用指南
## 1. 引言
Java是一种跨平台的编程语言和计算机平台，广泛应用于各种应用程序开发中。在MacOS上安装和使用Java非常简单，本文将提供详细的步骤和示例代码，帮助读者快速上手。
## 2. 安装Java
Java有两个常见的发行版本，分别是JDK（Java Development Kit）和JRE（Java Runtime Environ
原创
2023-09-08 12:05:37
1599阅读
参考文章：官方文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-CreateTableCreate/Drop/TruncateTable首先引入什么是DDL、DML、DCL：DDL（data manipulation language）它们是SELECT、UPDATE、I
转载
2023-11-01 11:57:36
129阅读
