之前转载了一篇<Hive - 数据仓库的性能优化>。博主总结的很不错。这里本人将自己平时积累的资料汇总了一下，来补充一下这篇文章：针对方法上篇的优化方法1,2,3 主要建立在 Hive 触发了一个 MapReduce Job。但是我们都知道，启用 MapReduce Job 会消耗系统开销的(从我这篇博文 Hive_4.DDL -- 数据库&内部表&外部表&n
部署hdp单节点集群（1）部署Agent1) 注册并安装agenthttp://192.168.80.144:8080/views/ADMIN_VIEW/2.2.1.0/INSTANCE/#/ 2）为集群取个名字，我这里，就直接取为hdpCluster，然后点击nexthttp://192.168.80.144:8080/#/installer/step0&nbs
这个“ Hadoop 3.0的新功能 ”博客着重介绍了Hadoop 3预期中的更改，因为它仍处于Alpha阶段。Apache社区已合并了许多更改，并且仍在进行某些更改。因此，我们将更广泛地看待预期的变化。我们将讨论的主要变化是：Hadoop 3中要求的最低Java版本为8 支持HDFS中的纠删编码YARN时间轴服务v.2Shell脚本重写带阴影的客户罐支持机会容器Ma
一、准备工作：基本工具
yum
rpm
scp
curl
wget
pdsh
前几个一般系统都自带了，pdsh需要自己装
[plain]
view plain
copy
yum install&
package org.bigdata508.util;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.io.StringRead
废话不多说，直接上干货！1.先看一下python本机默认安装位置在哪？可输入如下命令 得到此图这里的USER_BASE 和USER_SITE其实就是用户自定义的启用Python脚本和依赖安装包安装的基础路径不要惊讶，为啥我的会有D盘，因为我是改过的啊，铁子。。。要想更改的话，你要知道我们一般下载都是用的 pip install ,也就是会运行一个脚本文件来
转载
2023-07-06 15:30:49
525阅读
## Python默认保存位置设置教程
作为一名经验丰富的开发者，我将为你详细解释如何实现Python的默认保存位置设置。在这个教程中，我将讲解整个过程，并提供每一步所需的代码和注释。希望这篇文章能帮助你理解并完成这个任务。
### 整体流程
下面是实现Python默认保存位置设置的整体流程，我将使用表格形式展示每个步骤。
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1
原创
2023-11-02 05:53:22
48阅读
内容： 1.Hive On Spark内幕 2.Hive on Spark实战一、Hive On Spark内幕 1.Hive on spark 是hive 的一个子项目，它是指不通过mapReduce 作为唯一的查询引擎，而是将spark 作为底层的查询引擎。hive on spark
转载
2023-06-26 14:48:33
264阅读
简介： Hive是大数据领域常用的组件之一，主要用于大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解。创建一个普通的表create table
1. 准备工作1.1. 系统环境主机列表：IP地址HostName描述192.168.610.153ambari.serverAmbari服务器192.168.10.152 hadoop.namenodeHadoop NameNode服务器192.168.10.151hadoop.datanodeoneHadoop DataNode服务器192.168.10.147 hadoo
Ambari-2.7.3环境搭建工作环境：CentOS7 工作时间：2019/2/26-2019/3/2 安装路径：/opt/ambari/ Ambari简介：The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing
## Docker 镜像默认保存位置的实现
### 引言
在使用 Docker 进行开发、部署和运维的过程中，我们经常需要保存和共享 Docker 镜像。Docker 镜像是 Docker 容器的基础，它包含了运行容器所需的完整文件系统。
在默认情况下，Docker 镜像是保存在 Docker 数据目录中的，而 Docker 数据目录的位置是由 Docker 配置文件决定的。本文将介绍如何修
原创
2023-11-01 07:57:35
27阅读
# 如何实现SQL Server默认保存位置
作为一名经验丰富的开发者，我将指导你如何设置SQL Server的默认保存位置。在这篇文章中，我将详细介绍整个过程，并为每一步提供相应的代码和解释。
## 流程图
```mermaid
erDiagram
USER ||--o| SQL_SERVER : 设置默认保存位置
```
## 步骤
下表展示了设置SQL Server默认保存
# Python scv 默认保存位置设置
## 概述
在使用Python处理CSV文件时，默认情况下，文件会保存在当前工作目录下。然而，有时我们需要将文件保存在其他目录中。本文将向你介绍如何通过Python代码来设置CSV文件的默认保存位置。
## 流程
下面是整个过程的步骤概述：
| 步骤 | 描述 |
| :---: | :--- |
| 步骤1 | 导入所需的Python模块 |
|
原创
2023-10-08 08:10:40
324阅读
# 实现Ambari Hive on Spark的步骤
## 导言
Ambari是一款用于管理Hadoop集群的工具，而Hive是一款用于处理大规模结构化数据的数据仓库工具，Spark是一款用于大规模数据处理的快速通用计算引擎。将Hive与Spark结合使用，可以提高数据处理的效率和性能。本文将介绍如何在Ambari上配置Hive on Spark，并给出每一步的具体操作和代码示例。
## 1
原创
2023-10-22 11:15:09
252阅读
# Ambari Hive 安装
在大数据领域中，Hive是一个基于Hadoop的数据仓库工具，用于处理大规模数据集。Ambari是Apache Hadoop的一部分，是一个开源的集群管理系统，用于简化Hadoop集群的部署和管理。本文将介绍如何在Ambari上安装Hive，以便在Hadoop集群中使用。
## 环境准备
在开始安装之前，确保已经完成以下准备工作：
1. 安装好Hadoop
原创
2023-09-06 14:13:36
113阅读
# 如何在Hive中修改默认时区
## 一、整体流程
下面是在Hive中修改默认时区的整体流程：
```mermaid
erDiagram
CUSTOMER ||--o| ORDERS : has
ORDERS ||--|| ORDER_DETAILS : includes
```
## 二、具体步骤
### 1. 查看当前时区设置
首先需要查看当前Hive的时区设置，
1.环境要求1.1系统要求： 支持64为操作系统，版本如下： Red Hat Enterprise Linux (RHEL) v7.xRed Hat Enterprise Linux (RHEL) v6.xCentOS v7.xCentOS v6.xDebian v7.xOracle Linux v7.xOracle Linux v6.xSUSE Linux Enterprise Server (
部署机器分布：master.ambari.com
node01.ambari.com
node02.ambari.com[all]三台机器安装完成，配置yum源 --ok[all]配置域名映射172.28.128.11 master.ambari.com master
172.28.128.12 node01.ambari.com node01
172.28.128.13 node02.ambar
MySQL数据库默认的数据库文件位于/var/lib/mysql下, 我的MySQL通过brew安装（Mac） 数据库文件在/usr/local/var/mysql 下。 1、查看数据库文件存储目录：hunyxvs-MacBook-Air:mysql hunyxv$ mysqladmin -u root -p variables | grep datadir
Enter password:
|
转载
2023-06-06 14:55:05
240阅读
