大数据的基本概念
什么是大数据关于大数据的定义目前有很多种，其实“大数据”就是收集各种数据，经过分析后用来做有意义的事，其中包括对数据进行采集、管理、存储、搜索、共享、分析和可视化。 大数据的特点大数据的特点可以用“4v”来表示，分别为volume、variety、velocity和value。·海量性（volume）：大数据的数据量很大，每天
转载
2024-02-26 10:25:46
48阅读
源码安装对于新手来说往往费时费力，搭建好hadoop环境之后，再搭建hadoop生态中其他工具就更具挑战；此外，搭建好之后对于生态工具的管理以及监控也是不小的挑战，因此ambari及CDH并应运而生。ambari及CDH的诞生极大简化了大数据集群的配置安装及监控管理。这篇文章以ambari大数据集群的安装配置为例，记录整个过程。 PS： 本文中用到的安
原创
2020-05-21 11:18:47
10000+阅读
# 大数据Hive引擎的基本概述与使用示例
大数据的迅猛发展使得数据处理技术日益受到人们的关注。其中，Apache Hive作为一种数据仓库工具，能够在大规模的分布式数据存储上执行SQL查询，成为了大数据处理的重要组成部分。本文将介绍Hive的基本概念及其用法，并附带相关代码示例。
## 什么是Hive？
Hive是一个基于Hadoop的开源数据仓库系统，可以将结构化的数据存储在Hadoop
原创
2024-09-22 06:01:31
30阅读
ambari的介绍ambari是基于hadoop的分布式集群配置管理工具，是由hortonworks主导的开源项目。它已经成为apache基金会的孵化器项目，已经成为hadoop运维系统中的得力助手，引起了业界和学术界的关注。ambari的基本概念Resource：Ambari把可以被管理的资源的抽象为一个Resource实例，资源可以包括服务、组件、主机节点等，一个resource实例中包含了一
转载
2024-04-09 07:51:37
106阅读
内容： 1.Hive On Spark内幕 2.Hive on Spark实战一、Hive On Spark内幕 1.Hive on spark 是hive 的一个子项目，它是指不通过mapReduce 作为唯一的查询引擎，而是将spark 作为底层的查询引擎。hive on spark
转载
2023-06-26 14:48:33
303阅读
技术领域本发明涉及大数据技术领域，特别涉及一种支持多租户的大数据平台及租户访问方法。背景技术在大数据时代，为了存储和处理海量数据，需要规模较大的服务器集群，一般说来，这些集群上运行着数量众多类型纷杂的应用程序和服务，比如离线作业，流式作业，迭代式作业等，传统的做法是，每种类型的作业或者服务对应一个单独的集群，以避免相互干扰。这样，集群被分割成数量众多的小集群，由于不同类型的作业/服务需要的资源量不
转载
2024-02-06 06:43:35
113阅读
“ 大数据时代，熟练使用SQL是基础中的基础，而Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户快速、简便查询海量数据。”01 Hive是什么Hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据。举例：tel up
转载
2023-10-10 14:17:50
87阅读
Ambari-2.7.3环境搭建工作环境：CentOS7 工作时间：2019/2/26-2019/3/2 安装路径：/opt/ambari/ Ambari简介：The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing
转载
2024-04-15 14:43:58
76阅读
文章目录一、准备工作1、环境说明2、所需要安装包二、上传解压拷贝1、Ambari-Elastic-Service-master.zip2、elasticsearch-6.4.2.tar.gz 和 kibana-6.4.2-linux-x86_64.tar.gz3、重启ambari-server三、安装四、遇到问题1、用户名组的问题2、无法导入format_hdp_stack_version3、k
Ambari简述什么是AmbariApache Ambari项目旨在通过开发用于配置，管理和监控Apache Hadoop集群的软件来简化Hadoop管理。Ambari提供了一个直观，易用的Hadoop管理Web UI。Ambari的功能提供了跨任意数量的主机安装Hadoop服务的分步向导。处理群集的Hadoop服务配置。提供集中管理，用于在整个集群中启动，停止和重新配置Hadoop服务。提供了一
转载
2023-12-05 13:59:29
163阅读
# 在Ambari中配置Hive on Spark的指南
在大数据环境中，Apache Hive和Apache Spark都是非常重要的组件。Hive提供了一种SQL风格的查询语言，而Spark则为大规模数据处理提供了高性能计算。通过将Hive配置为使用Spark作为执行引擎，用户能够充分利用Spark的性能优势。本文将引导初学者如何在Apache Ambari环境中配置Hive on Spar
原创
2024-10-18 10:07:50
266阅读
Ambari一、项目简介Ambari也是Apache的顶级项目。主要用来创建、管理、监视Hadoop集群（如Hive，Hbase，Sqoop，Zookeeper等）
原创
2022-06-28 12:01:44
556阅读
Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。本文主要结合实际业务情况，在使用Spark作为底层引擎时，通过一些常见的配置参数对报错任务进行调整优
转载
2024-02-03 09:05:16
220阅读
简介： Hive是大数据领域常用的组件之一，主要用于大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解。创建一个普通的表create table
转载
2024-06-06 16:19:08
51阅读
美国时间 2017年1 月 10 日，Apache 软件基金会对外宣布，万众期待的 Apache Beam 在经历了近一年的孵化之后终于毕业。这一顶级 Apache 开源项目终于成熟。 这是大数据处理领域的又一大里程碑事件——仅仅在上个月，腾讯宣布将在 2017 年一季度开源其大数据计算平台 Angel 。现在看来，生不逢时的 Angel 可能
一、环境准备在使用ambari搭建hadoop集群之前需要准备一些环境。本文使用三台机器搭建hadoop集群。IP分别为：ubuntu 的 IP :192.168.127.138hadoop1 的 IP： 192.168.127.135hadoop2 的 IP：192.168.127.1341.三台机器之间相互注册IP并且需要配置全域名打开ubuntu的host文件配内容如下：$ vim /etc
package org.bigdata508.util;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.io.StringRead
Hive: 采用推的方式，每一个计算节点计算完成后将数据主动推给后续节点。Impala: 采用拉的方式，后续节点通
转载
2022-07-28 06:24:20
74阅读
https://www.cnblogs.com/zlslch/p/6629251.html
原创
2020-10-07 16:25:20
1116阅读
一、Ambari简介 The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing, and monitoring Ap
原创
2021-07-29 16:22:02
422阅读
