HQL基础与优化1 HQL数据定义2 HQL数据操作3 HQL查询3.1 select3.2 join3.3 where3.3.1 模式匹配3.3.2 三值逻辑3.4 什么情况下Hive可以避免进行MapReduce？4 优化4.1 限制调整 Hive优化为文中标黄的内容。 1 HQL数据定义//数据库中，表名，正则表达式
use jmw;
show tables like “jm.*”;
转载
2024-09-24 09:27:19
37阅读
目前正在做关于数仓的实习，阅读重点与hive相关，偏向开发/底层的内容可能会略过，读书笔记也不会囊括所有内容，而且添上了实习时mentor提点的内容，择需而看。 《Hive编程指南》第一章 基础知识Hive的存在意义Hive的特点OLTP和OLAP的区别1.1 Hadoop和MapReduce综述MapReduce基本原理Hive在底层的运作Hive和MapReduce的对应关系1.2 Hadoo
转载
2023-11-27 16:02:06
83阅读
经常在网上看到各种关于编程语言的争论，对于这个问题大家真是乐此不疲，但是从应用领域上来讲，每种编程语言都各有各的优势，今天黑马君就带着大家一起来盘点一下编程语言的应用领域。 盘点各编程语言的应用领域Python在设计上坚持了清晰划一的风格，这使得Python成为一门易读、易维护，并且被大量用户所欢迎的、用途广泛的语言。Python作为一种解释型脚本语言，主要应用于：1. web和Inter
转载
2023-12-08 22:04:45
68阅读
初识Hive1.Hive提供Hive查询语音（简称HiveQL或HQL）来查询存储在Hadoop集群中的数据。2.Hive（本质）可以将大多数查询转换为MapReduce任务（job）3.Hive适用于数据仓库应用程序，使该应用程序进行相关的静态数据分析，可以维护海量数据，并对数据进行挖掘，形成意见和报告，不需要快速响应给出结果，数据本身也不会频繁变化。4.Hive的使用受限于Hadoop及HDF
转载
2023-08-20 22:24:26
122阅读
目录1.Hive shell 操作1.1.Hive 命令行1.1.1.进入hive的客户端之后1.1.2.进入hive的客户端之前1.2.Hive 参数配置方式2.数据倾斜2.1.什么是数据倾斜？2.2.Hadoop框架的特定2.3.主要表现2.4.容易数据倾斜的情况2.5.产生数据倾斜的原因2.6.业务场景3.Hive 执行过程实例分析3.1.Hive 执行过程概述3.2.Join3.3.Gro
转载
2024-08-28 20:07:49
83阅读
依据课程中讲解的如何自定义 UDF，进行案例编写，进行总结步骤，并完成额外需求，具体说明如下： 1） 依据课程讲解 UDF 编程案例，完成练习，总结开发 UDF 步骤，代码贴图，给予注释，重点在于清晰编程思路。 2） 完成如下数据字段中双引号，自定义 UDF，完成编程测试。新建maven项目。配置pom.xml<
转载
2023-12-13 05:42:37
33阅读
Hive 综合应用实训要求我们对 Hive 的环境进行全面的了解，这里我们将详细描述整个过程：从环境预检、部署架构、安装过程到依赖管理、故障排查、安全加固。
### 环境预检
在开始之前，我们需要确保我们拥有适合 Hive 运行的环境和硬件配置。下面是系统和硬件要求的详细信息。
**系统要求表格**
| 环境 | 要求
一、简介1.1、概述Hive是Apache提供的一套用于进行数据仓库管理的机制Hive提供了类SQL(Hive QL -> HQL)语言来读写或者管理HDFS上的数据，在底层Hive会将这个类SQL语言转化为MapReduce程序执行，因此Hive的执行效率相对较低，适合于离线分析场景Hive原本是Hadoop的子工程，但是后来被独立出来成为单独的顶级工程在启动Hive之前，需要先确保服务器
转载
2024-08-14 22:15:55
63阅读
目录1. Hive基础1. Hive基础认识1.1.1 优缺点1.2 Hive架构1.3 Hive任务提交流程1.4 Hive与数据库的对比1.5 Hive 的元数据库1.6 hive加载数据文件1.7 Hive常用交互命令1.8 Hive数据类型1.8.1 基本类型1.8.2 集合类型1.8.3 Hive类型转换2. DDL数据定义2.1 数据库操作2.2 表操作2.2.1 建表语句2.2.2
转载
2023-12-06 22:19:20
53阅读
在当今的软件开发领域，docker容器技术已经成为了让开发和运维（DevOps）更高效的关键工具。通过在容器中打包应用程序及其依赖，我们可以确保在不同的环境中运行一致。本文将详细记录“docker容器技术与应用项目实训”这一问题的解决过程，涵盖从背景定位到扩展应用的各个方面。
### 背景定位
在开始之前，回顾一下我们面临的初始技术痛点。过去开发过程中，环境不一致、依赖冲突以及应用部署复杂等问
第一天学习大数据今天学习大数据，我说一点我个人对于大数据的看法：正如马云所说，我们还没弄清楚什么是pc互联网 ，移动互联网就来了，当我们还在学习移动互联网的时候 ，这时候大数据时代来了我觉得这是时代发展和科技进步所带了的必然结果，我们在享受信息大爆炸时代所带来的便利的同时，就会有人思考，如果我掌握了一个人的某方面的大量样本，是不是能对一个人的某方面行为进行评估，预测 。从而可以进行特定的商业活动呢
大数据技术原理与应用学习笔记（十）SparkSpark简介Spark与Hadoop对比Spark生态系统Spark运行架构基本概念运行架构基本流程RDDRDD特性RDD依赖关系和运行过程Spark SQLSpark部署应用方式Spark编程实践 SparkSpark简介Spark的特点：运行速度快容易使用通用性运行模式多样Spark采用Scala语言1为Spark主要编程语言，同时还支持Java
转载
2023-11-26 20:47:14
448阅读
初识多线程介绍进程回到线程进程与线程并行与并发Javs实现多线程Java实现多线程需要注意的细节Thread线程类API设置线程名 守护线程 优先级线程 线程生命周期使用多线程需要注意的问题线程安全问题性能问题安全发布对象简述解决线程安全性的办法原子性和可见性线程封闭不变性线程安全性委托synchronized锁和lock锁synchronized锁Lock显式锁Java锁简单总结AQSAQS是什
转载
2023-10-31 20:33:01
85阅读
Java技术是一套完整的IT行业解决方案，其中包含了很多技术。最初是从解决家电设备联网通讯的方案发展起来的，其特点适用于Internet，于是在Internet广泛应用的环境下，迅速发展成为一种计算机语言、一个平台、一个网络计算的架构。 从整体上划分，Java技术可分成Java编程语言和Java平台。Java编程语言是一种高级编程语言，Java平台是指程序运行的硬件或软件环境。 Java编
转载
2023-09-19 09:18:15
96阅读
# Hive实训总结
## 1. 流程概述
在实现“hive实训总结”这个任务之前，我们需要先了解整个流程。下表展示了实现该任务的步骤和所需的操作：
| 步骤 | 操作 |
| ---- | ---- |
| 1. 创建数据库 | 创建一个新的数据库，用于存储实训总结的相关数据。 |
| 2. 创建表 | 在数据库中创建一个表，用于存储实训总结的内容。 |
| 3. 加载数据 | 将实训总结
原创
2023-08-12 19:23:32
148阅读
# 数据可视化技术与应用
在现代社会，数据的生成速度和量级都在迅猛增长。如何有效地利用这一数据，已成为各行业关注的焦点。数据可视化，作为一种将数据以图形方式展现的技术，正逐渐成为数据分析的重要工具。本文将探讨数据可视化的基本概念、主要技术，以及实现的实例。
## 什么是数据可视化？
数据可视化是将数据以图形化的形式进行展现，帮助用户直观地理解复杂的数据集。这一技术让非专业人士也能轻松识别数据
原创
2024-10-16 03:57:15
117阅读
云计算实验报告专 业： 数据科学与大数据技术 班 级： 数据Q201 实验1：Docker镜像容器命令测试 实验设备： OS： Ubuntu/Centos 应用软件：Docker 实验目的： 1.掌握部分镜像与容器命令 2.Docker注册中心的使用与操作 实验内容： 1、测试Docker镜像与容器命令 2、测试Docker注册中心的用法 实验报告要求： 以截图的形式显示代码运行结果、验证操作
转载
2024-09-29 08:57:25
266阅读
Spark手稿一、简介Spark集批处理、实时流处理、交互式查询、机器学习与图计算于一体。大多数现有的集群计算系统都是基于非循环的数据流模型。即从稳定的物理存储(分布式文件系统)中加载记录,
记录被传入由一组确定性操作构成的DAG(有向无环图),然后写回稳定存储。DAG数据流图能够在运行时自动实现任务调度和故障恢复。基于数据流的框架没有明确支持工作集，所以需要将数据输出到磁盘，
然后在每次查询时重
转载
2024-07-18 05:45:04
112阅读
第一课 大数据技术之Spark-环境和快速入门 文章目录第一课 大数据技术之Spark-环境和快速入门第一节 Spark 概述1.1 Spark介绍1.2 Spark和Hadoop选择1.3 核心模块介绍第二节 环境搭建和快速上手2.1 增加 Scala 插件2.2 快速上手wordcount2.3 wordcount优化用聚合的逻辑2.4 wordcount常用方法第三节 执行日志和常见异常3.
转载
2024-06-30 17:37:20
95阅读
文章目录1. SparkSQL 概述1.1 SparkSQL 是什么1.2 Hive and SparkSQL1.3 SparkSQL 特点1.3.1 易整合1.3.2 统一的数据访问1.3.3 兼容 Hive1.3.4 标准数据连接1.4 DataFrame 是什么1.5 DataSet 是什么2. SparkSQL 核心编程2.1 新的起点2.2 DataFrame2.2.1 创建 Data
转载
2024-08-14 16:20:35
119阅读
