hive分组后再分组

原创

mob64ca12f0cf8f 2024-08-05 07:21:28 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12f0cf8f的原创作品，请联系作者获取转载授权，否则将追究法律责任

Hive 分组后再分组的实现

在数据分析中，我们经常需要对数据进行分组，再对每个分组的结果进行进一步的分析。在 Hive 中，先进行初步的分组，然后再对分组结果进行再次分组是一个常见的操作。本文将通过一个简单的案例来教会你如何在 Hive 中实现“分组后再分组”。

整体流程

在开始之前，我们先来明确一下整体的工作流程。以下是一个分步骤的表格展示：

步骤	行动
1. 创建示例表	使用 HiveQL 创建一个示例表，用于存储我们的数据
2. 插入数据	向该表中插入数据以便进行分组处理
3. 初步分组	使用 `GROUP BY` 对数据进行初步分组
4. 再次分组	对初步分组的结果进行进一步的分组
5. 显示结果	使用 `SELECT` 查询显示最终结果

现在让我们逐步实现这些步骤。

1. 创建示例表

首先，我们需要创建一个示例表来存储我们要分析的数据。例如，我们创建一个表来存储学生的成绩信息。

CREATE TABLE student_scores (
    student_id INT,
    subject STRING,
    score INT
);
-- 创建表 student_scores，包含学生ID、科目和分数

2. 插入数据

接下来，我们向表中插入一些示例数据。

INSERT INTO student_scores VALUES
(1, 'Math', 85),
(1, 'English', 78),
(2, 'Math', 92),
(2, 'English', 81),
(3, 'Math', 70),
(3, 'English', 88);
-- 插入学生的ID、学科和成绩，方便后续的分组操作

3. 初步分组

我们现在可以对数据进行初步分组，先按student_id分组，然后计算每个学生在所有科目的平均分。

SELECT student_id, AVG(score) AS avg_score
FROM student_scores
GROUP BY student_id;
-- 对学生按ID进行分组，并计算每个学生的平均分

4. 再次分组

假设我们想要根据平均分划分等级，比如用CASE语句将分数分类为“高”、“中”、“低”。

SELECT 
    CASE 
        WHEN avg_score >= 85 THEN 'High'
        WHEN avg_score >= 75 THEN 'Medium'
        ELSE 'Low'
    END AS score_level,
    COUNT(*) AS student_count
FROM (
    SELECT student_id, AVG(score) AS avg_score
    FROM student_scores
    GROUP BY student_id
) AS avg_scores
GROUP BY score_level;
-- 对初步分组的结果再进行分组，计算每个级别的学生数量

5. 显示结果

执行以上的查询后，会得到每个分数级别（“高”、“中”、“低”）对应的学生数量。这样，我们就完成了从分组到再分组的全过程。

数据结果可视化

为了更好地理解分数统计的结果，我们可以使用饼状图和序列图进行可视化。

饼状图

我们可以利用 Mermaid 语法生成如下的饼状图，展示各分数级别的学生比例：

pie
    title 学生分数级别分布
    "High": 2
    "Medium": 2
    "Low": 1

序列图

此外，可以用序列图来展示从获取成绩到分组结果的过程：

sequenceDiagram
    participant A as 用户
    participant B as Hive
    A->>B: 创建 student_scores 表
    B-->>A: 表创建成功
    A->>B: 插入数据
    B-->>A: 数据插入成功
    A->>B: 查询平均分
    B-->>A: 返回平均分结果
    A->>B: 查询分数级别
    B-->>A: 返回分数级别统计