活跃留存 hive

原创

mob649e8167c4a3 2023-08-18 14:47:06 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e8167c4a3的原创作品，请联系作者获取转载授权，否则将追究法律责任

实现活跃留存hive的流程

本文将介绍如何使用Hive实现活跃留存（Active User Retention）分析。活跃留存是一种用于衡量用户参与度的指标，它表示在某个时间段内，用户是否继续使用产品或服务。对于产品运营和市场营销来说，了解用户的活跃留存情况非常重要，可以帮助优化产品和改进用户体验。

活跃留存Hive的流程

下面是活跃留存Hive实现的整体流程，可以使用流程图来展示：

graph LR
A[数据准备] --> B[创建活跃用户表]
B --> C[创建留存用户表]
C --> D[计算活跃用户]
D --> E[计算留存用户]
E --> F[计算留存率]
F --> G[输出结果]

步骤详解

数据准备

首先，我们需要准备好需要分析的数据。数据源可以是用户行为日志、数据库表等，根据实际情况选择。确保数据中包含用户ID和时间戳等必要的字段。

创建活跃用户表

活跃用户表是用于存储每天活跃用户的表格。我们可以使用Hive创建一个空表，然后将每天的活跃用户数据插入到表中。创建活跃用户表的Hive SQL代码如下：

-- 创建活跃用户表
CREATE TABLE IF NOT EXISTS active_users (
    user_id STRING,
    active_date STRING
)
PARTITIONED BY (dt STRING)
STORED AS PARQUET;

创建留存用户表

留存用户表是用于存储每天留存用户的表格。和活跃用户表类似，我们也可以使用Hive创建一个空表，然后将每天的留存用户数据插入到表中。创建留存用户表的Hive SQL代码如下：

-- 创建留存用户表
CREATE TABLE IF NOT EXISTS retained_users (
    user_id STRING,
    retained_date STRING
)
PARTITIONED BY (dt STRING)
STORED AS PARQUET;

计算活跃用户

在这一步中，我们可以使用Hive查询语句从原始数据中筛选出活跃用户，并将结果插入到活跃用户表中。活跃用户的定义可以根据实际需求来确定，比如用户在某个时间段内的登录次数大于等于某个阈值。

-- 计算活跃用户
INSERT OVERWRITE TABLE active_users PARTITION (dt='2022-01-01')
SELECT
    user_id,
    active_date
FROM
    raw_data
WHERE
    login_count >= 3
    AND login_date = '2022-01-01';

计算留存用户

在这一步中，我们可以使用Hive查询语句从活跃用户表和原始数据中筛选出留存用户，并将结果插入到留存用户表中。留存用户的定义可以根据实际需求来确定，比如用户在某个时间段内仍然有登录行为。

-- 计算留存用户
INSERT OVERWRITE TABLE retained_users PARTITION (dt='2022-01-02')
SELECT
    a.user_id,
    b.retained_date
FROM
    active_users a
JOIN
    raw_data b
ON
    a.user_id = b.user_id
WHERE
    b.login_date = '2022-01-02';

计算留存率

在这一步中，我们可以使用Hive查询语句计算出每天的留存率，并将结果输出。留存率的计算公式为：留存用户数 / 活跃用户数。

-- 计算留存率
SELECT
    a.dt,
    COUNT(DISTINCT a.user_id) AS active_users,
    COUNT(DISTINCT b.user_id) AS retained_users,
    COUNT(DISTINCT b.user_id) / COUNT(DISTINCT a.user_id) AS retention_rate
FROM
    active_users a
JOIN
    retained_users b
ON
    a.dt = b.dt
GROUP BY
    a.dt;