package cn.ibeifeng.spark
import org.apache.spark.sql.SparkSession
/**
* 用户活跃度分析
*
* 我们这次项目课程的升级，也跟spark从入门到精通的升级采取同步，采用scala+eclipse的方式来开发
*
* 我个人而言，还是觉得应该用java去开发spark作业，因为hadoop是最重要的大数据引擎，hadoop mapreduce、hbase，全都是java
* 整个公司的编程语言技术栈越简单越好，降低人员的招聘和培养的成本
*
* 但是由于市面上，现在大部分的公司，做spark都是采取一种，spark用scala开发，所以开发spark作业也用scala
* 课程为了跟市场保持同步，后面就随便采取scala来开发了
*
*/
object UserActiveDegreeAnalyze {
case class UserActionLog(logId: Long, userId: Long, actionTime: String, actionType: Long, purchaseMoney: Double)
case class UserActionLogVO(logId: Long, userId: Long, actionValue: Long)
case class UserActionLogWithPurchaseMoneyVO(logId: Long, userId: Long, purchaseMoney: Double)
def main(args: Array[String]) {
// 如果是按照课程之前的模块，或者整套交互式分析系统的架构，应该先从mysql中提取用户指定的参数（java web系统提供界面供用户选择，然后java web系统将参数写入mysql中）
// 但是这里已经讲了，之前的环境已经没有了，所以本次升级从简
// 我们就直接定义一个日期范围，来模拟获取了参数
val startDate = "2016-09-01";
val endDate = "2016-11-01";
// 开始写代码
// spark 2.0具体开发的细节和讲解，全部在从入门到精通中，这里不多说了，直接写代码
// 要不然如果没有看过从入门到精通的话，就自己去上网查spark 2.0的入门资料
val spark = SparkSession
.builder()
.appName("UserActiveDegreeAnalyze")
.master("local")
.config("spark.sql.warehouse.dir", "D:\\test\\spark\\mall\\spark-warehouse")
.getOrCreate()
// 导入spark的隐式转换
import spark.implicits._
// 导入spark sql的functions
import org.apache.spark.sql.functions._
// 获取两份数据集
val userBaseInfo = spark.read.json("D:\\test\\spark\\mall\\user_base_info.json")
val userActionLog = spark.read.json("D:\\test\\spark\\mall\\user_action_log.json")
// 第一个功能：统计指定时间范围内的访问次数最多的10个用户
// 说明：课程，所以数据不会搞的太多，但是一般来说，pm产品经理，都会抽取100个~1000个用户，供他们仔细分析
//{"logId": 00,"userId": 0, "actionTime": "2016-10-04 15:42:45", "actionType": 0, "purchaseMoney": 0.0}
//{"userId": 0, "username": "user0", "registTime": "2016-10-11 18:06:25"}
// userActionLog
// // 第一步：过滤数据，找到指定时间范围内的数据
// .filter("actionTime >= '" + startDate + "' and actionTime <= '" + endDate + "' and actionType = 0")
// // 第二步：关联对应的用户基本信息数据
// .join(userBaseInfo, userActionLog("userId") === userBaseInfo("userId"))
// // 第三部：进行分组，按照userid和username
// .groupBy(userBaseInfo("userId"), userBaseInfo("username"))
// // 第四步：进行聚合
// .agg(count(userActionLog("logId")).alias("actionCount"))
// // 第五步：进行排序
// .sort($"actionCount".desc)
// // 第六步：抽取指定的条数
// .limit(10)
// // 第七步：展示结果，因为监简化了，所以说不会再写入mysql
// .show()
// 第一个功能：统计指定时间范围内的访问次数最多的10个用户
/* userActionLog.filter("actionTime >= '"+startDate+"' and actionTime <= '"+endDate+"' and actionType = 0")
.join(userBaseInfo,userActionLog("userId")===userBaseInfo("userId"))
.groupBy(userBaseInfo("userId"),userBaseInfo("username"))
.agg(count(userActionLog("logId")).alias("actionCount"))
.sort($"actionCount".desc)
.limit(10)
.show()*/
// 第二个功能：获取指定时间范围内购买金额最多的10个用户
// 对金额进行处理的函数讲解
// feature，技术点的讲解：嵌套函数的使用
// userActionLog
// .filter("actionTime >= '" + startDate + "' and actionTime <= '" + endDate + "' and actionType = 1")
// .join(userBaseInfo, userActionLog("userId") === userBaseInfo("userId"))
// .groupBy(userBaseInfo("userId"), userBaseInfo("username"))
// .agg(round(sum(userActionLog("purchaseMoney")),2).alias("totalPurchaseMoney"))
// .sort($"totalPurchaseMoney".desc)
// .limit(10)
// .show()
// 第二个功能：获取指定时间范围内购买金额最多的10个用户
//{"logId": 00,"userId": 0, "actionTime": "2016-10-04 15:42:45", "actionType": 0, "purchaseMoney": 0.0}
//{"userId": 0, "username": "user0", "registTime": "2016-10-11 18:06:25"}
/* userActionLog.filter(s"actionTime >= '$startDate' and actionTime <= '$endDate' and actionType=1")
.join(userBaseInfo,userActionLog("userId")===userBaseInfo("userId"))
.groupBy(userBaseInfo("userId"),userBaseInfo("username"))
.agg(round(sum(userActionLog("purchaseMoney")),2).alias("sumPurchase"))
.sort($"sumPurchase".desc)
.limit(10)
.show()*/
// 第三个功能：统计最近一个周期相对上一个周期访问次数增长最多的10个用户
// 比如说我们设定一个周期是1个月
// 我们有1个用户，叫张三，那么张三在9月份这个周期内总共访问了100次，张三在10月份这个周期内总共访问了200次
// 张三这个用户在最近一个周期相比上一个周期，访问次数增长了100次
// 每个用户都可以计算出这么一个值
// 获取在最近两个周期内，访问次数增长最多的10个用户
// 周期，是可以由用户在web界面上填写的，java web系统会写入mysql，我们可以去获取本次执行的周期
// 假定1个月，2016-10-01~2016-10-31，上一个周期就是2016-09-01~2016-09-30
// val userActionLogInFirstPeriod = userActionLog.as[UserActionLog]
// .filter("actionTime >= '2016-10-01' and actionTime <= '2016-10-31' and actionType = 0")
// .map{ userActionLogEntry => UserActionLogVO(userActionLogEntry.logId, userActionLogEntry.userId, 1) }
//
// val userActionLogInSecondPeriod = userActionLog.as[UserActionLog]
// .filter("actionTime >= '2016-01-01' and actionTime <= '2016-09-30' and actionType = 0")
// .map{ userActionLogEntry => UserActionLogVO(userActionLogEntry.logId, userActionLogEntry.userId, -1) }
//
// val userActionLogDS = userActionLogInFirstPeriod.union(userActionLogInSecondPeriod)
//
// userActionLogDS
// .join(userBaseInfo, userActionLogDS("userId") === userBaseInfo("userId"))
// .groupBy(userBaseInfo("userId"), userBaseInfo("username"))
// .agg(sum(userActionLogDS("actionValue")).alias("actionIncr"))
// .sort($"actionIncr".desc)
// .limit(10)
// .show()
//
//
// //{"logId": 00,"userId": 0, "actionTime": "2016-10-04 15:42:45", "actionType": 0, "purchaseMoney": 0.0}
// //{"userId": 0, "username": "user0", "registTime": "2016-10-11 18:06:25"}
// // 第三个功能：统计最近一个周期相对上一个周期访问次数增长最多的10个用户
// // 比如说我们设定一个周期是1个月
// // 我们有1个用户，叫张三，那么张三在9月份这个周期内总共访问了100次，张三在10月份这个周期内总共访问了200次
// // 张三这个用户在最近一个周期相比上一个周期，访问次数增长了100次
// // 每个用户都可以计算出这么一个值
// // 获取在最近两个周期内，访问次数增长最多的10个用户
// val startDate1="2016-01-01"
// val startDate2="2016-10-01"
// val endDate1="2016-09-30"
// val endDate2="2016-10-31"
// //一个时间段内用户的访问时间
// val first = userActionLog.as[UserActionLog]
// .filter(s"actionTime >= '$startDate1' and actionTime <= '$endDate1' and actionType=0")
// .map{ userActionLogEntry => UserActionLogVO(userActionLogEntry.logId, userActionLogEntry.userId, -1) }
//
// //.join(userBaseInfo,userActionLog("userId")===userBaseInfo("userId"))
//
//// .groupBy(userBaseInfo("userId"),userBaseInfo("username"))
//// .agg(count(userActionLog("logId")))
//
// val second = userActionLog.as[UserActionLog]
// .filter(s"actionTime >= '$startDate2' and actionTime <= '$endDate2' and actionType=0")
// .map{ userActionLogEntry => UserActionLogVO(userActionLogEntry.logId, userActionLogEntry.userId, 1) }
//
//
// val userActionLogDS2 = second
// .union(first);
//
// //.as[userActionLogDS]
// userActionLogDS2.join(userBaseInfo,userBaseInfo("userId")===userActionLogDS2("userId"))
// .groupBy(userBaseInfo("userId"),userBaseInfo("username"))
// .agg(sum(userActionLogDS2("actionValue")).alias("sumActionValue"))
// .sort($"sumActionValue".desc)
// .limit(10)
// .show()
//
// first.union(second).
// // 真实的项目中，大量的情况就是这样的，很多作业和代码都是类似的，就是有些地方不太一样而已
// // 向大家展示真实的项目逻辑，业务
// // 让大家加强印象，多练习几遍，没什么坏处
//
// val userActionLogWithPurchaseMoneyInFirstPeriod = userActionLog.as[UserActionLog]
// .filter("actionTime >= '2016-10-01' and actionTime <= '2016-10-31' and actionType = 1")
// .map{ userActionLogEntry =>
// UserActionLogWithPurchaseMoneyVO(userActionLogEntry.logId, userActionLogEntry.userId,
// userActionLogEntry.purchaseMoney) }
//
// val userActionLogWithPurchaseMoneyInSecondPeriod = userActionLog.as[UserActionLog]
// .filter("actionTime >= '2016-09-01' and actionTime <= '2016-09-30' and actionType = 1")
// .map{ userActionLogEntry =>
// UserActionLogWithPurchaseMoneyVO(userActionLogEntry.logId, userActionLogEntry.userId,
// -userActionLogEntry.purchaseMoney) }
//
// val userActionLogWithPurchaseMoneyDS = userActionLogWithPurchaseMoneyInFirstPeriod.union(userActionLogWithPurchaseMoneyInSecondPeriod)
//
// userActionLogWithPurchaseMoneyDS
// .join(userBaseInfo, userActionLogWithPurchaseMoneyDS("userId") === userBaseInfo("userId"))
// .groupBy(userBaseInfo("userId"), userBaseInfo("username"))
// .agg(round(sum(userActionLogWithPurchaseMoneyDS("purchaseMoney")), 2).alias("purchaseMoneyIncr"))
// .sort($"purchaseMoneyIncr".desc)
// .limit(10)
// .show()
//
// 统计指定注册时间范围内头7天访问次数最高的10个用户
// 举例，用户通过web界面指定的注册范围是2016-10-01~2016-10-31
userActionLog
.join(userBaseInfo, userActionLog("userId") === userBaseInfo("userId"))
.filter(userBaseInfo("registTime") >= "2016-10-01"
&& userBaseInfo("registTime") <= "2016-10-31"
&& userActionLog("actionTime") >= userBaseInfo("registTime")
&& userActionLog("actionTime") <= date_add(userBaseInfo("registTime"), 7)
&& userActionLog("actionType") === 0)
.groupBy(userBaseInfo("userId"), userBaseInfo("username"))
.agg(count(userActionLog("logId")).alias("actionCount"))
.sort($"actionCount".desc)
.limit(10)
.show()
userActionLog
.join(userBaseInfo, userActionLog("userId") === userBaseInfo("userId"))
.filter(userBaseInfo("registTime") >= "2016-10-01"
&& userBaseInfo("registTime") <= "2016-10-31"
&& userActionLog("actionTime") >= userBaseInfo("registTime")
&& userActionLog("actionTime") <= date_add(userBaseInfo("registTime"), 7)
&& userActionLog("actionType") === 1)
.groupBy(userBaseInfo("userId"), userBaseInfo("username"))
.agg(round(sum(userActionLog("purchaseMoney")),2).alias("purchaseMoneyTotal"))
.sort($"purchaseMoneyTotal".desc)
.limit(10)
.show()
// 统计指定注册时间范围内头7天访问次数最高的10个用户
// 举例，用户通过web界面指定的注册范围是2016-10-01~2016-10-31
//{"logId": 00,"userId": 0, "actionTime": "2016-10-04 15:42:45", "actionType": 0, "purchaseMoney": 0.0}
//{"userId": 0, "username": "user0", "registTime": "2016-10-11 18:06:25"}
val startDateReg = "2016-10-01"
val endDateReg = "2016-10-31"
userBaseInfo.filter(s"registTime >= '$startDateReg' and registTime <= '$endDateReg'")
.join(userActionLog,userActionLog("userId")===userBaseInfo("userId"))
.filter(userActionLog("actionTime") >= userBaseInfo("registTime")
&& userActionLog("actionTime") <= date_add(userBaseInfo("registTime"),7)
&& userActionLog("actionType") === 1)
.groupBy(userBaseInfo("userId"),userBaseInfo("username"))
.agg(count(userActionLog("logId")).alias("countLogId"))
.sort($"countLogId".desc)
.limit(10)
.show()
}
}
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
