1.hive模糊搜索表
show tables like '*name*';
2.查看表结构信息
desc formatted table_name;
desc table_name;
3.查看分区信息
show partitions table_name;
4.根据分区查询数据
select table_cou
转载
2023-07-18 11:39:10
351阅读
极大极小法 # -*- coding:utf-8 -*-
import copy # 注意对象的深拷贝和浅拷贝的使用！！！
class GameNode:
'''博弈树结点数据结构
成员变量：
map - list[[]] 二维列表，三子棋盘状态
val - int 该棋盘状态对执x棋子的评估值，1表示胜利，-1表示失败，0表示平局
dee
背景看了网上的教程，很多用的是这个WordCount的图，我无力吐槽，并不是说这个图不对，只是觉得站在新手的角度上来说：最核心的Shuffle过程，这个图没有讲。Reduce过程有4个，容易让新手以为Reduce的数量和单词有关。分析：下面的图更细致一些，但是还是有对新手不了解的地方，我用最平实的语言来叙述。 还是统计单词，例如统计《莎士比亚全集》。第一阶段 split： 假设这个文件太大了，有4
转载
2024-05-30 10:20:11
365阅读
1、正确建表，导入数据（三张表，三份数据），并验证是否正确 （1）分析需求 需要创建一个数据库movie，在movie数据库中创建3张表，t_user，t_movie，t_rating t_user:userid bigint,sex string,age int,occupation string,zipcode string t_movie:movieid bigint,moviename s
转载
2023-07-20 19:58:44
1396阅读
点赞
1评论
1：order by， sort by， distribute by， cluster by1.1 order byhive 中的 order by 语句会对查询结果做一次全局排序，即，所有的 mapper 产生的结果都会交给一个 reducer 去处理，无论数据量大小， job 任务只会启动一个 reducer，如果数据量巨大，则会耗费大量的时间。 提示： 如果在严格模式下， order by
转载
2023-12-20 06:21:14
112阅读
内容目录Hive实战小项目1、数据准备2、业务分析①统计视频观看数Top10②统计视频类别热度Top10③统计出视频观看数最高的20个视频的所属类别以及类别包含Top20视频的个数④统计视频观看数Top50所关联视频的所属类别排序⑤统计类别视频观看数Top10⑥统计每个类别视频观看数Top10⑦统计上传视频最多的用户Top10以及他们上传的视频观看次数在前20的视频 Hive实战小项目需求分析：统
转载
2024-02-01 21:08:22
0阅读
x
原创
2022-11-14 05:22:45
664阅读
说明 【注意】 看清楚上面说的实训是不是和你需要做的实训是同一个实训！！！ 如果是同一个实训，直接复制粘贴代码，然后点击测评即可。 【发文时间】2021-05-26 16:03 【更新时间】2022-04-12 【更新内容】 【新增】Hive综合应用案例——学生成绩查询——第1关：计算每个班的语文总成绩和数学总成绩 【新增】Hive综合应用案例——学生成绩查询——第
转载
2023-07-20 19:51:24
1037阅读
点赞
综合案例接下来我们来看一个综合案例，主要使用外部分区表和视图实现需求：Flume按天把日志数据采集到HDFS中的对应目录中，使用SQL按天统计每天数据的相关指标 分析一下： Flume按天把日志数据保存到HDFS中的对应目录中 针对Flume的source可以使用execsource、channel可以使用基于文件的或者内存的，sink使用hdfssink，在hdfssink的path路径中需要使
转载
2023-07-14 13:11:36
148阅读
一、背景与目标1.1、背景1.、行业内竞争 民航的竞争除了三大航空公司之间的竞争之外，还将加入新崛起的各类小型航空公司、民营航空公司，甚至国外航空巨头。航空产品生产过剩，产品同质化特征愈加明显，于是航空公司从价格、服务间的竞争逐渐转向对客户的竞争。2.、行业外竞争 随着高铁、动车等铁路运输的兴建，航空公司受到巨大冲击。客户营销战略倡导者Jay & Adam Curry从国外数百家公司进行了
转载
2023-08-04 10:57:40
121阅读
vim hadoop-env.shexport JAVA_HOME=/app/jdk1.8.0_171vim yarn-env.shexport JAVA_HOME=/app/jdk1.8.0_171>
> **又一大波vim飘过~~~**
>
>
> **插入的内容放在两个<configuration>中。如下图：**
>
>
&
转载
2024-06-19 10:12:54
380阅读
理解用户的各类行为，构建用户画像体系，帮助平台更加精准运营；在用户的各个维度上，利用数据挖掘、机器学习等技术分析建模，驱动营销、治理、评级等方向。用户画像标签一般用户画像标签分为统计类、规则类、机器学习挖掘类统计类：用户性别、年龄、近7天活跃时长、消费记录规则类：规则类与运营策略相关，标签形成会触发相应策略机器学习挖掘类：如用户价格敏感度、用户偏好、用户流失倾向性等一般用户标签涵盖：用户活跃度、用
转载
2023-08-01 15:11:05
167阅读
搜索日志、如何搜索日志EventLog Analyzer提供了专门的日志搜索功能，你可以搜索原始日志来发现网络异常，如：错误的配置、病毒、非法访问、应用错误等等。点击“搜索”标签。日志搜索栏如下：选择具体的主机、主机组把搜索范围限制到具体的主机或主机组。在文本框中输入或者通过“选择主机”链接选择。如果没有指定主机，就会在所有的主机日志中搜索。选择日志类型选择具体的搜索日志类型（例如：W
转载
2023-12-17 13:22:49
2阅读
头歌平台Hive综合应用案例答案
在数字化时代，数据实时处理和分析愈发重要。头歌平台作为一个综合性服务平台，通过Hive实现了数据存储与分析，服务了多个业务场景。这篇文章将围绕头歌平台的Hive综合应用进行深入剖析，涵盖演进历程、架构设计、性能优化、故障复盘及扩展应用等方面。
## 业务场景分析
随着用户需求的快速增长，头歌平台面临大量业务数据的采集、存储与分析任务。平台需要能够快速响应用户请
一、背景与挖掘目标某法律网站是北京一家电子商务类的大型法律资讯网站，致力于为用户提供丰富的法律信息与专业咨询服务，本案例主要是为律师与律师事务所提供互联网整合营销解决方案。随着企业经营水平的提高，其网站访问量逐步增加，随之而来的数据信息量也在大幅增长。带来的问题是用户在面对大量信息时无法快速获取需要的信息，使得信息使用效率降低。用户在浏览搜寻想要的信息过程中，需要花费大量的时间，这种情况的出现造成
转载
2024-01-03 18:03:52
235阅读
据，封装到RDD数据集中，调用Transformation函数和Action函数进行处理不同业务统计分析三、分词工具测试使用比较流行好用的中文分区：HanLP,面向生产环境的自
原创
2022-11-02 15:13:18
213阅读
# Python综合应用案例：旅行安排系统
## 引言
随着人们生活水平的提高和旅游意识的增强，旅游行业成为了一个蓬勃发展的行业。而在旅行过程中的安排也变得越来越重要。为了更好地满足旅客的需求，我们可以利用Python语言开发一个旅行安排系统，帮助用户进行行程规划、预定酒店和机票、查看天气预报等。
## 功能需求
我们的旅行安排系统应该具备以下功能：
1. 用户登录/注册功能：用户可以通过注册
原创
2023-09-02 03:59:24
154阅读
一：界面示例效果
原创
2023-05-12 21:19:55
133阅读
前言hive是构建在Hadoop上的数据仓库平台，其设计目标是:使Hadoop上的数据操作与传统的SQL结合，让熟悉sql的开发人员能够轻松的像Hadoop平台迁移。Hive是Facebook的信息平台的重要组成部分，Facebook在2008年将其共献给Apache，现在Hive是Hadoop家族中一款数据仓库产品。Hive最大的特点是：提供了类SQL的语法，封装了底层的MapReduce过程，
转载
2024-09-18 13:02:00
70阅读
在当今数据驱动的时代，教育行业也不例外，随着各类大数据平台的蓬勃发展，如何利用这些新兴技术提升教学管理的效率和效果成为了一项重要的挑战。本文将通过“头歌Hive综合应用案例 学生成绩查询”的方式，探讨在这一背景下如何设计一个高效、可靠的成绩查询系统。
## 背景定位
在我们的业务场景中，学校需要一个能够实时、精确查询学生成绩的系统，供教师、学生及其家长使用。传统的成绩查询方式常常受到数据延迟、
