艾文编程的博客_分布式数据计算技术

Spark运行在Standalone模式下产生的临时目录的问题

临时目录的默认路径/tmp/spark*

spark

scala

apache

原创 2023-07-25 23:00:27 241 阅读

1005-Hive的QL语法

本地数据加载到hive，hdfs数据加载到hive，hive命令行基本操作

hadoop

hive

hdfs

原创 2023-07-25 22:57:22 59 阅读

010-spark standalone模式Scala版本WordCount代码

spark standalone模式WordCount代码计算，通过maven，scala2.10.5

spark

apache

hadoop

原创精选 2023-07-20 11:56:49 192 阅读

1006-Hive的自定义UDF函数

通过一个场景说明如何自定义hive函数，主要

hive

hadoop

字段

原创 2023-07-20 11:54:10 15 阅读

007-spark的wordCount

spark wordcount 基本介绍

spark

hadoop

scala

hdfs

原创 2023-05-17 21:07:23 64 阅读

003 利用hadoop+hive离线处理日志-方案分析

利用hadoop+hive离线处理日志，简单描述一些步骤

数据

HTTP

Mobile

原创 2023-05-05 16:38:28 63 阅读

001电商用户行为分析业务整体介绍

更好的为电子商务网站提供运营，需要建设一套用户行为分析的平台。以此来统计用户行为日志，订单数据，更好的服务和支撑运营。就是这样的通用性的平台，思考了好久，整理一下。同各位分享

spark

hive

mapreduce

技术方案

数据源

原创 2023-05-05 16:38:05 130 阅读

015-Spark SQL与 Hive集成

原生spark1.4.0 和hive1.3.0 集成，并对比spark-sql和hive执行效率

上

spark

hive

hadoop

原创 2023-05-05 16:37:47 136 阅读

008-storm并行度

storm并行度

storm

并行度

JAVA

配置文件

原创 2023-04-30 06:41:07 231 阅读

Impala004-Impala管理

重点介绍Impala的监控、Impala存储和分区、 Impala分区维护

impala

文本文件

插入数据

数据

原创 2023-04-30 06:40:49 306 阅读

Impala005-Impala SQL操作内部表和外部表

Impala操作外部表和内部表。一些基本操作同Hive的命令一样

impala

hdfs

存储方式

创建表

原创 2023-04-30 06:40:29 539 阅读

1003-Hive的安装

hive安装，元数据在hdfs上存储，hive元数据默认存储derby数据库

hadoop

hive

hdfs

apache

原创 2023-04-30 06:24:57 68 阅读

1001-hive基本概念

讲解hive基本概念，hive的架构，hive和hadoop的关系，hive和普通关系数据库区别，hive元数据存储

hive

hadoop

Hive

Hadoop

数据

原创 2023-04-30 06:24:18 61 阅读

001-spark生态系统介绍

spark生态系统介绍,主要包括spark概念；spark历史；spark生产系统

spark

Streaming

Processing

Apache

原创 2023-04-03 21:27:59 197 阅读

003-spark名词和架构介绍

引入spark中涉及到的专业术语

spark

Dependency

资源管理

数据集

原创 2023-04-03 21:27:15 83 阅读

012-01Spark On YARN 环境搭建

spark on yarn 环境的搭建和验证

spark

hadoop

jar

原创 2023-04-03 21:26:36 106 阅读

004-spark local模式

spark local模式下载，安装，验证

spark

scala

加载

原创 2023-04-03 21:26:15 57 阅读

Impala003-Impala shell

本章节重点介绍Impala的一些常用的命令，主要是如果Impala如果替代Hive左统计分析

impala

hive

Shell

执行计划

原创 2023-04-03 21:25:10 100 阅读

2001-使用Hive+MR统计分析网站指标

使用Hive+MR统计分析网站指标

IP

hive

HTTP

原创 2023-04-03 21:22:16 70 阅读

010-spark standalone模式JAVA版本WordCount代码

JAVA版本spark的wordcount

spark

apache

java

原创 2023-04-03 21:20:21 98 阅读

1006-Hive的UDF操作

Hive的UDF操作

hive

jar

apache

原创 2023-04-03 21:19:05 93 阅读

1007-Hive性能调优

Hive性能调优

性能

hive

数据倾斜

分区表

原创 2023-04-03 21:18:46 116 阅读

2000-使用Hive的正则解析器RegexSerDe分析Nginx日志

原始日志直接导入hive表，存储的格式不一定是我们要想的格式，通过Hive的正则解析器RegexSerDe分析Nginx日志完成

hive

hadoop

Hive

原创 2023-04-03 21:18:35 127 阅读

Hive-2.HiveQL查询中常用函数

1. SELECT ....FROM 语句1、创建表CREATE EXTERNAL TABLE employees(ID STRING,name STRING,AGE INT,BIRTHDAY DATE,subordinates ARRAY,score MAP,address STRUCT)ROW FORMAT DELIMITEDFI

hive

字符串

ci

原创 2023-04-03 21:17:10 55 阅读

Hive-2.HiveQL查询中JOIN语句

Hive支持常用到的SQL JOIN语句，但是只支持等值连接。4.1 INNER JOIN内连接（INNER JOIN）中，只有进行连接的两个表中都存在与连接标准相匹配的数据才会展示出来。例如：查询每个部门下的员工列表查询语句：select t.deptname,e.name from employees e inner join dept t

hive

Hive

查询语句

原创 2023-04-03 21:16:40 80 阅读

Hive-2.HiveQL查询中ORDER BY 和SORT BY 语句|包含SORT BY 的DISTRIBUTE BY|CLUSTER BY

1. ORDER BY 和SORT BY 语句order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。 sort by不是全局排序，其在数据进入reducer前完成排序.因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1，则sor

hive

Hadoop

3D

原创 2023-04-03 21:16:20 166 阅读

Hive-3.hive 的 hql 语句

创建的hql主要包括以下内容（1）表定义，创建表的时候使用create table t（2）过滤数据，备份表，创建临时表create table t_tmp as select * from t;（3）已经存在表，向表中添加数据load data [local] inpath 'data/a.txt' into table t;（4）已经存在表定义，需要从其他表加载数

hive

创建表

添加数据

加载数据

原创 2023-04-03 21:15:57 28 阅读

4. Tachyon安装-Tachyon集群模式搭建

tachyon默认支持hadoop-1.0.4版本，如果需要使用更高版本需要重新编译打包。如果使用maven打包，命令如下：mvn

tachyon

mapreduce

spark

hadoop

sed

原创 2023-04-03 21:15:51 79 阅读

7.Tachyon命令行使用

Tachyon的命令行接口可以让用户通过命令访问FileSystem。Tachyon基本命令format [-s] 格式化Tachyonbootstrap-conf Generate a config file if one doesn't existtfs Comma

tachyon

mapreduce

spark

命令操作

java

原创 2023-04-03 21:15:28 75 阅读

016-Storm借助tick消息定时器统计统计周期性业务

在实际业务中，经常需要定时做一些业务逻辑，如每1分钟做一些统计数值。普通业务做法是启动一个Timer线程或者使用Qu

storm

数据

kafka

服务器

原创 2023-04-03 21:15:17 94 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

专注大数据和人工智能研究

Spark运行在Standalone模式下产生的临时目录的问题

1005-Hive的QL语法

010-spark standalone模式Scala版本WordCount代码

1006-Hive的自定义UDF函数

007-spark的wordCount

003 利用hadoop+hive离线处理日志-方案分析

001电商用户行为分析业务整体介绍

015-Spark SQL与 Hive集成

008-storm并行度

Impala004-Impala管理

Impala005-Impala SQL操作内部表和外部表

1003-Hive的安装

1001-hive基本概念

001-spark生态系统介绍

003-spark名词和架构介绍

012-01Spark On YARN 环境搭建

004-spark local模式

Impala003-Impala shell

2001-使用Hive+MR统计分析网站指标

010-spark standalone模式JAVA版本WordCount代码

1006-Hive的UDF操作

1007-Hive性能调优

2000-使用Hive的正则解析器RegexSerDe分析Nginx日志

Hive-2.HiveQL查询中常用函数

Hive-2.HiveQL查询中JOIN语句

Hive-2.HiveQL查询中ORDER BY 和SORT BY 语句|包含SORT BY 的DISTRIBUTE BY|CLUSTER BY

Hive-3.hive 的 hql 语句

4. Tachyon安装-Tachyon集群模式搭建

7.Tachyon命令行使用

016-Storm借助tick消息定时器统计统计周期性业务