1、Hive的参数配置./hive 是hive的第一代客户端，次客户端，主要有两大作用 用于执行一些交互式或者批处理的操作，第二大作用，是用于启动hive的各项服务第一大作用：交互式（了解）./hive 进入交互式
进入之后，可以在客户端内部，不断和hive进行相关操作，在一个会话中，可以不断和hive进行交互批处理批处理: 指的在不进入hive的交互窗口下, 即可操作hive, 主要是lin
Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。一、快速上手1、使用admin用户登录，密码是dophinscheduler123，创建队列。2、创建租户，创建租户前要确保HDFS的根目录下所属者都是hdfs，与DS配置文件保持一致，否则会创建失败。3、创建普
由于hive执行过程中参数必须写死，无法进行传递参数。利用shell脚本和java编程进行解决
转载
2023-05-27 23:14:45
151阅读
SET start_day=case when '${start_day}'='null' then '$[time(yyyy-MM-dd,-3d)]' else '${start_day}' end; --3天前的
SET end_day=case when '${end_day}'='null' then '$[time(yyyy-MM-dd,-1d)]' else '${end_day
转载
2023-06-06 00:02:02
145阅读
在使用hive开发数据分析代码时，经常会遇到需要改变运行参数的情况，比如select语句中对日期字段值的设定，可能不同时间想要看不同日期的数据，这就需要能动态改变日期的值。如果开发量较大、参数多的话，使用变量来替代原来的字面值非常有必要，本文总结了几种可以向hive的SQL中传入参数的方法，以满足类似的需要。
准备测试表和测试数据
第一步先准备测试表和测试数据用于后续测试：
1
转载
2023-06-24 23:47:56
169阅读
点赞
在Apache DolphinScheduler 海豚调度器（本文简称:小海豚） 官网中，我们看到其自定义时间的参数是这样介绍的1.支持代码中自定义变量名，声明方式：${变量名}。可以是引用 "系统参数" 或指定 "常量"。2.我们定义这种基准变量为 [...] 格式的，[yyyyMMddHHmmss] 是可以任意分解组合的，比如：$[yyyyMMdd], $[HHmmss], $[yyyy-MM
目录WorkFlow传静态参数Schedule 传动态参数oozie常用的系统常量场景：HUE执行任务需要从外部传入参数，不能在脚本写死
原创
2023-05-06 15:08:24
340阅读
(dolphin scheduler学习)初识海豚调度器海豚调度器是一个国人开发的大数据任务平台的开源应用，属于apache正在孵化的项目。满足公司内部的业务场景需求，也想拥有一套满足自己内部需要的调度应用，得借助开源的力量，在其基础上做定制化开发了(没办法能力不够，否则就团队研发一套啦，本人菜鸡一枚)。1.海豚调度器的资料。该调度器是一个去中性化的分布式架构，在开源的任务调度应用里很有特色。开发
对接hive数据源(Doris支持两种建表方式 , 分桶表和复合分区表/复合分区表先分区在分区内分桶)分桶表测试案例:建hive表:drop table tmp_txzl_as2;
CREATE TABLE `tmp_txzl_as2`(
`signalid` string,
`day_id` string,
`cnts` int)
ROW FORMAT SERDE
'or
转载
2023-07-14 17:48:01
211阅读
一、Hive常用交互命令 进入到hive命令行客户端里进行交互。bin/hive -help
usage: hive
-d,--define <key=value> Variable subsitution to apply to hive
commands.e.g. -d A=B or --de
转载
2023-08-04 10:52:42
143阅读
在运行hive命令时传入参数，使用-hivevar 和 -hiveconf 两种参数选项，来给此次的执行脚本传入参数 -hivevar : 传参数 ，专门提供给用户自定义变量。 -hiveconf : 传参数，包括了hive-site.xml中配置的hive全局变量。 （1）脚本调用 test.sq
转载
2019-02-11 10:34:00
655阅读
2评论
由于项目需要，最近开始研究一款国外的社区软件，澳大利亚boonex公司的dolphin社区套件。尽管国内已经有很多不错的开源社区软件如discuz等，但dolphin提供了近40中模块插件来扩展社区功能，还基于该平台开放了应用扩展市场，可以像app store一样开发插件售卖，另一方面顺应了移动互联网的趋势，配合web版程序发布了ios/android平台的移动应用端，可以很快搭建全平台的社区环境
此版本升级了ThinkPHP核心至最新版的5.0.9，并改进和修复了部分bug，也新增了点小功能。虽然更新力度并不是很大，有些大家希望支持的功能还未加入，这点还望大家多多互相理解。DolphinPHP才刚起步，要走的路还很远，要学习的东西也很多。开源不易，做一款商业收费且开源的更不容易，这需要慢慢积累经验，协调好各方面的问题。我们正在用心创造，努力改进。感谢大家一直以来的支持和鼓励！！！【更新日志
目录3.6 Action3.7 Key-Value RDD操作3.7.1 创建Pair RDD3.7.2 Transformation操作 1、类似 map 操作 2、聚合操作【重要、难点】 3、
1.unix时间戳转时间函数 语法: from_unixtime(bigint unixtime[, string format])
返回值: string
说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区的时间格式
举例：
hive> select from_unixtime(1323308943,‘yyyyMMdd’) f
1. Hive的参数传递1.1 Hive命令行查看hive命令的参数[hadoop@node03 ~]$ hive -help语法结构：hive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e query-string>] [-S]-i 从文件初始化HQL。-e从命令行执行指定的HQL-f 执行HQL脚本
转载
2023-07-20 22:43:38
156阅读
在运行hive命令时传入参数，使用-hivevar 和 -hiveconf 两种参数选项，来给此次的执行脚本传入参数-hivevar : 传参数 ，专门提供给用户自定义变量。-hiveconf : 传参数，包括了hive-site.xml中配置的hive全局变量。（1）脚本调用test.sqluse default;select '${hiveconf:month}' as monthfrom default.user1;start.sh#!/bin/sh#ecoding=utf-8
原创
2021-08-30 11:29:21
3280阅读
在运行hive命令时传入参数，使用-hivevar 和 -hiveco
转载
2022-01-07 14:54:09
1766阅读
Apache DolphinScheduler 大数据工作流调度系统一、背景二、介绍下DolphinScheduler三、DolphinScheduler一些优势1、丰富的业务类型2、可视化的DAG图3、资源文件的上传管理4、活跃的社区和用户群5、开发语言和框架6、对dokcer和K8S的支持与其他开源调度系统对比四、实用过程中遇见的一些问题1、业务场景适配的一些问题2、在线业务使用的
作者 | 代立冬,李岗排版 | 开源之道小助理 Apache DolphinScheduler，简称”DS”, 中文名 “小海豚调度”（海豚聪明、人性化，又左右脑可互相换班，终生不用睡觉）。希望 DolphinScheduler 就像它的名字一样，成为一个“开箱即用”的灵活易用的调度系统。1 概述DAG 全称 Directed Acyclic Graph，简称 DAG。工作流中的Task
