scx_white的博客_java,数据湖,hera离线调度开发

基于 Apache Hudi 和 Apache Spark Sql 的近实时数仓架构分享

在大数据的计算场景中，根据数据的延迟情况，数据的时效性一般分为离线、准实时

spark

sql

数据湖

近实时

HUDI

原创 2022-11-06 01:11:19 643 阅读

动态规划之01背包问题讲解

给大家附上一个题目吧，便于理解ctest有n个苹果，要将它放入容量为v的背包。给出第i个苹果的大小和价钱，求出能放入背包的苹果的总价钱最大值。

01背包讲解

01背包

i++

#include

搜索

原创 2022-10-11 15:02:35 182 阅读

TankWar单机（JAVA版）目录

早就想写了一直都在忙暑期去了无锡一个月见习白天电脑没网晚上网速十几K 都登录不上。7.5-7.29暑期结束就回家了三天看看奶奶。然后8.3就又到学校了，看着15acm成员的集训。然后8.13号数学建模的培训培训到8.28号。就开学了。。又报了驾校我的天。。。浑

TankWar单机 JAVA版

java

坦克大战

图形化

原创 2022-10-11 15:01:44 44 阅读

top命令详解

查看多核CPU命令mpstat -P ALL 和 sar -P ALL 说明：sar -P ALL > aaa.txt 重定向输出内容到文件 aaa.txttop命令经

top命令

字段

linux

服务器

转载 2022-10-11 15:00:28 52 阅读

【Apache Hudi】一种基于增量日志文件数的压缩策略

Hudi 提供了一种新的表类型：MOR 表。该表在每次的 upsert 操作时，并不会实时的和基础数据文件进行合并，而是生成新的增量日志文件，而增量文

大数据

数据湖

Hudi

sed

数据文件

原创 2022-09-25 00:04:59 641 阅读

poj1330 Nearest Common Ancestors (最近公共祖先)

Nearest Common AncestorsTime Limit: 1000MS Memory Limit: 10000KTotal Submissions: 24236 Accepted: 12619DescriptionA rooted tree is a well-known data structure in

poj1330

poj 1330

#include

i++

原创 2022-09-16 20:34:27 22 阅读

poj2104K-th Number （主席树）

Case Time Limit: 2000MSDescriptionYou are working for Macrohard com

poj2104

poj 2104

主席树

可持久化线段树

i++

原创 2022-09-16 20:34:05 24 阅读

RMQ 算法

遍历，复杂度是O(n)。但当数据量非常大

RMQ

RMQ算法

预处理

状态转移

在线算法

转载 2022-09-16 20:33:13 132 阅读

nyoj488&&hdu1016 素数环（DFS）

出每组第一行输出对应的Case序号

hdu1016

hdu 1016

nyoj488

nyoj 488

素数环

原创 2022-09-16 20:32:20 43 阅读

nyoj1117 鸡蛋队列 (双端队列,deque)

nyoj1117

nyoj 1117

数据

出队

#include

原创 2022-09-16 20:31:38 35 阅读

赫拉(hera)分布式任务调度系统之开发中心(三)

简介开发中心，顾名思义。我们进行开发的地方（当然我们也可以直接在调度中心加任务，

hera分布式任务调度系统

分布式任务调度系统

任务调度

jar

hdfs

原创 2022-08-24 08:56:24 150 阅读

赫拉(hera)分布式任务调度系统之架构，基本功能(一)

前言在大数据平台，随着业务发展，每天承载着成千上万的ETL任务调度

任务调度系统

分布式任务调度系统

赫拉调度

赫拉分布式任务调度

任务调度

原创 2022-08-24 08:56:17 349 阅读

赫拉(hera)分布式任务调度系统之操作文档

前言最近发现我总是站在我的角度来使用hera,每个功能都很清楚，

赫拉任务调度

分布式任务调度

赫拉调度

hera文档

赫拉文档

原创 2022-08-24 08:50:24 268 阅读

Dubbo 源码分析之服务降级

前言关于服务降级，相信很多小伙伴都听说过或者操作过。比如最近我们在 12306 上抢票回家，

dubbo服务降级

dubbo服务降级源码

服务降级源码

服务降级

ide

原创 2022-08-24 08:50:15 79 阅读

赫拉(hera)分布式任务调度系统之版本发布功能页面

文章目录前言往期目录hera2.2-beta版本任务编辑时支持修改任务类型任务组添加管理员bug修复修复centos

hera 调度

hera2.1-beta

分布式任务调度系统

任务调度

git

原创 2022-08-24 08:48:39 400 阅读

赫拉(hera)分布式任务调度系统之版本(四)

文章目录赫拉文章版本介绍版本的使用加入群聊赫拉文章赫拉(hera)分布式任务调度系统之架构

分布式任务调度系统

任务调度系统

任务调度

git

数据

原创 2022-08-24 08:48:11 433 阅读

赫拉(hera)分布式任务调度系统之Q&A(五)

文章目录q:依赖任务的周期怎么填？q:新加的任务什么时候会加入调度q:想立刻加入调度怎么办

分布式任务调度

任务调度

hadoop任务调度

hadoop分布式任务调度

任务队列

原创 2022-08-24 08:47:14 175 阅读

hbase 单个regionserver中region过多优化

问题目前hbase 总是出现压缩队列和刷新队列过大的告警，导致数据的读写变慢。

hbase

regionserver

region数量

html

apache

原创 2022-08-24 08:46:42 211 阅读

Java设计模式（一）适配器模式

一天无意中在github上搜索，发现了在Java领域stars排名最多的一个项目

设计模式

适配器模式

类适配器

方法适配器

接口适配器

原创 2022-08-24 08:46:30 48 阅读

nyoj1249 物资调度 (第七届河南省程序设计大赛)

物资调度时间限制：1000 ms | 内存限制：65535 KB难度：2描述某地区发生了地震，灾区已经非常困难，=

第七届河南省程序设计大赛

nyoj1249

nyoj 1249

i++

#include

原创 2022-08-24 08:45:55 20 阅读

程序员这样优化简历，一投制胜

__biz=MzAxMzUzNzYyNA==&mid=402350606&idx=1&sn=c356b88f22d9277534aeee773f07d6ca&scene=23&srcid=02256Zn4PnYzdQ8M8WyTj5BG#rd&ADUIN=3024665621&ADSESSION=14546961&ADTAG

简历

程序员投简历

c++

机顶盒

android

原创 2022-08-24 08:44:41 79 阅读

nyoj21 三个水杯（BFS）

三个水杯

nyoj21

nyoj 21

bfs

测试数据

原创 2022-08-24 08:44:22 37 阅读

android:Activity四种启动模式简介

Activity启动模式可以根据实际的需求为Activity设置对应的启动模式，从而可以避免创建大量重复的Activity等问题Activity有四种加载模式1.standard（默认启动模式，每次激活Activity都会创建Activity实例，并放入Activity栈中）2.singleTop（可以有多个实例，但是不允许此Activity的多个实例叠加。即，如果此Activit

Activity启动模式

standard

singleTop

singleTask

singleInstance

原创 2022-08-24 08:43:09 118 阅读

hdu1716排列2（stl:next_permutation+优先队列）

排列2Time Limit: 1000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 5437 Accepted Submission(s): 2072Problem DescriptionRay又对数字的列产生了兴趣：现有四张卡

hdu1716

hdu 1716

排列2

#include

i++

原创 2022-08-24 08:42:38 41 阅读

STL 整理（map、set、vector、list、stack、queue、deque、priority_queue）

向量(vector) 连续存储的元素Vectorc;c.back() 传回最后一个数据，不检查这个数据是否存在。c.clear()

list

vector

iterator

insert

stl

转载 2022-08-24 08:42:16 70 阅读

nyoj43 24 Point game(DFS)

nyoj43

nyoj 43

24 Point game

DFS

i++

原创 2022-08-24 08:41:23 16 阅读

hdu1181 变形课（vector容器+dfs）

变形课Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 131072/65536 K (Java/Others)Total Submission(s): 16998 Accepted Submission(s): 6128Problem Description呃......变形课上Harry碰到了一

hdu1181

hdu 1181变形课

#include

java

一对多

原创 2022-08-23 21:42:03 35 阅读

hdu1106 排序 (分割字符串)

排序Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 41253 Accepted Submission(s): 11824Problem Description输入一行数字，如果我们把这行数字中的‘5’

hdu1106

hdu 1106

排序

数据

#include

原创 2022-08-23 21:41:48 79 阅读

动态规划之深入灵魂的解读（非常好）

在网上找到关于一篇讲动态规划的文章，很多初学算法的同学和我都有同样的疑惑，书上给出一大堆公式定理，我们往往还是搞不懂为什么这样写？

转

动态规划

子结构

01背包

转载 2022-08-23 21:40:04 47 阅读

赫拉(hera)分布式任务调度系统之项目启动(二)

创建表克隆hera暂时还未开源后面补上。当使用g

分布式任务调度系统

大数据任务调度系统

spring

jar

任务调度

原创 2022-08-09 22:34:19 260 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

scx_white