Github / Gitlab Actions是一种轻量级的CI（Continuous integration，持续集成），能够自动化地完成某些特定功能或功能组合。在编写Gitlab Actions时通常需要在workflow中指定运行时间，通过schedule定时执行某些工作，其中需要使用cron定义工作流的时间表。Set cron schedule · Actions · GitHub Mar
文章目录赫拉文章版本介绍版本的使用加入群聊赫拉文章赫拉(hera)分布式任务调度系统之架构
原创
2022-08-24 08:48:11
433阅读
创建表克隆hera暂时还未开源 后面补上。当使用g
原创
2022-08-09 22:34:19
260阅读
前言最近发现我总是站在我的角度来使用hera,每个功能都很清楚，
原创
2022-08-24 08:50:24
268阅读
简介开发中心，顾名思义。我们进行开发的地方（当然我们也可以直接在调度中心加任务，
原创
2022-08-24 08:56:24
150阅读
文章目录前言往期目录hera2.2-beta版本任务编辑时支持修改任务类型任务组添加管理员bug修复修复centos
原创
2022-08-24 08:48:39
400阅读
文章目录q:依赖任务的周期怎么填？q:新加的任务什么时候会加入调度q:想立刻加入调度怎么办
原创
2022-08-24 08:47:14
175阅读
前言在大数据平台，随着业务发展，每天承载着成千上万的ETL任务调度
原创
2022-08-24 08:56:17
348阅读
在进行大数据处理时，使用Kubernetes（K8S）管理工具可以帮助我们更高效地部署和管理大规模数据处理作业。而Hera是一种开源的、基于Kubernetes的数据处理工具，可以帮助我们更好地管理数据处理作业。
下面我将向你介绍如何使用大数据处理工具Hera在Kubernetes上完成数据处理作业。首先，我们需要了解整个流程，并逐步进行操作。
### 实现大数据处理的流程
| 步骤
文章目录前言获取当前机器ip分布式锁知识点总结master服务work服务work连接master前言本文章中有这样一部分代码 static { host
原创
2022-08-05 10:20:48
67阅读
文章目录触发任务work端master端run方法在 hera 中，任务被触发的方式有多种，比如分析
原创
2022-08-05 10:16:08
91阅读
继移动APP之后，小程序作为当前移动的有一个入口为大家所推崇，不管是微信的小程序一套代码 处处运行 Hera提供了强大的跨平台能力：
原创
2022-09-07 13:48:05
96阅读
1.分手了以后发现还爱着TA，你会怎么办？知道自己配不上他，就希望有人能给他更好的幸福 2.如果你向喜欢的TA表白，TA拒绝了你，你会怎样？是继续还是放弃？go on ~ 3.你下辈子想成为什么？GOD 4.你不会烧菜，可是你会不会为了你的爱人去学呢？yeah 5.你现在最想珍惜的是什么？time~  
原创
2008-12-17 10:38:20
664阅读
调度类型：1。批处理调度、分时调度、实时调度和多处理机调度2。长程调度、中程调度、短程调度3。I／O调度长程调度：作业调度（从外存调度到内存），创建了进程后，可能等待短程调度和中程调度。两个问题：1。选择多少个作业进入内存（取决于多道程序的度）2。选择哪些作业（取决于长程调度算法）短程调度：进程调度中程调度：挂起状态进程的调度
转载
2023-06-16 10:49:08
86阅读
Spark内部有若干术语(Executor、Job、Stage、Task、Driver、DAG等)，需要理解并搞清其内部关系，因为这是性能调优的基石。节点类型有：1. Master 节点： 常驻master进程，负责管理全部worker节点。2. Worker 节点： 常驻worker进程，负责管理executor 并与master节点通信。 Dirvier：官方解释为： T
Linux IO调度器相关算法介绍
IO调度器（IO Scheduler）是操作系统用来决定块设备上IO操作提交顺序的方法。存在的目的有两个，一是提高IO吞吐量，二是降低IO响应时间。然而IO吞吐量和IO响应时间往往是矛盾的，为了尽量平衡这两者，IO调度器提供了多种调度算法来适应不同的IO请求场景。其中，对数据库这种随机读写的场景最有利的算法是DEANLINE。接着我们按照从简单到复杂的顺序，迅
一个调度平台，可以根据业务需要选择不同的调度算法，这里的作业资源调度算法跟操作系统的进程资源调度算法有相似性，但是不存在操作系统的系统进程用户进程调度划分，这里按照通俗的理解，例举一些常用的作业资源调度算法。一种方式是先来后到的方式，先来的先被调用，先分配CPU、内存等资源，后来的在队列等待，这种方式适合平均计算时间、耗用资源情况差不多的作业，为了让后来的作业有机会提前运行，通常还会匹配优先级，即
原创
2022-12-06 08:48:40
282阅读
FDD与TDD工作原理 频分双工(FDD) 和时分双工(TDD) 是两种不同的双工方式。如图1所示，FDD是在分离的两个对称频率信道上进行接收和发送，用保护频段来分离接收和发送信道。FDD必须采用成对的频率，依靠频率来区分上下行链路，其单方向的资源在时间上是连续的。FDD在支持对称业务时，能充
高级调度(作业调度)和低级调度(进程调度)的区别作业调度为进程被调用做准备，进程调度使进程被调用。换言之，作业调度的结果是为作业创建进程，而进程调度的结果是进程被执行。作业调度次数少，进程调度频率高。有的系统可以不设置作业调度，但进程调度必须有。...
原创
2021-08-14 09:50:00
2720阅读
kunkakunka是一个任务调度框架。用户只需要在Task接口中实现自己要执行的功能，并且选择合适的执行器，放入TaskManager中，就可以了完成整个任务了。实现细节整个任务信息存放在内存中，效率高，对任务数目做了限制可以为task添加监听器，当task状态变动时，触发监听器实现了四种执行器。包括单线程执行器，并发执行器，定时执行器和多子任务执行器。每个执行器都内置了调度器，用户只需要添加任
转载
2023-07-20 22:41:41
79阅读
