说明该文档适用于dolphinscheduler 3.1.3-release版本。一 环境准备需要使用的环境包括JDK1.8，以及Maven 3.6以上的版本，这里使用低于3.6版本的Maven也可以调试运行，不过在打包的时候会有报错，最好使用高版本的maven。二 导入源码并修改配置2.1 导入项目项目地址：DolphinScheduler: ??? Apache DolphinSchedule
转载
2024-05-08 12:39:34
378阅读
spark 核心spark coreRDD创建 >>> RDD转换 >>> RDD缓存 >>> RDD行动 >>> RDD输出RDD[Resilient Distributed Dataset]它是一个弹性分布式数据集,具有良好的通用性、容错性与并行处理数据的能力，为用户屏蔽了底层对数据的复杂抽象和处理,为用户提供了一组方便的
✎ 编 者 按：好消息！Apache DolphinScheduler 2.0.1 版本正式发布！本版本中，DolphinScheduler 经历了一场微内核+插件化的架构改进，70% 的代码被重构，一直以来备受期待的插件化功能也得到重要优化。此外，本次升级还有不少亮点，如一键升级至最新版本、注册中心“去 ZK 化”、新增任务参数传递功能等。Apache DolphinScheduler 2.0.
Tor的按钮进行网络攻击/ 测试时基本不愿透露姓名的方便。*确保你没有运行的服务记录，而你是Tor或危险之中被恶毒的个人截获 pasive侦察插件，让你一键访问的被动网络侦察/ OSINT工具，很好的一个伟大的插件。发现更多关于网站/在线服务好。此外，还包括谷歌Dorks。NoScript的无脚本是必不可少的，无论如果你正在做的Web应用程序渗透测试或只是浏览净。它停止在您的浏览器中加载的脚本-
# 使用 DolphinScheduler 调度 Spark 作业的完整指南
DolphinScheduler 是一款功能强大的开源工作流调度和任务管理平台，而 Spark 是一个广泛使用的大数据处理框架。将这两者结合，可以实现高效的数据处理流程。本指南将帮助你了解如何在 DolphinScheduler 中配置和调度 Spark 作业。
## 流程概述
下面是通过 DolphinSched
原创
2024-08-07 05:54:44
152阅读
引子令牌与密码的区别令牌（token）与密码（password）的作用是一样的，都可以进入系统，但是有三点差异。（1）令牌是短期的，到期会自动失效，用户自己无法修改。密码一般长期有效，用户不修改，就不会发生变化。（2）令牌可以被数据所有者撤销，会立即失效。以上例而言，屋主可以随时取消快递员的令牌。密码一般不允许被他人撤销。（3）令牌有权限范围（scope），比如只能进小区的二号门。对于网络服务来说
1. 简介在一些项目中，处于安全性的要求，一般不将密码，key等放入到配置文件中。然而这些代码又是上传在 git等平台上。为了方便管理。一般采用系统变量的方式来实现。从而实现配置和代码分开。2. 安装pip install python-dotenv3. 使用目录结构及代码.
├── .env
└── demo.py.env 内容REDIS_HOST="127.0.0.1"
PWD="/home/
# DolphineScheduler 修改Spark RPC端口
## 概述
DolphinScheduler是一个分布式的大数据任务调度系统，它提供了一套完整的任务调度和运维功能，可以实现对Spark、Flink、Hive、MR等各种任务的调度和管理。在DolphinScheduler中，Spark任务的通信机制是通过RPC（Remote Procedure Call，远程过程调用）来实现
原创
2024-01-30 06:40:40
178阅读
1. 背景问题：在部分 UT 中使用 PowerMock 后，导致 Sonar 不能获取对应的测试报告。大概原因：PowerMock 模拟 JDK 的静态方法、构造方法、final 方法、私有方法时，需要把使用这些方法的类加入到 @PrepareForTest 注解中，从而导致单元测试覆盖率不被统计。2. 思路2.1 明确问题出处，缩小定位范围DolphinScheduler U
转载
2024-09-19 18:03:34
118阅读
2.1. Logistic模型的缺陷 在Logistic模型中，为了处理有偏数据的影响，我们对除citric_acid（柠檬酸含量）和density（密度）之外的9个自变量均作了对数化处理，然而这种处理显然不一定和实际情况相一致。甚至从常理分析，这些描述理化性质的变量对于品质的影响很难说是严格正/负相关的。以Ph值为例，Ph值是衡量溶液酸碱度的变量，具体说，是衡量溶液中氢离子浓度的指标，服从Ph=
转载
2024-10-16 22:15:02
26阅读
Sa-Token 集成SpringBoot简要步骤1.1 简单介绍Sa-Token是一个轻量级Java权限认证框架。主要解决的问题如下：登录认证权限认证单点登录OAuth2.0分布式Session会话微服务网关鉴权等一系列权限相关问题。1.2 登录认证设计思路对于一些登录之后才能访问的接口（例如：查询我的账号资料），我们通常的做法是增加一层接口校验：如果校验通过，则：正常返回数据。如果校验未通过，
转载
2024-03-18 12:06:42
159阅读
在上一篇博文中，描述了一些django项目结构的实践，但实际上还有很多改进的地方，正好和最近的一个项目可以自由发挥，就套用了原本的脚手架项目，并做了一些改进，另外也结合了docker。首先是总体的项目|
|-deployment_yml
|-deployment_server
|-deployment_dockerfile
|-project1
|-project2 项目会分为四个部分，第一个部分
Deeplab V1 Background： CNN的一个特性是invariance（不变性），这个特性使得它在high-level的计算机视觉任务比如classification中，取得很好的效果。但是在semantic segmentation任务中，这个特性反而是个障碍。毕竟语义分割是像素级别的分类，高度抽象的空间特征对如此low-level并不适用。 所以，要用CNN来做分割，就需要考
org.springframework.bootspring-boot-starter
org.springframework.boot
spring-boot-starter-test
test
org.mybatis.spring.boot
mybatis-spring-boot-starter
1.1.1
mysql
mysql-connector-java
5.1.21
• 同之前介绍的使
转载
2024-08-03 13:30:10
46阅读
Dubbo是什么东西我这里就不详细介绍了,自己可以去谷歌 SpringBoot整合Dubbo的话我们首先要先对Dubbo的启动这块了解一哈 dubbo源码分析: Dubbo会注册各种解析器,因为我们这边不会在使用XML配置了,所以主要关注的地方就是这块通过BeanDefinitionParser解析,然后注册到Ioc容器中,而这里我们通过SpringBoot的自动配置
转载
2024-06-12 15:10:58
35阅读
为了帮助开发人员更迅速地识别错误类型、定位和处理问题，我们整理了 DolphinDB Server 中的异常以及关键错误信息，总结出了一份 DolphinDB 数据库错误代码列表。当发生报错时，参考错误代码列表，就可以了解当前问题产生的原因。错误代码一览目前，我们已为大家整理了上百个错误代码以及对应的错误原因，可以使用 Ctrl+F 键盘组合搜索错误代码，快速定位。同
转载
2024-06-20 09:08:07
142阅读
# Hadoop配置要求
Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。Hadoop的配置要求对于系统的性能和稳定性至关重要。本文将介绍Hadoop的配置要求，并提供一些示例代码来帮助您进行配置。
## 硬件要求
Hadoop可以运行在多台服务器上，因此对于硬件的要求会有一些变化。以下是一些常见的硬件要求：
- 主节点：主节点负责管理整个Hadoop集群，因此需要具备
原创
2023-08-21 08:10:34
289阅读
3个机子且最低2核8g （4g就可以运行，但是无法创建租户使用。低于4g，observer program health check不通过，observer 无法启动。）https://blog.csdn.net/qqzhuimengren/article/details/130617750
原创
2024-08-14 14:00:18
0阅读
Kubernetes (K8s) 是一个开源的容器编排平台，用于自动化部署、扩展和管理应用程序容器。在使用Kubernetes之前，我们需要满足一些配置要求。本文将向刚入行的小白介绍Kubernetes的配置要求以及具体步骤，以帮助他实现关键词。
整个过程可以分为以下几个步骤：
1. 安装Kubernetes平台
2. 创建一个Kubernetes集群
3. 部署应用程序容器到集群中
4. 配
原创
2024-01-22 15:56:54
86阅读
# MySQL配置要求
## 概述
在开发过程中，经常需要使用MySQL数据库进行数据存储和管理。为了确保系统的正常运行，我们需要对MySQL进行相关的配置。本文将介绍MySQL配置的基本流程和每一步所需的操作。
## 流程图
```mermaid
erDiagram
developer -->> junior: 教授
junior -->> mysql: 配置要求
m
原创
2024-02-08 05:44:10
26阅读
