1 背景合规要求将数据库中的敏感用户信息脱敏，账号中心和账户中心的数据库都有明文手机号。2 解决思路分两部分看，存量数据和增量数据，其中增量数据要先处理。
增量数据，可以通过 Getter、Setter 来实现加解密。另外 Dao（Repository）可能包含 findByPhone 的查询，需要调整为先根据密文查询，如果结果为空，那么根据再明文查询一遍。
存量数据，需要加密数据库中存量的明文手
转载
2023-07-23 22:11:30
25阅读
前言多线程是java的比较重要的特性之一，现在记录一个使用多线程解决实际问题的栗子背景假设有一个模型服务，它的功能是通过输入的手机号来计算分数。例如支付宝的芝麻分。现在我有一个很大的客户手机号集合，数据量集是百万级别的。产品的要求是用尽可能短的时间将客户手机号集合中的每一个手机号都要匹配出分数。可行性分析假设模型服务成功处理一笔交易的时间是50ms，如果使用传统单线程的方式，每秒最多处理20笔交易
转载
2023-10-04 16:04:42
215阅读
# SparkSQL跑批简介
在大数据处理领域，SparkSQL是Apache Spark中的一个组件，它使得用户能够以结构化数据为基础，使用SQL语言进行数据分析。SparkSQL的核心是支持大规模的数据处理能力，能够有效地处理海量数据。同时，SparkSQL结合了Spark的分布式计算能力，使得数据查询和分析变得高效。
## SparkSQL的工作原理
SparkSQL工作在Spark核
一、各个时间可用值如下：
秒 0-59 , - * /
分 0-59 , - * /
小时 0-23 , - * /
日 1-31 , - * ? / L W C
月 1-12 or JAN-DEC , - * /
周几 1-7 or SUN-SAT , - * ? / L C #
年 (可选字段) empty, 1970-2099 , - * /
二、可用
转载
2023-10-06 19:13:16
142阅读
在现代软件开发中，“跑批”是一种通过预设的脚本或程序在后台定期处理大量数据的机制。其中，使用 Java 语言进行跑批处理已成为许多企业的首选方案。然而，在实际应用过程中，开发者常常会遇到各种技术难题。接下来，我将复盘记录处理“跑批 Java”过程的方式，详细阐述解决方案，并展开对环境准备、集成步骤等方面的详细分析。
## 环境准备
在开始跑批处理之前，首先需要准备好开发环境，并安装必要的依赖。
# 如何实现“python 跑批”
## 流程图:
```mermaid
flowchart TD;
A(开始)-->B(准备数据);
B-->C(加载数据);
C-->D(数据处理);
D-->E(保存结果);
E-->F(结束);
```
## 步骤:
| 步骤 | 描述 |
|------|----------|
| 1 | 准备
原创
2024-04-23 03:41:08
37阅读
收到业务告警邮件，某个跑批未执行成功。结果是生产上跑批到某个时间点时，突然所有跑批都断批了，查看日志quartz也没有了调度日志，spring-batch也没有报错日志排查了： 一、查看最后一次跑批内容、最后一条日志内容（info级别），考虑到无影响 二、查看uat是否有此现象，uat正常，对比生产、uat项目配置文件（包都是一样的，uat、
转载
2023-09-18 14:12:31
219阅读
Python脚本日志系统 Python通过logging模块提供日志功能，关于logging模块的使用网络上已经有很多详细的资料，这里要分享的是怎样在实际工程中使用日志功能。 假设要开发一个自动化脚本工具，工程结构如下，Common这个package是框架功能的实现，Scripts目录是我们编写的测试用例脚本（请忽略其他不相关的目录）。 我们对日志功能的需求如下： 1 为了便于
转载
2024-04-19 20:55:52
116阅读
# Linux下MySQL执行SQL脚本打印日志
在日常的数据库管理中，我们经常需要执行一些SQL脚本来操作数据库，有时候我们也希望能够将执行过程中的日志打印出来，以便查看执行过程和结果。在Linux系统中，可以通过一些简单的命令来实现这个需求。
## 使用Linux下的mysql命令执行SQL脚本
在Linux系统中，可以使用mysql命令来执行SQL脚本。首先，我们需要登录到MySQL服
原创
2024-05-07 07:21:42
184阅读
在window下写好的程序配置到Linux上，要实现随意文件夹下的命令调用。因为初学Linux，这里从文件传输等最主要的方法入手，记录配置的过程中遇到的各种问题。 连接远端server这里使用putty这个工具，用SSH方法连上远端server 传输文件使用FTP传输，这里用filezilla作为本地server，图形化界面，方便快捷文件中引用的python包wget url
转载
2024-02-23 17:47:22
45阅读
一、条件判断1、if语法 if [ command ];then
符合该条件执行的语句
elif [ command ];then
符合该条件执行的语句
else
符合该条件执行的语句
fi2、注意1、[ ]表示条件测试。注意这里的空格很重要。要注意在'['后面和']'前面都必须要有空格
2、在shell中，then和fi是分开的语句。如果要在同一行里面输入
转载
2024-05-15 06:16:20
56阅读
要想多个进程交替运行，操作系统必须对这些进程进行调度，这个调度也不是随即进行的，而是需要遵循一定的法则，由此就有了进程的调度算法。一、先来先服务调度算法先来先服务（FCFS）调度算法是一种最简单的调度算法，该算法既可用于作业调度，也可用于进程调度。FCFS算法比较有利于长作业（进程），而不利于短作业（进程）。由此可知，本算法适合于CPU繁忙型作业，而不利于I/O繁忙型的作业（进程）。二、短作业优先
转载
2023-06-19 21:43:05
140阅读
批处理（Batch Processing）是将一系列命令或程序按顺序组合在一起，在一个批处理文件中批量执行。在计算机中，批处理可以让计算机自动完成重复性的任务，例如打印文档、备份数据、定时运行程序等。在Java中，批处理可以使用Java语言中的ProcessBuilder类来实现。ProcessBuilder类允许Java程序启动并执行外部进程，并且还可以将输出重定向为Java程序的输入流。批处理
转载
2023-10-04 20:24:55
224阅读
摘要：SPL实现了更优算法，性能远远超过存储过程，能显著提高单机计算效率，非常适合跑批计算。
华为云社区《Java开源专业计算引擎：跑批真的这么难吗？》，作者： Java李杨勇。业务系统产生的明细数据通常要经过加工处理，按照一定逻辑计算成需要的结果，用以支持企业的经营活动。这类数据加工任务一般会有很多个，需要批量完成计算，在银行和保险行业常常被称为跑批，其它像石油、电力等行业也经常会有跑批
转载
2024-04-30 16:54:53
54阅读
Oracle生产中跑批存储过程或函数失效原因分析以及解决方案:报错信息:原因分析:1.当我们编译存储过程或函数时,该过程或函数引用的所有Oracle对象都将记录在数据字典中。该过程就依赖于这些存储的对象。我们可以看到在数据字典中显示了标志为非法的有编译错误的子程序。同样,如果一个DDL操作运行在其所相关的对象上时，存储子程序也将是非法的。当对象变更时，其相关的对象就会变成非法对象。如果
转载
2023-12-21 23:20:42
132阅读
Job与JobDetail是Quartz用来定义具体任务的，而Trigger则是用来定义任务如何执行的。Quartz提供了Trigger接口来定义公共属性，使用TriggerBuilder能够建立具体类型的Trigger；最多见的两种Trigger分别是SimpleTrigger、CronTrigger。javaTrigger的公共属性：key，该属性是为了标识Trigger的。startTime
转载
2023-07-24 15:32:22
98阅读
前言：无论是工作还是学习中，排查程序错误的主要手段往往是通过程序的运行日志去查看，无论是开发，还是运维。也许会有小伙伴对程序运行日志的生成感到神奇（在写这个之前我也感觉很高大上），那等你看完本文你也能做出来了。1、场景模拟按照惯例，先来个场景模拟。1.1、场景设计假设产品经理要求写一个不算很长的Python脚本，主要作用是判断一个文件是否存在，代码内容如下：import logging
impor
转载
2024-03-20 15:10:03
172阅读
目录一、数据库（DataBase，DB）二、数据库管理系统 （DataBaseManagement，DBMS）三、SQL四、数据库与管理系统关系五、MySQL六、MySQL安装七、常用指令八、关于SQL语句（一）分类九、DQL具体操作（一）导入数据库 （二）查表（三）条件查询（四）、数据处理行数（五）、分组函数（六）、分组查询（重要！）（七）、distinct（八）、连接查询（1）分类（
转载
2024-09-10 12:34:20
40阅读
业务迅速发展带来了跑批数据量的急剧增加。单机处理跑批数据已不能满足需要，另考虑到企业处理数据的扩展能力，多机跑批势在必行。多机跑批是指将跑批任务分发到多台服务器上执行，多机跑批的前提是”数据分片”。elasticJob通过JobShardingStrategy支持分片跑批。 跑批配置需要做如下修改：
转载
2018-07-01 10:36:00
660阅读
2评论
# 如何实现“mysql创建跑批”
## 1. 流程图
```mermaid
flowchart TD
A[准备数据表] --> B[编写SQL语句]
B --> C[创建定时任务]
```
## 2. 状态图
```mermaid
stateDiagram
[*] --> 操作数据表
操作数据表 --> 编写SQL语句
编写SQL语句 --> 创建
原创
2024-04-14 03:20:45
50阅读
