# 1.初识Java
### 什么是java
1995年由詹姆斯高斯林开发出一门面向对象编程语言
### Java SE 标准版
是各种应用平台的基础，主要应用于桌面开发和低端商务应用的解决方案。
### Java EE 企业版
以企业为环境开发应用程序的解决方案，这个版本以前称为J2EE。
### Java ME 微型版
为在移动设备和嵌入式设备上运行的应用程序提供一个健壮且灵活的环境
根据binlog日志导出数据库版本一致的情况下mysqlbinlog-udevuser-p-hxxx.xxx.xxx.xxx--read-from-remote-servermysql-bin.000580--start-datetime="2018-03-0800:00:00"--stop-datetime="2018-03-0823:00:59">a.sql
原创
2018-03-09 15:39:33
2520阅读
摘要：本文主要讨论一些在ETL中设计增量更新的方法和技巧。 ETL中增量更新是一个比较依赖与工具和设计方法的过程，Kettle中主要提供Insert / Update 步骤，Delete 步骤和Database Lookup步骤来支持增量更新，增量更新的设计方法也是根据应用场景来选取的，虽然本文讨论的是Kettle的实现方式，但也许对其他工具也有一些帮助。本文不可能涵盖所有的情况，欢迎大家讨论
数据抽取是 ETL 流程的第一步。我们会将数据从 RDBMS 或日志服务器等外部系统抽取至数据仓库，进行清洗、转换、聚合等操作。在现代网站技术栈中，MySQL 是最常见的数据库管理系统，我们会从多个不同的 MySQL 实例中抽取数据，存入一个中心节点，或直接进入 Hive。市面上已有多种成熟的、基于 SQL 查询的抽取软件，如著名的开源项目 Apache Sqoop，然而这些工具并不支持实时的数据...
原创
2022-03-28 17:45:20
531阅读
数据抽取是 ETL 流程的第一步。我们会将数据从 RDBMS 或日志服务器等外部系统抽取至数据仓库，进行清洗、转换、聚合等操作。在现代网站技术栈中，MySQL 是最常见的数据库管理系统，我们会从多个不同的 MySQL 实例中抽取数据，存入一个中心节点，或直接进入 Hive。市面上已有多种成熟的、基于 SQL 查询的抽取软件，如著名的开源项目 Apache Sqoop，然而这些工具并不支持实时的数据...
原创
2021-06-21 16:02:48
989阅读
一、JAVA中生成随机数的方式1、在j2se中使用Math.random()令系统随机选取一个0~1之间的double类型小数，将其乘以一个数，比如25，就能得到一个0~25范围内的随机数，这个在j2me中没有；int randomNumber = (int) Math.round(Math.random()*(max-min)+min);2、在System类中有一个currentTimeMill
转载
2023-07-02 10:42:12
93阅读
使用POI读取excel，并输出为sql语句一、准备工作二、编写代码(Transform.java)三、完整代码四、POI所有常用方法参考 一、准备工作1.1.新建一个普通的Maven项目1.2.使用Maven导入POI依赖POI包提供了大量的方法，可以使Java对Microsoft Office格式文档进行读/写的操作<dependencies>
<depe
转载
2023-08-14 10:57:52
132阅读
1.首先文件转为字节型数组byte[] bytes = multipartFile.getBytes();2.字节数组输入流在内存中创建一个字节数组缓冲区，从输入流读取的数据保存在该字节数组缓冲区中。创建字节数组输入流对象有以下几种方式。接收字节数组作为参数创建：ByteArrayInputStream bis = new ByteArrayInputStream(bytes);3.使用的是JAV
转载
2023-06-27 14:59:37
115阅读
数据抽取也成为数据拆分，是指保留、抽取原数据表中某些字段、记录的部分信息，形成一个新字段、新纪录。分为：字段拆分和随机抽样两种方法。一：字段拆分如何提取“身份证号码”字段。身份证号码里面包含了许多信息，例如省份、城市、出生日期、性别等等。我们将它抽取出来，就可以得到相应的字段。也就可以做相应的分析了。如用户的省份分布、出生日期、性别等。大家都知道在excel中使用字符函数（right、mid、le
转载
2023-12-18 11:10:47
34阅读
测试Maxwell读取Mysql的binlog
原创
2019-06-30 14:44:36
4286阅读
Java监听mysql的binlogbinlogmysql开启binlog查看是否开启binlog重启mysql服务代码实现运行结果 binlogmysql开启binlog修改mysql配置文件my.ini。添加下配置： 位于：C:\ProgramData\MySQL\MySQL Server 5.7 log_bin=mysql-bin binlog-format=Row查看是否开启binlog
转载
2023-09-26 23:31:37
216阅读
mysqlbinlog 工具提取两次变更所执行变更记录,其中-d 后面设置为要 ...本文由我司收集整编,推荐下载,如有疑问,请与我司联系 MySQL 主库删除 binlog 2016/07/25 0 随着时间增移,mysql 数据库的数据量越来越大,此时可以删除 部分没......D:\\Mysql\\bin>mysqlbinlog.exe d:/Mysql/backupLog.00003
转载
2023-08-18 13:43:49
85阅读
Java监听mysql的binlog详解(mysql-binlog-connector）1. 需求概述2. 技术选型3. 方案设计3.环境准备3.1 查看是否开启binlog3.2 mysql开启binlog4.代码实现4.1 创建springboot项目4.2 引入依赖4.3 监听实现5.实现验证 1. 需求概述业务开发中经常需要根据一些数据变更实现相对应的操作。例如，一些用户注销自己的账户，
转载
2023-08-18 09:06:25
206阅读
mysql数据变更捕获的实现已经有很多开源工具，比如canal,debezium,maxwell等等。alibaba/canal实现了mysql连接协议，debezium和maxwell等则是利用mysql-binlog-connector-java开源工具连接mysql数据源，实现获取bi
转载
2023-10-16 16:39:20
6阅读
【README】1.本文总结自 B站《尚硅谷-canal》；2.canal 介绍，可以参考 GitHub - alibaba/canal: 阿里巴巴 MySQL binlog 增量订阅&消费组件3. canal服务器配置包括 mysql配置，canal配置等；4.mysql服务器，canal服务器，canal客户端架构如下： 【1】mysql binlog日志【1.1】定义1）b
转载
2023-10-01 08:28:37
310阅读
java命令行参数工具 在我的系列文章的前七篇文章中，有关处理Java方法中期望的参数过多的内容集中在减少方法或构造函数期望的参数数量的替代方法上。 在本系列的第八篇文章中，我将介绍一些工具，这些工具可帮助您确定可能存在过多参数的情况，以及有助于在出现这种情况时进行处理的工具。 对于方法或构造函数中过多的参数，实际上并没有硬性规定 。 在许多方面，这都是一个问题，在一定程度上取决于这些参
转载
2023-12-28 15:18:01
52阅读
在Java中，如果输入一串由其他非数字字符隔开的数字，但却想要将其中的数字提取出来，网上已经给出多种解决方案，以下对这些方法及其对应的情况进行简单的总结，并提出自己的解决方案：1.多个由不确定字符隔开的单个数字该方法只适用于分离字符串中的单个数字字符，因此得到的结果也是个位数的数字。
例如：1 5、2,5。1 9 2此时可以考虑将输入存入String变量，依次读取字符串中的每个字符，并判断是
转载
2023-05-20 18:23:53
79阅读
binary log 简介二进制日志包含描述数据库更改的“事件”，例如表创建操作或表数据更改。它还包含可能已更改的语句的事件（例如:DELETE不匹配任何行），除非使用基于行的日志记录。二进制日志还包含有关每条语句使用更新数据多长时间的信息。二进制日志有两个重要用途：对于复制，复制源服务器上的二进制日志提供了要发送到副本的数据更改的记录。将源服务器二进制日志中包含的事件发送到其副本，副本执行这些事
转载
2023-12-19 20:45:23
89阅读
mysql的binlog日志过大，占用磁盘空间太多binlog文件首先分析找到binlog文件解析后分析一下：登录mysql查看binlog的位置，如果开启了binlog，log_bin为ONshow variables like '%log%';下图为具体的binlog文件解析binlog文件binlog文件是二进制文件，无法直接查看，需要先进行解析在mysql的安装目录bin下，使用mysql
转载
2023-12-19 21:25:25
137阅读
1 前言前面写了一篇文章《通过例子讲解Spring Batch入门，优秀的批处理框架》讲解Spring Batch入门，但要发挥它的作用，并行处理不能不了解。2 四种模式大多数情况下，单线程、单进程的Spring Batch已经能满足你的需求。在我们走向更复杂的特性之前，先看看简单的能不能用，Keep it Simple and Stupid。不过，当你确定要使用并行处理时，Spring Batc
