数据库篇数据库MySQL架构引擎MyIsamInnoDB索引hash索引B+树分库分表原因垂直拆分水平拆分日志redoundo调优事务ACID带来的问题事务隔离级别解决Redis优点数据结构缓存问题缓存雪崩缓存击穿缓存穿透布隆过滤器持久化机制AOFRDB过期键删除策略定期删除惰性删除淘汰策略与MySQL数据不一致同步机制集群主从模式哨兵模式集群模式分布式锁PostgreSQL 数据库MySQL架
随着业务量增加，原采用的mysql 对大量业务数据的处理效率降低，公司采购的ODPS（MaxCompute） 阿里数据处理平台，其以Fuxi分布式调度算法和pangu文件服务器为基础，具有极高的数据处理能力，本篇主要记录数据同步的实现方案，方便备查。一、源数据库 => ODPS数据同步可分为全量同步和增量同步两种方式全量同步为直接取全部的数据同步到目标数据源，适用于数据量较少，对时间要求不高
转载
2023-08-16 10:32:14
794阅读
在odps中使用方式如下 。-- select 1,-- case when length(regexp_extract('上海市浦东新区西门路588弄-39-～42号','(.+省|.+自治区)(.+市)',1))=0 -- then regexp_extract('上海市浦东新区西门路588弄','(.+市)',1)-- else regexp_extract('上海市浦东新区西门路...
原创
2021-12-31 16:39:23
611阅读
在处理大数据时，使用ODPS（Open Data Processing Service）进行Java写入数据的操作，尤其是`ODPS INSERT INTO`语句，往往面临技术上的一些挑战。本文将分享关于如何使用Java将数据写入ODPS的经验，涵盖背景定位、演进历程、架构设计、性能攻坚、故障复盘及扩展应用等内容。
### 背景定位
在数据处理的初期，我们遇到了各种技术痛点，尤其是在数据写入的
记录：281场景：在实际开发中，开发文档中的建表信息以表格的方式提供，包括字段名称、字段类型、字段注释、是否为空等。本例就是先把表格信息转换为约定格式的txt文件，在使用Java代码生成完整的ODPS建表语句(MaxCompute建表语句)。版本：Spring Boot 2.6.3名词：ODPS：Open Data Processing Service。MaxCompute：云原生大数据计算服务(
转载
2023-11-24 10:42:06
250阅读
在学习J2EE的JDBC过程中，刚见到JDBC就马上联想到了ODBC，而且我们可以肯定他们之间有必然的关系。开始学它的时候还是觉得有点晕，于是就查了很多资料，与比较熟悉的ODBC进行了比较。 先各自简单介绍一下ODBC和JDBC。 ODBC（Open Database Con
转载
2023-11-08 23:04:49
58阅读
# Java ODPS 获取数据
## 1. 概述
在大数据处理领域中，ODPS（Open Data Processing Service）是一种分布式数据处理平台，由阿里云提供。它可以用于存储和处理海量的结构化数据。Java ODPS SDK是一个用于访问ODPS的Java开发工具包。
本文将介绍如何使用Java ODPS SDK获取数据，包括连接到ODPS，执行SQL查询和获取查询结果。
原创
2024-01-04 05:47:21
273阅读
# Java读取ODPS数据教程
## 一、整体流程
下面是Java读取ODPS数据的整体流程。
```mermaid
pie
title Java读取ODPS数据流程
"连接ODPS" : 30
"创建表对象" : 20
"设置查询条件" : 20
"执行查询" : 20
"处理查询结果" : 10
```
## 二、具体步骤及代码示例
原创
2023-11-06 09:47:43
426阅读
### ODPS Java写入数据
Apache ODPS（Open Data Processing Service）是阿里云推出的一种大数据计算和分析的云服务。它提供了强大的数据存储和计算能力，可以支持PB级别的数据处理。ODPS基于MaxCompute进行开发，可以通过Java SDK来进行数据的读写操作。
本文将介绍如何使用ODPS Java SDK进行数据写入操作，包括创建表、上传数据
原创
2023-12-09 09:04:25
701阅读
前言 这个系列的文章主要用来记录我在学习和复习Java基础知识的过程中遇到的一些有趣好玩的知识点，希望大家也喜欢。一切皆对象对于软件工程来说面向对象编程有一套完整的解决方案：OOA、OOD、OOP， 作为程序员来讲，OOP其实是直接接触最多的。Java中OOP最直接的体现就是java.lang.Object了，一切都是对象（除了原生类型，原生类型的 PrimitiveClass对象由
转载
2024-10-13 13:24:11
5阅读
背景介绍：大数据云平台如ODPS是离线计算平台，其内含表结构在初始化时就已经固定，而源端的ORACLE，MySQL等都是云下实时在线数据库，云上云下无法形成统一的感知交互和事后处理，一旦源端表结构发生变化，而云平台又未及时获知，对后续的应用业务，OGG，流计算等都会造成不小的麻烦，时间越长需要补做的数据就越多，对业务的影响也就越大，甚至需要重新初始化，加大人力成本和时间成本。表结构变化包括：列字段
转载
2023-09-25 15:38:43
86阅读
JDBC 和 ODBC 都是 API （应用程序编程接口），它帮助客户端的应用程序访问服务器端的数据库。下面本篇文章就来认识一下 JDBC 和 ODBC ，简单介绍一下它们之间的区别，希望对大家有所帮助。JDBC 是什么？JDBC 表示 Java 数据库连接，是一种应用程序编程接口，即 API 。 JDBC 是作为 Java 开发工具包（JDK）1.1的一部分发布的。它是建立在 ODBC 的基础上
转载
2024-01-27 19:39:11
69阅读
窗口函数是一个查询利器，平时遇到棘手的问题，90%能够用窗口函数解决。 本篇内容主要介绍比较常用的窗口函数，看完这篇文章，基本能够解决大部分查询问题本篇主要内容如下 本篇采用的数据集是 titanic的train.csv数据，截取前几行如下：字段含义passengerididsurvived0 死亡 1 获救pclass船舱等级sex性别age年龄fare船票费用1.排序函数 题目：不同性别下 年
php操作数据库有很多种方式，如mysql，mysqli，odbc,pdo等。MySQL 是 PHP 操作 MySQL 数据库最原始的 Extension。MySQLi 的 i 代表 Improvement ，提供了相对进阶的功能，就 Extension 而言，本身也增加了安全性，这都只是操作特定种类的数据库的，当你更换其他类型的数据库时又得使用其他类型数据库的操作方法来操作数据库，也就是得重写代
数据抽取也成为数据拆分，是指保留、抽取原数据表中某些字段、记录的部分信息，形成一个新字段、新纪录。分为：字段拆分和随机抽样两种方法。一：字段拆分如何提取“身份证号码”字段。身份证号码里面包含了许多信息，例如省份、城市、出生日期、性别等等。我们将它抽取出来，就可以得到相应的字段。也就可以做相应的分析了。如用户的省份分布、出生日期、性别等。大家都知道在excel中使用字符函数（right、mid、le
转载
2023-12-18 11:10:47
34阅读
《ODPS权威指南》笔记ODPS简介ODPS是什么**ODPS（Open Data Processing Services）**是一个海量数据处理平台，提供大数据处理的云计算服务，基于阿里巴巴自主研发的分布式操作系统开发，主要提供结构化和半结构化数据的存储和计算。ODPS的作用基于SQL构建大规模数据仓库和企业BI系统于DAG和Graph等分布式编程模型开发数据应用基于统计和机器学习算法开发大数据
转载
2023-12-19 20:36:16
117阅读
1、dos系统中 java命令的使用： 用法：java [options] <主类> [args…] （执行类） 或 java [options] -jar <jar 文件> [args…] （执行 jar 文件） 或 java [options] -m <模块>[/<主类>] [args…] java [options] --module <
转载
2023-08-08 07:40:49
272阅读
# Java连接ODPS获取数据
在大数据时代，ODPS（Alibaba Cloud's Open Data Processing Service）成为了一个强大的数据处理平台。开发者可以使用Java与ODPS进行数据交互，这为大数据分析和处理带来了极大的便利。本文将介绍如何使用Java连接ODPS并获取数据，同时提供示例代码和相关说明。
## 1. 环境准备
在开始之前，我们需要做好一些准
原创
2024-09-22 05:28:58
579阅读
使用POI读取excel，并输出为sql语句一、准备工作二、编写代码(Transform.java)三、完整代码四、POI所有常用方法参考 一、准备工作1.1.新建一个普通的Maven项目1.2.使用Maven导入POI依赖POI包提供了大量的方法，可以使Java对Microsoft Office格式文档进行读/写的操作<dependencies>
<depe
转载
2023-08-14 10:57:52
132阅读
1.首先文件转为字节型数组byte[] bytes = multipartFile.getBytes();2.字节数组输入流在内存中创建一个字节数组缓冲区，从输入流读取的数据保存在该字节数组缓冲区中。创建字节数组输入流对象有以下几种方式。接收字节数组作为参数创建：ByteArrayInputStream bis = new ByteArrayInputStream(bytes);3.使用的是JAV
转载
2023-06-27 14:59:37
115阅读
