Seattle小小瓜的博客_分类

Spring Boot集成MongoDB Plus：高效数据管理

引言随着大数据时代的到来，传统的关系型数据库在处理非结构化数据时显得力不从心。MongoDB，作为一款高性能、高可用的NoSQL数据库，以其灵活的文档存储格式和强大的查询能力，成为了许多开发者处理大数据的首选。Spring Boot作为Java生态中快速开发框架的佼佼者，与MongoDB的结合无疑会为开发者带来更加流畅的开发体验。本文将介绍如何在Spring Boot项目中集成MongoDB Pl

开发者

spring

数据管理

原创精选 3月前 624 阅读

Spring Boot集成RabbitMQ使用Spring Cloud Stream

在微服务架构中，消息队列扮演着至关重要的角色，用于服务间的消息传递、解耦和扩展性。RabbitMQ是一个流行的开源消息代理，也称为消息队列。Spring Cloud Stream是一个框架，用于在Spring Boot应用程序中轻松地发送和接收消息，它抽象了消息传递的细节，让我们可以更简单地集成消息队列。引入依赖首先，你需要在Spring Boot项目的pom.xml文件中添加spring-clo

spring

Cloud

消息传递

原创精选 3月前 299 阅读

Java中「Future」接口详解

一、背景在系统中，异步执行任务，是很常见的功能逻辑，但是在不同的场景中，又存在很多细节差异；有的任务只强调「执行过程」，并不需要追溯任务自身的「执行结果」，这里并不是指对系统和业务产生的效果，比如定时任务、消息队列等场景；但是有些任务即强调「执行过程」，又需要追溯任务自身的「执行结果」，在流程中依赖某个异步结果，判断流程是否中断，比如「并行」处理；【串行处理】整个流程按照逻辑逐步推进，如果出现异常

System

线程池

抛出异常

原创精选 2023-04-17 09:35:06 190 阅读

Thymeleaf企业级真实应用：将HTML界面数据转换为PDF输出

Thymeleaf模板引擎使用，Java又一神器1.Thymeleaf说明1.1什么是ThymeleafThymeleaf是一种现代化的服务器端Java模板引擎，可以用于Web和独立环境中的HTML、XML、JavaScript、CSS和文本。在实际开发中，Thymeleaf可以用于生成动态的HTML页面，支持将数据与模板进行绑定，生成最终的HTML内容。它是一个开源的软件，采用Apache许可证

HTML

html

数据

原创精选 2023-04-14 15:55:53 782 阅读

你应该懂点Mybatis-plus，真的好用

1.mybatis-plus是什么？Mybatis-plus 是一个基于 Mybatis 的增强工具，提供了许多便捷的 CRUD 操作和其他实用功能，简化了数据库访问的开发工作。它是 Mybatis 的一个开源组件，遵循 Apache 2.0 协议。Mybatis-plus 的主要功能包括：自动代码生成器：通过简单配置，可以快速生成 Mapper 接口和实体类的代码；便捷的 CRUD 操作：提供了

bc

User

字段

原创精选 2023-04-14 15:54:51 844 阅读

mybaits-plus优雅的实现数据权限

前言项目使用mybaits-plus，所以在mybaits-plus的基础上增加数据权限的过滤mybaits-plus自带数据权限支持，但由于系统数据权限相对复杂，通过查看文档发现好像并不适用，且原项目版本低，所以最终还是通过自己的方式实现数据范围我们系统相对复杂，比如可以按机构/用户等多种维度过滤，并且可以指定全局和某个特定接口的过滤方式其实数据范围过滤落地也不过是：数据表的某字段限制在一个范围

数据

字段

sql

原创精选 2023-04-07 14:51:07 1965 阅读

支付宝定时任务怎么做？三层分发任务处理框架介绍

一、背景介绍技术同学对定时任务肯定不陌生。定时任务一般用来定时批量进行业务处理。支付宝卡包券到期提醒、删除过期失效券，五福大促批量给用户发放添福红包等场景，都是通过定时任务触发来完成的。作者有幸参与了2023兔年五福大促的开发，主导完成了福气乐园分会场平分5000万大奖需求。通过学习并运用五福定制三层分发任务处理框架，最终平稳丝滑的完成了平分大奖需求任务。本文将从单机定时调度开始，循序渐进地带领大

定时任务

任务处理

定时调度

原创推荐 2023-04-07 14:50:03 1749 阅读

Go 语言体系下的微服务框架选型: Dubbo-go

本文介绍了Go 微服务体系发展与选型，过去一年优雅上下线以及对未来的展望。作者简介：牛学蔚（GitHub: @justxuewei）：Apache Dubbo PMC，对云原生、中间件、容器等领域有浓厚兴趣，活跃在 Dubbo 和 Kata containers 两个开源项目中。一、Go 微服务体系发展与选型随着微服务技术的快速发展，其在各个领域都形成了一系列事实标准，在 Kubernetes 和

微服务

Go

数据

原创推荐 2023-04-06 09:41:17 389 阅读

Java高级开发必会的50个性能优化的细节

在JAVA程序中，性能问题的大部分原因并不在于JAVA语言，而是程序本身。养成良好的编码习惯非常重要，能够显著地提升程序性能。● 1. 尽量在合适的场合使用单例如果想学习Java工程化、高性能及分布式、深入浅出。微服务、Spring，MyBatis，Netty源码分析的朋友可以加我的Java高级交流：854630135，群里有阿里大牛直播讲解技术，以及Java大型互联网技术的视频免费分享给大家。使

数组

Java

缓存

原创精选 2023-03-24 12:11:59 367 阅读 yyds干货盘点

Java操作Elasticsearch 之 [Java High Level REST Clientedit]

<a name="VbjtD"></a>1. 简述Elasticsearch 是基于 Lucene 开发的一个分布式全文检索框架，向 Elasticsearch 中存储和从 Elasticsearch 中查询，格式是json。向 Elasticsearch 中存储数据，其实就是向 es 中的 index 下面的 type 中存储 json 类型的数据。elasticsear

客户端

elasticsearch

Java

原创精选 2023-03-24 12:10:41 574 阅读

SpringCloud Gateway使用

本文基于springboot+nacos+gateway实现，使用springboot作为基础工程，nacos作为注册中心及配置中心，gateway作为网关项目整体使用版本号: springboot-2.6.8 springcloud-2021.0.3 spring-cloud-alibaba-2021.0.1.01. Gateway网关服务：创建普通的springboot工程，网关服务中不要添加

spring

ci

bootstrap

原创精选 2023-03-23 15:43:18 327 阅读 yyds干货盘点

Spring Cloud alibaba之Feign

JAVA项目中如何实现接口调用？Httpclient Httpclient是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的支持Http协议的客户端编程工具包，并且它支持HTTP协议最新版本和建议。HttpClient相比传统JDK自带的URL Connection，提升了易用性和灵活性，是客户端发送HTTP请求变得容易，提高了开发的效率。Okhttp 一个

spring

HTTP

客户端

原创推荐 2023-03-23 15:42:24 378 阅读 yyds干货盘点

Java高级特性-文件操作

通过Java程序完成对于文件和文件夹的创建，删除，移动，读取和写入等操作。基本操作import java.awt.*;import java.io.File;import java.io.IOException;import java.util.Arrays;public class TestFileOperation { public static void main(String[] a

System

java

创建文件

原创精选 2023-03-17 10:02:25 260 阅读 yyds干货盘点

Java 8 Stream高级操作

Streams支持大量不同的操作。我们已经了解了最重要的操作，如filter，map。发现所有其他可用的操作（参见Stream Javadoc）。我们深入研究更复杂的操作collect，flatMap，reduce。本节中的大多数代码示例使用以下人员列表进行演示：class Person { String name; int a

System

字符串

List

原创精选 2023-03-17 10:01:32 383 阅读 yyds干货盘点

MySQL必知必会：用十一张图讲清楚，当你CRUD时BufferPool中发生了什么！

一、前言下面让我们就一起看下，当你执行CURD时，InnoDB的Buffer Pool中都发生了什么！以及Buffer Pool的优化！二、Let‘s go你知道的，MySQL对数据的增删改查都是内存中完成的，这块内存就是Buffer Pool。你可以像下面这样查看下你的MySQL的Buffer的Buffer Pool的默认大小上图中的0.125单位为GB，转换成MB就是 1024* 1/8 =

缓存

MySQL

数据区

原创精选 2023-03-16 09:59:48 327 阅读 yyds干货盘点

Spring Boot 启动扩展点

1.背景Spring的核心思想就是容器，当容器refresh的时候，外部看上去风平浪静，其实内部则是一片惊涛骇浪，汪洋一片。Springboot更是封装了Spring，遵循约定大于配置，加上自动装配的机制。很多时候我们只要引用了一个依赖，几乎是零配置就能完成一个功能的装配。我非常喜欢这种自动装配的机制，所以在自己开发中间件和公共依赖工具的时候也会用到这个特性。让使用者以最小的代价接入。想要把自动装

spring

实例化

初始化

原创精选 2023-03-16 09:58:42 310 阅读 yyds干货盘点

图解 DataX 核心设计原理

DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。前段时间我在 K8s 相关文章中有提到过数据同步的项目，该项目就是基于 DataX 内核构建的，由于公司数据同步的需求，还需要在 DataX 原有的基础上支持增量同步功能，同时支持分布式调度

数据源

数据同步

Group

原创推荐 2023-03-15 13:46:58 491 阅读 yyds干货盘点

Datax-web 集群化部署使用（图文教程超详细）

环境准备1）基础软件安装 MySQL (5.5+) 必选，对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库 JDK (1.8.0_xxx) 必选 DataX 必选 Python (2.x) (支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax-web/datax-python3下) 必选，主要用于调

python

MySQL

Python

原创推荐 2023-03-15 13:37:16 1842 阅读 yyds干货盘点

DataX 增量同步数据（shell）

全量数据导出请查看DataX mongodb导出数据到mysqlDatax UDF手册datax.py mongodb2mysql_inc.json{ "job": { "setting": { "speed": { "channel": 4 } }, "content": [{ "reader": {

mysql

mongodb

json

原创精选 2023-03-14 09:47:16 1980 阅读 yyds干货盘点

DolphinScheduler 调度 DataX 实现 MySQL To MySQL 增量数据同步实战

背景MySQL库A 到 MySQL库B的增量数据同步需求DolphinScheduler中配置DataX MySQL To MySQL工作流工作流定义工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件 SHELL组件(文章) 脚本echo '文章同步 MySQL To MySQL'DATAX组件(t_article) 用到2个插件mysqlread

mysql

MySQL

bc

原创精选 2023-03-14 09:45:52 2830 阅读 yyds干货盘点

clickhouse从Kafka中导入数据

操作步骤在ClickHouse集群中新建Kafka消费表。CREATE TABLE default.kafka_src_table ON CLUSTER default( //定义表结构的字段 id Int32, age Int32, msg String ) ENGINE = Kafka()SETTINGS kafka_broker_lis

kafka

数据

json格式

原创精选 2023-03-08 10:24:53 909 阅读技术人为什么要写博客？

使用clickhouse kafka表引擎消费kafka写入clickhouse

Clickhouse 本身为一个分析型数据库，提供很多跟其他组件的同步方案，本文将以 Kafka 作为数据来源介绍如何将 Kafka 的数据同步到 Clickhouse 中。流程图话不多说，先上一张数据同步的流程图建表在数据同步之前，我们需要建对应的 clickhouse 表，根据上面的流程图，我们需要建立三个表：1.数据表2.kafka 引擎表3.物化视图数据表# 创建数据表CREATE DAT

kafka

数据

zookeeper

原创精选 2023-03-08 10:22:33 2208 阅读 1点赞 1收藏 1评论技术人为什么要写博客？

Clickhouse实现累计求和cumulative sum

源表数据如下：timeprovinceorder_cnt20200601shandong10020200601jiangsu20020200601zhejiang30020200602shandong20020200602jiangsu30020200602zhejiang40020200603shandong40020200603jiangsu50020200603zhejiang600需求是按

服务器

bc

表数据

原创精选 2023-03-07 14:15:42 1897 阅读

【Clickhouse】Spark通过ClickHouse-Native-JDBC写入Clickhouse

目前通过JDBC写Clickhouse有两种插件可以用官方的JDBC：8123端口基于HTTP实现的，整体性能不太出色，有可能出现超时的现象 housepower的ClickHouse-Native-JDBC：9000端口基于TCP协议实现，支持高性能写入，数据按列组织并有压缩记录下使用ClickHouse-Native-JDBC的过程： Spark版本：2.1.0 C

spark

bc

apache

原创精选 2023-03-07 14:13:55 2215 阅读技术人为什么要写博客？

clickhouse高级功能之MaterializeMySQL详解

clickhouse 20.8将新增 MaterializeMySQL引擎 ,可通过binlog日志实时物化mysql数据，极大提升了数仓的查询性能和数据同步的时效性；原有mysql中承担的数据分析工作可交由clickhouse去做，这么做可显著降低线上mysql的负载，从此OLTP与OLAP业务实现完美融合知识列表介绍目前 MaterializeMySQL database engin

mysql

数据

ci

原创推荐 2023-03-06 10:05:15 1442 阅读技术人为什么要写博客？

clickhouse优化最佳实践(易企秀)

clickhouse在易企秀数据仓库项目中已投入使用两年，主要为内部用户提供快速查询和多维分析的能力；希望你在业务当中遇到的性能问题，在这里都能得到解决Clickhouse堪称OLAP领域的黑马，最近发布的几个版本在多表关联分析上也有了极大的性能提升，尤其是还引入了MaterializeMySQL Database Engine做到了实时对齐业务线mysql中的数据。表优化数据类型建表时能用数值型

数据

字段

mysql

原创精选 2023-03-06 10:03:45 355 阅读技术人为什么要写博客？

MySQL行列互转

sudo service mysql start --启动mysql服务mysql -u root --使用root用户登录quit /exit --退出set names utf8; --设置传输编码,避免中文乱码source d:/xxx.sql; --source 文件路径 create table tb_score( id int(11) not null auto_incr

mysql

字段

行转列

原创推荐 2023-03-05 11:17:16 1482 阅读技术人为什么要写博客？

SQL笔记--MySQL高级操作

MySQL高级SQL操作数据新增多数据插入蠕虫复制主键冲突查询数据查询选项别名数据源where子句group by子句having子句order by子句limit子句更新数据限制更新删除数据限制删除数据清除1、统计不同班级的人数信息按照现有SQL操作，即便数据表已经存在数据，但是我们也无法通过SQL实现，只能取出来后通过其他代码对数据进行加工实现通过高级SQL学习，我们就可以通过一条SQ

字段

数据

数据源

原创推荐 2023-03-05 11:15:46 1049 阅读技术人为什么要写博客？

MySQL基础与MySQL高级特性,性能优化

MySQL面试热点与MySQL高级特性,性能优化一、MySQL基础1.1范式三范式一范式：原子性，每列不可再拆分二范式：不产生局部依赖，每列完全依赖于主键，一张表只描述一件事情三范式：不产生传递依赖，所有的列都直接依赖于主键，使用外键关联，外键都来源于其他表的主键反三范式反3NF：为了提高数据库的性能，增加冗余字段，以便提高查询性能1.2select语句执行顺序编写顺序select distinc

存储过程

数据

MySQL

原创推荐 2023-03-03 22:52:08 542 阅读 1收藏 聊一聊WuKong编辑器

「MySQL高级篇」MySQL索引原理，设计原则

专栏引言MySQL，一个熟悉又陌生的名词，早在学习Javaweb的时候，我们就用到了MySQL数据库，在那个阶段，MySQL对我们来说似乎只是一个存储数据的好东西，存储时一股脑往里边塞，查询时也是盲目的全表查询(不带一点点优化)。我们总是自欺欺人的觉得，我们通过其他方面来优化就好了阿，迟迟不愿面对MySQL高级，转而学习一些看似更为"高级"的东西，学Redis，来分担MySQL的压力，学MyCat

数据

主键

MySQL

原创推荐 2023-03-03 22:50:18 960 阅读技术人为什么要写博客？

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

13136445

Spring Boot集成MongoDB Plus：高效数据管理

Spring Boot集成RabbitMQ使用Spring Cloud Stream

Java中「Future」接口详解

Thymeleaf企业级真实应用：将HTML界面数据转换为PDF输出

你应该懂点Mybatis-plus，真的好用

mybaits-plus优雅的实现数据权限

支付宝定时任务怎么做？三层分发任务处理框架介绍

Go 语言体系下的微服务框架选型: Dubbo-go

Java高级开发必会的50个性能优化的细节

Java操作Elasticsearch 之 [Java High Level REST Clientedit]

SpringCloud Gateway使用

Spring Cloud alibaba之Feign

Java高级特性-文件操作

Java 8 Stream高级操作

MySQL必知必会：用十一张图讲清楚，当你CRUD时BufferPool中发生了什么！

Spring Boot 启动扩展点

图解 DataX 核心设计原理

Datax-web 集群化部署使用（图文教程超详细）

DataX 增量同步数据（shell）

DolphinScheduler 调度 DataX 实现 MySQL To MySQL 增量数据同步实战

clickhouse从Kafka中导入数据

使用clickhouse kafka表引擎消费kafka写入clickhouse

Clickhouse实现累计求和cumulative sum

【Clickhouse】Spark通过ClickHouse-Native-JDBC写入Clickhouse

clickhouse高级功能之MaterializeMySQL详解

clickhouse优化最佳实践(易企秀)

MySQL行列互转

SQL笔记--MySQL高级操作

MySQL基础与MySQL高级特性,性能优化

「MySQL高级篇」MySQL索引原理，设计原则