Seattle小小瓜的博客_分类

Spring Boot集成MongoDB Plus：高效数据管理

引言随着大数据时代的到来，传统的关系型数据库在处理非结构化数据时显得力不从心。MongoDB，作为一款高性能、高可用的NoSQL数据库，以其灵活的文档存储格式和强大的查询能力，成为了许多开发者处理大数据的首选。Spring Boot作为Java生态中快速开发框架的佼佼者，与MongoDB的结合无疑会为开发者带来更加流畅的开发体验。本文将介绍如何在Spring Boot项目中集成MongoDB Pl

开发者

spring

数据管理

原创精选 3月前 622 阅读

Spring Boot集成RabbitMQ使用Spring Cloud Stream

在微服务架构中，消息队列扮演着至关重要的角色，用于服务间的消息传递、解耦和扩展性。RabbitMQ是一个流行的开源消息代理，也称为消息队列。Spring Cloud Stream是一个框架，用于在Spring Boot应用程序中轻松地发送和接收消息，它抽象了消息传递的细节，让我们可以更简单地集成消息队列。引入依赖首先，你需要在Spring Boot项目的pom.xml文件中添加spring-clo

spring

Cloud

消息传递

原创精选 3月前 297 阅读

springboot项目添加spring-boot-starter-mail依赖使用可配置管理

背景：springboot项目添加了spring-boot-starter-mail依赖，存在部署到服务器上如果服务器不通smtp.exmail.qq.com邮箱服务域名的话就会一直打印链接不上错误信息，这块是否可以做成可配置的，比如不开启邮箱服务方案：在Spring Boot中，enabled属性通常用于指示某个特定的配置类或者自动配置是否应该被启用。然而，对于邮件服务来说，并没有一个标准的en

spring

配置文件

服务器

原创 3月前 296 阅读

Java中「Future」接口详解

一、背景在系统中，异步执行任务，是很常见的功能逻辑，但是在不同的场景中，又存在很多细节差异；有的任务只强调「执行过程」，并不需要追溯任务自身的「执行结果」，这里并不是指对系统和业务产生的效果，比如定时任务、消息队列等场景；但是有些任务即强调「执行过程」，又需要追溯任务自身的「执行结果」，在流程中依赖某个异步结果，判断流程是否中断，比如「并行」处理；【串行处理】整个流程按照逻辑逐步推进，如果出现异常

System

线程池

抛出异常

原创精选 2023-04-17 09:35:06 190 阅读

Thymeleaf企业级真实应用：将HTML界面数据转换为PDF输出

Thymeleaf模板引擎使用，Java又一神器1.Thymeleaf说明1.1什么是ThymeleafThymeleaf是一种现代化的服务器端Java模板引擎，可以用于Web和独立环境中的HTML、XML、JavaScript、CSS和文本。在实际开发中，Thymeleaf可以用于生成动态的HTML页面，支持将数据与模板进行绑定，生成最终的HTML内容。它是一个开源的软件，采用Apache许可证

HTML

html

数据

原创精选 2023-04-14 15:55:53 782 阅读

你应该懂点Mybatis-plus，真的好用

1.mybatis-plus是什么？Mybatis-plus 是一个基于 Mybatis 的增强工具，提供了许多便捷的 CRUD 操作和其他实用功能，简化了数据库访问的开发工作。它是 Mybatis 的一个开源组件，遵循 Apache 2.0 协议。Mybatis-plus 的主要功能包括：自动代码生成器：通过简单配置，可以快速生成 Mapper 接口和实体类的代码；便捷的 CRUD 操作：提供了

bc

User

字段

原创精选 2023-04-14 15:54:51 844 阅读

VMware中设置CentOS7的网络

在VMware中设置CentOS7的网络[日期：2017-07-24]来源：Linux社区作者：muyunren[字体：大中小]为了能够使用XShell来管理我们安装好的CentOS7系统，所以我们要先设置CentOS7的网络使其能够联网。 1.选择vmware的编辑，然后点击虚拟网络编辑器2.点击更改设置（需要有管理员权限）3.选择VMnet0为桥

VMware

CentOS

NAT

原创 2023-04-10 18:13:56 181 阅读

写给职场新人｜从校园到职场，教你快速完成角色转化

阿里妹导读随着作者工作年限的增长，因为经历的多、思考的多和总结的多，慢慢积累了一些自认为有价值的观点，希望对刚毕业进入职场的同学们有所帮助。毕业季，学生从校园进入职场，面对全新的职场环境，兴奋之余会有所担忧未来的职业发展及发展速度。基于自己的思考提供4个建议供参考，建立以终为始的思维方式。回想自己刚毕业那会，网络信息和知识付费还不发达，找到能够帮助自己提升格局或改变思维方式的信息和人比较难。但是随

时间管理

思维方式

解决方案

原创 2023-04-10 18:11:11 118 阅读

mybaits-plus优雅的实现数据权限

前言项目使用mybaits-plus，所以在mybaits-plus的基础上增加数据权限的过滤mybaits-plus自带数据权限支持，但由于系统数据权限相对复杂，通过查看文档发现好像并不适用，且原项目版本低，所以最终还是通过自己的方式实现数据范围我们系统相对复杂，比如可以按机构/用户等多种维度过滤，并且可以指定全局和某个特定接口的过滤方式其实数据范围过滤落地也不过是：数据表的某字段限制在一个范围

数据

字段

sql

原创精选 2023-04-07 14:51:07 1965 阅读

支付宝定时任务怎么做？三层分发任务处理框架介绍

一、背景介绍技术同学对定时任务肯定不陌生。定时任务一般用来定时批量进行业务处理。支付宝卡包券到期提醒、删除过期失效券，五福大促批量给用户发放添福红包等场景，都是通过定时任务触发来完成的。作者有幸参与了2023兔年五福大促的开发，主导完成了福气乐园分会场平分5000万大奖需求。通过学习并运用五福定制三层分发任务处理框架，最终平稳丝滑的完成了平分大奖需求任务。本文将从单机定时调度开始，循序渐进地带领大

定时任务

任务处理

定时调度

原创推荐 2023-04-07 14:50:03 1749 阅读

Go 语言体系下的微服务框架选型: Dubbo-go

本文介绍了Go 微服务体系发展与选型，过去一年优雅上下线以及对未来的展望。作者简介：牛学蔚（GitHub: @justxuewei）：Apache Dubbo PMC，对云原生、中间件、容器等领域有浓厚兴趣，活跃在 Dubbo 和 Kata containers 两个开源项目中。一、Go 微服务体系发展与选型随着微服务技术的快速发展，其在各个领域都形成了一系列事实标准，在 Kubernetes 和

微服务

Go

数据

原创推荐 2023-04-06 09:41:17 389 阅读

Java高级开发必会的50个性能优化的细节

在JAVA程序中，性能问题的大部分原因并不在于JAVA语言，而是程序本身。养成良好的编码习惯非常重要，能够显著地提升程序性能。● 1. 尽量在合适的场合使用单例如果想学习Java工程化、高性能及分布式、深入浅出。微服务、Spring，MyBatis，Netty源码分析的朋友可以加我的Java高级交流：854630135，群里有阿里大牛直播讲解技术，以及Java大型互联网技术的视频免费分享给大家。使

数组

Java

缓存

原创精选 2023-03-24 12:11:59 367 阅读 yyds干货盘点

Java操作Elasticsearch 之 [Java High Level REST Clientedit]

<a name="VbjtD"></a>1. 简述Elasticsearch 是基于 Lucene 开发的一个分布式全文检索框架，向 Elasticsearch 中存储和从 Elasticsearch 中查询，格式是json。向 Elasticsearch 中存储数据，其实就是向 es 中的 index 下面的 type 中存储 json 类型的数据。elasticsear

客户端

elasticsearch

Java

原创精选 2023-03-24 12:10:41 575 阅读

SpringCloud Gateway使用

本文基于springboot+nacos+gateway实现，使用springboot作为基础工程，nacos作为注册中心及配置中心，gateway作为网关项目整体使用版本号: springboot-2.6.8 springcloud-2021.0.3 spring-cloud-alibaba-2021.0.1.01. Gateway网关服务：创建普通的springboot工程，网关服务中不要添加

spring

ci

bootstrap

原创精选 2023-03-23 15:43:18 327 阅读 yyds干货盘点

Spring Cloud alibaba之Feign

JAVA项目中如何实现接口调用？Httpclient Httpclient是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的支持Http协议的客户端编程工具包，并且它支持HTTP协议最新版本和建议。HttpClient相比传统JDK自带的URL Connection，提升了易用性和灵活性，是客户端发送HTTP请求变得容易，提高了开发的效率。Okhttp 一个

spring

HTTP

客户端

原创推荐 2023-03-23 15:42:24 376 阅读 yyds干货盘点

Java高级特性-文件操作

通过Java程序完成对于文件和文件夹的创建，删除，移动，读取和写入等操作。基本操作import java.awt.*;import java.io.File;import java.io.IOException;import java.util.Arrays;public class TestFileOperation { public static void main(String[] a

System

java

创建文件

原创精选 2023-03-17 10:02:25 260 阅读 yyds干货盘点

Java 8 Stream高级操作

Streams支持大量不同的操作。我们已经了解了最重要的操作，如filter，map。发现所有其他可用的操作（参见Stream Javadoc）。我们深入研究更复杂的操作collect，flatMap，reduce。本节中的大多数代码示例使用以下人员列表进行演示：class Person { String name; int a

System

字符串

List

原创精选 2023-03-17 10:01:32 383 阅读 yyds干货盘点

MySQL必知必会：用十一张图讲清楚，当你CRUD时BufferPool中发生了什么！

一、前言下面让我们就一起看下，当你执行CURD时，InnoDB的Buffer Pool中都发生了什么！以及Buffer Pool的优化！二、Let‘s go你知道的，MySQL对数据的增删改查都是内存中完成的，这块内存就是Buffer Pool。你可以像下面这样查看下你的MySQL的Buffer的Buffer Pool的默认大小上图中的0.125单位为GB，转换成MB就是 1024* 1/8 =

缓存

MySQL

数据区

原创精选 2023-03-16 09:59:48 327 阅读 yyds干货盘点

Spring Boot 启动扩展点

1.背景Spring的核心思想就是容器，当容器refresh的时候，外部看上去风平浪静，其实内部则是一片惊涛骇浪，汪洋一片。Springboot更是封装了Spring，遵循约定大于配置，加上自动装配的机制。很多时候我们只要引用了一个依赖，几乎是零配置就能完成一个功能的装配。我非常喜欢这种自动装配的机制，所以在自己开发中间件和公共依赖工具的时候也会用到这个特性。让使用者以最小的代价接入。想要把自动装

spring

实例化

初始化

原创精选 2023-03-16 09:58:42 310 阅读 yyds干货盘点

图解 DataX 核心设计原理

DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。前段时间我在 K8s 相关文章中有提到过数据同步的项目，该项目就是基于 DataX 内核构建的，由于公司数据同步的需求，还需要在 DataX 原有的基础上支持增量同步功能，同时支持分布式调度

数据源

数据同步

Group

原创推荐 2023-03-15 13:46:58 491 阅读 yyds干货盘点

ETL大数据集成工具Sqoop、dataX、Kettle、Canal、StreamSets大比拼

1. 摘要对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。当前的很多应用也存在大量的ELT应用模式。常见的ETL工具或类ETL的数据集成同步工具很多，以下对开源的Sqoop、dataX、Kettle、C

数据

sqoop

关系型数据库

原创 2023-03-15 13:45:57 4781 阅读 1评论 yyds干货盘点

Datax-web 集群化部署使用（图文教程超详细）

环境准备1）基础软件安装 MySQL (5.5+) 必选，对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库 JDK (1.8.0_xxx) 必选 DataX 必选 Python (2.x) (支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax-web/datax-python3下) 必选，主要用于调

python

MySQL

Python

原创推荐 2023-03-15 13:37:16 1845 阅读 yyds干货盘点

DataX 增量同步数据（shell）

全量数据导出请查看DataX mongodb导出数据到mysqlDatax UDF手册datax.py mongodb2mysql_inc.json{ "job": { "setting": { "speed": { "channel": 4 } }, "content": [{ "reader": {

mysql

mongodb

json

原创精选 2023-03-14 09:47:16 1986 阅读 yyds干货盘点

DolphinScheduler 调度 DataX 实现 MySQL To MySQL 增量数据同步实战

背景MySQL库A 到 MySQL库B的增量数据同步需求DolphinScheduler中配置DataX MySQL To MySQL工作流工作流定义工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件 SHELL组件(文章) 脚本echo '文章同步 MySQL To MySQL'DATAX组件(t_article) 用到2个插件mysqlread

mysql

MySQL

bc

原创精选 2023-03-14 09:45:52 2825 阅读 yyds干货盘点

clickhouse从Kafka中导入数据

操作步骤在ClickHouse集群中新建Kafka消费表。CREATE TABLE default.kafka_src_table ON CLUSTER default( //定义表结构的字段 id Int32, age Int32, msg String ) ENGINE = Kafka()SETTINGS kafka_broker_lis

kafka

数据

json格式

原创精选 2023-03-08 10:24:53 909 阅读技术人为什么要写博客？

使用clickhouse kafka表引擎消费kafka写入clickhouse

Clickhouse 本身为一个分析型数据库，提供很多跟其他组件的同步方案，本文将以 Kafka 作为数据来源介绍如何将 Kafka 的数据同步到 Clickhouse 中。流程图话不多说，先上一张数据同步的流程图建表在数据同步之前，我们需要建对应的 clickhouse 表，根据上面的流程图，我们需要建立三个表：1.数据表2.kafka 引擎表3.物化视图数据表# 创建数据表CREATE DAT

kafka

数据

zookeeper

原创精选 2023-03-08 10:22:33 2205 阅读 1点赞 1收藏 1评论技术人为什么要写博客？

Clickhouse实现累计求和cumulative sum

源表数据如下：timeprovinceorder_cnt20200601shandong10020200601jiangsu20020200601zhejiang30020200602shandong20020200602jiangsu30020200602zhejiang40020200603shandong40020200603jiangsu50020200603zhejiang600需求是按

服务器

bc

表数据

原创精选 2023-03-07 14:15:42 1893 阅读

【Clickhouse】Spark通过ClickHouse-Native-JDBC写入Clickhouse

目前通过JDBC写Clickhouse有两种插件可以用官方的JDBC：8123端口基于HTTP实现的，整体性能不太出色，有可能出现超时的现象 housepower的ClickHouse-Native-JDBC：9000端口基于TCP协议实现，支持高性能写入，数据按列组织并有压缩记录下使用ClickHouse-Native-JDBC的过程： Spark版本：2.1.0 C

spark

bc

apache

原创精选 2023-03-07 14:13:55 2211 阅读技术人为什么要写博客？

clickhouse高级功能之MaterializeMySQL详解

clickhouse 20.8将新增 MaterializeMySQL引擎 ,可通过binlog日志实时物化mysql数据，极大提升了数仓的查询性能和数据同步的时效性；原有mysql中承担的数据分析工作可交由clickhouse去做，这么做可显著降低线上mysql的负载，从此OLTP与OLAP业务实现完美融合知识列表介绍目前 MaterializeMySQL database engin

mysql

数据

ci

原创推荐 2023-03-06 10:05:15 1442 阅读技术人为什么要写博客？

clickhouse优化最佳实践(易企秀)

clickhouse在易企秀数据仓库项目中已投入使用两年，主要为内部用户提供快速查询和多维分析的能力；希望你在业务当中遇到的性能问题，在这里都能得到解决Clickhouse堪称OLAP领域的黑马，最近发布的几个版本在多表关联分析上也有了极大的性能提升，尤其是还引入了MaterializeMySQL Database Engine做到了实时对齐业务线mysql中的数据。表优化数据类型建表时能用数值型

数据

字段

mysql

原创精选 2023-03-06 10:03:45 355 阅读技术人为什么要写博客？

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

13136445

Spring Boot集成MongoDB Plus：高效数据管理

Spring Boot集成RabbitMQ使用Spring Cloud Stream

springboot项目添加spring-boot-starter-mail依赖使用可配置管理

Java中「Future」接口详解

Thymeleaf企业级真实应用：将HTML界面数据转换为PDF输出

你应该懂点Mybatis-plus，真的好用

VMware中设置CentOS7的网络

写给职场新人｜从校园到职场，教你快速完成角色转化

mybaits-plus优雅的实现数据权限

支付宝定时任务怎么做？三层分发任务处理框架介绍

Go 语言体系下的微服务框架选型: Dubbo-go

Java高级开发必会的50个性能优化的细节

Java操作Elasticsearch 之 [Java High Level REST Clientedit]

SpringCloud Gateway使用

Spring Cloud alibaba之Feign

Java高级特性-文件操作

Java 8 Stream高级操作

MySQL必知必会：用十一张图讲清楚，当你CRUD时BufferPool中发生了什么！

Spring Boot 启动扩展点

图解 DataX 核心设计原理

ETL大数据集成工具Sqoop、dataX、Kettle、Canal、StreamSets大比拼

Datax-web 集群化部署使用（图文教程超详细）

DataX 增量同步数据（shell）

DolphinScheduler 调度 DataX 实现 MySQL To MySQL 增量数据同步实战

clickhouse从Kafka中导入数据

使用clickhouse kafka表引擎消费kafka写入clickhouse

Clickhouse实现累计求和cumulative sum

【Clickhouse】Spark通过ClickHouse-Native-JDBC写入Clickhouse

clickhouse高级功能之MaterializeMySQL详解

clickhouse优化最佳实践(易企秀)