公众号JavaEdge的博客_Java,Mysql,消息队列,Redis,系统设计原创(7)

按发布时间
按阅读量
时间轴

全部3428篇
2025年206篇 09月22篇 08月24篇 07月21篇 06月20篇 05月26篇 04月24篇 03月22篇 02月25篇 01月22篇 2024年231篇 12月25篇 11月18篇 10月11篇 09月17篇 08月25篇 07月13篇 06月26篇 05月20篇 04月15篇 03月19篇 02月16篇 01月26篇 2023年252篇 12月23篇 11月23篇 10月23篇 09月23篇 08月23篇 07月23篇 06月20篇 05月8篇 04月21篇 03月7篇 02月22篇 01月36篇 2022年1471篇 12月15篇 11月4篇 10月12篇 09月25篇 08月28篇 07月6篇 06月6篇 05月23篇 04月39篇 03月999篇 02月24篇 01月290篇 2021年1268篇 12月22篇 11月28篇 10月25篇 09月29篇 08月35篇 07月819篇 06月310篇
推荐/精选
原创

全部原创转载翻译

03-Java框架FTPClient 使用rename()移动文件和文件重命名

1 需求由于业务种种原因，现在需要将ftp中已存文件移动到其它文件夹。 2 初始策略一开始走上弯路，直接翻看FTPClient API有无move方法，但没发现：于是曲线救国，想着采用先复制、再删除，伪代码： InputStream inputStream = ftpClient.retrieveFileStream("/AAA/test.txt"); ftpClien

Java

置顶原创 2024-04-04 17:30:17 205 阅读

Spring Data JPA日志打印SQL语句和入参真就这么简单吗？

1 乞丐版配置 spring: aop: -target-class: true jpa: hibernate: ddl-auto: update show-sql: true logging: level: root: info org.hibernate.SQL: debug org.hibernate

Java

置顶原创 2024-04-02 13:41:36 134 阅读 yyds干货盘点

JPA不识别MySQL的枚举类型

1 枚举好用吗？数据字典型字段，枚举比Integer好：限定值，只能赋值枚举的那几个实例，不能像Integer随便输，保存和查询的时候特别有用含义明确，使用时不需要去查数据字典显示值跟存储值直接映射，不需要手动转换，比如1在页面上显示为启用，0显示禁用，枚举定义好可以直接显示基于enum可以添加一些拓展方法但默认 2 JPA不识别MySQL 的 enum 类型会报错： Cann

Java

置顶原创 2024-04-01 21:03:47 59 阅读 yyds干货盘点

Gitlab 实现仓库完全迁移，包括所有提交记录、分支、标签

1 方案一：命令 cd <项目目录> git fetch --all git fetch --tags git remote rename origin old-origin #可以不保留 git remote add origin http://***(项目的新仓库地址) #git remote set-url origin <项目的新仓库地址> git push ori

Java

置顶原创 2024-03-28 15:57:42 129 阅读

05-快速理解SparkSQL的DataSet

1 定义一个数据集是分布式的数据集合。Spark 1.6增加新接口Dataset，提供 RDD的优点：强类型、能够使用强大lambda函数 Spark SQL优化执行引擎的优点可从JVM对象构造Dataset，然后函数式转换（map、flatMap、filter等）操作。Dataset API在Scala和Java中可用。 Python不支持Dataset API，但由于Python动态性

Java

置顶原创 2024-03-24 22:41:33 29 阅读

ClickHouse最大QPS到底咋估算？

ClickHouse是用于分析的OLAP数据库，因此典型的使用场景是处理相对较少的请求 — 从每小时几个到每秒几十甚至几百个不等 — 但会影响到大量数据（几GB/数百万行）。但是在其他情况下，它的表现如何？让我们尝试用大量小请求来测试ClickHouse如何处理。这将帮助我们更好地了解可能的使用场景范围和限制。本文分为两个部分：连接基准测试和测试设置涉及实际数据的最大QPS的场景环境

Java

置顶原创 2024-03-21 16:38:22 107 阅读 yyds干货盘点

离线数仓建设之数据导出

为了方便报表应用使用数据，需将ADS各项指标统计结果导出到MySQL，方便熟悉 SQL 人员使用。 1 MySQL建库建表 1.1 创建数据库创建car_data_report数据库： CREATE DATABASE IF NOT EXISTS car_data_report # 字符集 DEFAULT CHARSET utf8mb4 # 排序规则 COLLATE utf8mb4_general

Java

置顶原创 2024-03-16 20:34:18 51 阅读 yyds干货盘点

数仓开发之ODS层

优秀可靠的数仓体系，需要良好的数据分层结构。合理的分层，能够使数据体系更加清晰，使复杂问题得以简化。以下是该项目的分层规划。 1 设计要点（1）ODS层的表结构设计依托于从业务系统同步过来的数据结构（2）ODS层要保存全部历史数据，故其压缩格式应选择压缩比较高的，此处选择gzip （3）ODS层表名的命名规范为：ods_表名_单分区增量全量标识（inc/full）。 2 相关表 2.1 整车日

Java

数仓

大数据

置顶原创精选 2024-03-15 14:32:24 215 阅读 yyds干货盘点

碾压GPT-4！Claude3到底有多强？

2024年3月4日，官方宣布推出 Claude 3 模型系列，它在广泛的认知任务中树立了新的行业基准。该系列包括三个按能力递增排序的最先进模型：Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。每个后续模型都提供越来越强大的性能，允许用户为其特定应用选择智能、速度和成本之间的最佳平衡。 Opus 和 Sonnet 现在已经可以在 claude.ai 和

置顶原创 2024-03-12 14:22:37 244 阅读 yyds干货盘点

tsv文件在大数据技术栈里的应用场景

是的，\t 是指制表符（tab），它通常用作字段分隔符在 TSV（Tab-Separated Values）格式的文件中。TSV是一种简单的文本格式，它使用制表符来分隔每一列中的值，而每一行则代表一个数据记录。 TSV文件例： ID\tName\tAge\tCity 1\tJohn Doe\t28\tNew York 2\tJane Smith\t32\tLos Angeles 上面的例子中，\

hive

置顶原创 2024-03-11 22:15:33 96 阅读 yyds干货盘点

hive分区和分桶你熟悉吗？

两种用于优化查询性能的数据组织策略，数仓设计的关键概念，可提升Hive在读取大量数据时的性能。 1 分区（Partitioning）根据表的某列的值来组织数据。每个分区对应一个特定值，并映射到HDFS的不同目录。常用于经常查询的列，如日期、区域等。这样可以在查询时仅扫描相关的分区，而不是整个数据集，从而减少查询所需要处理的数据量，提高查询效率。物理上将数据按照指定的列（分区键）值分散存放于不

Java

hive

置顶原创 2024-03-10 20:26:06 53 阅读 yyds干货盘点

9款世界级垂直领域软件架构师Visio平替作图工具！

1 LucidChart 一个基于HTML5的在线流程图绘制和协作应用平台，用户可以通过它方便快速的实现流程图表的绘制，同时还可以实现与他人进行实时的流程图绘制和修改功能，对需要群组协作功能的团队来说，这点非常方便。由于LucidChart是基于HTML5开发，因此用户不需要下载本地应用程序，通过浏览器就可以在个人PC、iPad等设备上进行使用。 Lucidchart支持数百种模板与范例，包括

Java

置顶原创 2024-03-07 22:53:46 136 阅读

Java

置顶原创 2024-03-07 11:03:55 45 阅读 yyds干货盘点

Docker容器实战(00)-基础命令大全

1 容器生命周期管理 1.1 docker start 启动一或多个已被停止的容器。 # 启动已被停止的容器myrunoob docker start myrunoob 1.2 docker stop 停止一个运行中的容器 docker stop myrunoob 1.3 docker restart 重启容器 docker restart myrunoob 1.4 docker run 创

Java

置顶原创精选 2024-03-05 10:23:17 169 阅读

大厂报价查询系统性能优化之道！

0 前言机票查询系统，日均亿级流量，要求高吞吐，低延迟架构设计。提升缓存的效率以及实时计算模块长尾延迟，成为制约机票查询系统性能关键。本文介绍机票查询系统在缓存和实时计算两个领域的架构提升。 1 机票搜索服务概述 1.1 机票搜索的业务特点机票搜索业务：输入目的地，然后点击搜索，后台就开始卷了。基本1~2s将最优结果反给用户。这个业务存在以下业务特点。 1.1.1 高流量、低延时、高成功率超

Java

置顶原创 2024-03-04 23:33:36 53 阅读 yyds干货盘点

服务发现：CP or AP？

1 服务发现的意义为高可用，生产环境中服务提供方都以集群对外提供服务，集群里这些IP随时可能变化，也需要用一本“通信录”及时获取对应服务节点，这获取过程即“服务发现”。对服务调用方和服务提供方，其契约就是接口，相当于“通信录”中的姓名，服务节点就是提供该契约的一个具体实例。服务IP集合作为“通信录”中的地址，从而可通过接口获取服务IP的集合来完成服务的发现。即PRC框架的服务发现：RPC服务发

Java

置顶原创 2024-03-03 19:34:49 36 阅读 yyds干货盘点

来看大厂如何设计运营后台系统的？

0 背景重运营的应用。对于App里的顶导航、我的页面、弹窗等，需要根据模式、版本、平台、语言、渠道等不同的维度进行运营管理。随着业务快速发展，版本快速迭代，如何：保持运营资源能够被高效、稳定和灵活地配置高效稳定的为新的运营需求提供支持通过打造一个稳定、灵活、高效的运营配置平台来解决前面遇到的问题。本文主要分享我们在建设高效的运营配置平台过程中积累的一些经验以及面临的挑战和思考。 1 配

Java

置顶原创 2024-02-25 22:12:22 135 阅读

IDEA Debug框的 show execution point按钮没了

在这里右键： Add Action：搜索添加：本文由博客一文多发平台 OpenWrite 发布！

Java

置顶原创 2024-02-23 21:57:03 49 阅读

数据库终点站：对象存储

我，紧跟本系列专栏文章，咱们下篇再续！作者简介：魔都技术专家兼架构，多家大厂后端一线研发经验，各大技术社区头部专家博主，编程严选网创始人。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。负责：中央/分销预订系统性能优化活动&优惠券等营销中台建设交易平台及数据中台等架构和开发设计目前主攻降低软件复杂性设计、构建高可用系统方向。参考：编程严选网2 其他云存储选项相比云盘，云上的本地盘

数据库

对象存储

Server

置顶原创精选 2024-02-13 21:57:53 225 阅读 yyds干货盘点

大厂的供应链域数据中台设计

关注我，紧跟本系列专栏文章，咱们下篇再续！作者简介：魔都技术专家兼架构，多家大厂后端一线研发经验，各大技术社区头部专家博主，编程严选网创始人。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。负责： /分销预订系统性能优化活动&优惠券等营销中台建设交易平台及数据中台等架构和开发设计目前主攻降低软件复杂性设计、构建高可用系统方向。参考：编程严选网 1 前言受

Java

置顶原创 2024-02-10 19:03:49 40 阅读

SpringBoot自定义Swagger请求URL路径方案

1 pom依赖Swagger依赖：<properties> <springfox-swagger.version>2.9.2</springfox-swagger.version> </properties>  <dependency> <groupId>c

spring

API

html

置顶原创 2024-02-02 16:57:01 1120 阅读 yyds干货盘点

打车业务系统的架构升级

1 业务架构演进1.1 订单系统快速发展期，对技术团队与系统的要求：稳定性，扩展性，合理性。但系统不能突变，如何搞定“快”与“稳定性，扩展性，合理性”的过渡演进？早期多业务（2C、2B、直营城市、下沉城市等），每个业务更适合有自己独立的订单库，方便快速试错。而现在则需要统一订单中心，提升稳定性、保证扩展性，并维持较低水平的维护成本。1.2 经纬度检索司机的经纬度上报与检索，是打车的业务核心之一。早

迭代

订单系统

数据库

置顶原创 2024-02-01 10:37:53 266 阅读 yyds干货盘点

05-大厂咋解决技术债的？

在构建可扩展的软件时，它是最关键的团队。现实没有技术债管理团队，也没人愿意加入这样队伍。这种团队每天就是给其他开发人员收拾烂摊子，谁愿意给别人擦屁股呢，毕竟又不是年薪百万？但确实有一些名字听起来更专业的团队，如基础设施团队、架构团队、核心团队，这听起来是不是就吊炸天了？这种团队负责处理所用应用程序的核心主体，如下图中的核心协调/依赖项小组：回想鸿蒙混沌时期，你刚开始开发，完全用不到核心

Java

置顶原创 2024-01-30 22:49:39 266 阅读

大厂的营销逆向域DDD实践

0 商家的痛点订单退款后优惠券没被回收、退款过程中商家对营销资产没有直观感知、黑产党尝试薅商家资产羊毛等，给商家造成不好体验。为此构建营销逆向域，如资产冻结、解冻、回收等能力。 1 业务形态商家设置一种满 10 元送优惠券的活动，而后消费者下笔 20 元订单得到一张优惠券，然后申请订单全额退款，商家希望能回收优惠券。而另一位消费也花20元，只申请 5 元部分退款，商家表示订单达到门槛，不打算

Java

置顶原创精选 2024-01-28 22:08:15 425 阅读

图解大厂清结算系统设计

1 账务清结算系统职责概述账务清结算系统是支付系统的资金控制管理模块，分为： 1.1 账务账务系统为外部客户和内部管理者提供符合公司内部财务核算的各种会计凭证、账簿与财务报表，一般分为：实时入账模块，负责在线完成客户账户余额更新日终批处理模块，负责日终余额校验并完成会计报表统计 1.2 清结算支付业务的资金计算模块，最终目的是实现与商户的货款两清，功能包括：清算（Clearing

Java

置顶原创 2024-01-28 18:10:44 354 阅读

大厂咋做多系统数据同步方案的？

1 背景业务线与系统越来越多，系统或业务间数据同步需求也越频繁。当前互联网业务系统大多MySQL数据存储与处理方案：随信息时代爆炸，大数据量场景下慢慢凸显短板，如：需对大量数据全文检索，对大量数据组合查询，分库分表后的数据聚合查询自然想到如何使用其他更适合处理该类问题的数据组件（ES）因此，公司亟需一套灵活易用的系统间数据同步与处理方案，让特定业务数据可很方便在其他业务或组件间流转，助

Java

置顶原创 2024-01-24 15:50:01 701 阅读

别再混淆事件源（Event Sourcing）和消息流（Message Streaming）了！

0 前言 Kafka 不适合事件溯源，Kafka适合消息流。这两种事物需要不同存储机制。事件溯源（Event Sourcing），需DB充当事件日志，为事件溯源存储的事件必须以某种方式编写，以便将来的读取能够快速组装属于单个聚合的较小（更小的）事件流最初发射它们的。这需要随机访问索引消息流（Message Streaming），需要的存储本质上是个记录消息元素的“flat file”。

Java

置顶原创 2024-01-23 10:08:35 772 阅读

再见了RDM，Redis官方GUI才是最好的！

1 简介直观高效的 Redis GUI 管理工具，它可以对 Redis 的内存、连接数、命中率以及正常运行时间进行监控，并且可以在界面上使用 CLI 和连接的 Redis 进行交互（RedisInsight 内置对 Redis 模块支持），官方下载地址。使用 Redis 或 Redis Stack 进行开发时，将您的生产力提升到一个新的水平！使用 RedisInsight 可视化和优化 Re

Java

置顶原创 2024-01-18 22:59:42 1199 阅读

大厂交易系统从0到1(01)-一笔交易到底涉及多少张表？

退款逻辑，1个业务单号--关联多个支付单号--也关联多个退款单号？退款单号，关联优惠券返还的，也可在退款单列表关联吗？返还比例多少，是在优惠券系统设置？整个交易、支付、清结算、账务体系杂糅，会产生很多单据、单号。再考虑正向、逆向，他们的关系更复杂。本文就来搞定订单、账单、支付记录、支付单、支付请求、卡消费记录、券核销记录等单据，他们在交易正、逆向中是如何联系的，又有怎么样的数据关系。 0 场景

Java

置顶原创 2024-01-18 13:28:38 1152 阅读

大厂咋做支付系统的核对？

核对是保障资金安全的重要机制。时效角度，主要有：（准）实时核对准确性不如离线核对，且需相应实时核对平台建设离线核对（如 T+1 核对）主要问题是发现问题的时机较为后置，部分场景会影响系统时效性。如清结算与账务侧的每日资金核对失败会影响结算时效性 2.1 一致性核对资金在从业务端起点（数据由业务产生）到财务端终点（最终流入财务系统）中，在链路中的各个系统/表中都留有相应凭证。

Java

置顶原创 2024-01-14 20:10:03 1595 阅读

欢迎

首页
3
4
5
6
7
8
9
10
共3270条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

编程严选网

03-Java框架FTPClient 使用rename()移动文件和文件重命名

Spring Data JPA日志打印SQL语句和入参真就这么简单吗？

JPA不识别MySQL的枚举类型

Gitlab 实现仓库完全迁移，包括所有提交记录、分支、标签

05-快速理解SparkSQL的DataSet

ClickHouse最大QPS到底咋估算？

离线数仓建设之数据导出

数仓开发之ODS层

碾压GPT-4！Claude3到底有多强？

tsv文件在大数据技术栈里的应用场景

hive分区和分桶你熟悉吗？

9款世界级垂直领域软件架构师Visio平替作图工具！

大厂的视频推荐索引构建解决方案

Docker容器实战(00)-基础命令大全

大厂报价查询系统性能优化之道！

服务发现：CP or AP？

来看大厂如何设计运营后台系统的？

IDEA Debug框的 show execution point按钮没了

数据库终点站：对象存储

大厂的供应链域数据中台设计

SpringBoot自定义Swagger请求URL路径方案

打车业务系统的架构升级

05-大厂咋解决技术债的？

大厂的营销逆向域DDD实践

图解大厂清结算系统设计

大厂咋做多系统数据同步方案的？

别再混淆事件源（Event Sourcing）和消息流（Message Streaming）了！

再见了RDM，Redis官方GUI才是最好的！

大厂交易系统从0到1(01)-一笔交易到底涉及多少张表？

大厂咋做支付系统的核对？

欢迎