公众号JavaEdge的博客_Java,Mysql,消息队列,Redis,系统设计

按发布时间
按阅读量
2024年03月 19篇

全部3428篇
2025年206篇 09月22篇 08月24篇 07月21篇 06月20篇 05月26篇 04月24篇 03月22篇 02月25篇 01月22篇 2024年231篇 12月25篇 11月18篇 10月11篇 09月17篇 08月25篇 07月13篇 06月26篇 05月20篇 04月15篇 03月19篇 02月16篇 01月26篇 2023年252篇 12月23篇 11月23篇 10月23篇 09月23篇 08月23篇 07月23篇 06月20篇 05月8篇 04月21篇 03月7篇 02月22篇 01月36篇 2022年1471篇 12月15篇 11月4篇 10月12篇 09月25篇 08月28篇 07月6篇 06月6篇 05月23篇 04月39篇 03月999篇 02月24篇 01月290篇 2021年1268篇 12月22篇 11月28篇 10月25篇 09月29篇 08月35篇 07月819篇 06月310篇
推荐/精选
全部

全部原创转载翻译

Gitlab 实现仓库完全迁移，包括所有提交记录、分支、标签

1 方案一：命令 cd <项目目录> git fetch --all git fetch --tags git remote rename origin old-origin #可以不保留 git remote add origin http://***(项目的新仓库地址) #git remote set-url origin <项目的新仓库地址> git push ori

Java

置顶原创 2024-03-28 15:57:42 128 阅读

05-快速理解SparkSQL的DataSet

1 定义一个数据集是分布式的数据集合。Spark 1.6增加新接口Dataset，提供 RDD的优点：强类型、能够使用强大lambda函数 Spark SQL优化执行引擎的优点可从JVM对象构造Dataset，然后函数式转换（map、flatMap、filter等）操作。Dataset API在Scala和Java中可用。 Python不支持Dataset API，但由于Python动态性

Java

置顶原创 2024-03-24 22:41:33 32 阅读

ClickHouse最大QPS到底咋估算？

ClickHouse是用于分析的OLAP数据库，因此典型的使用场景是处理相对较少的请求 — 从每小时几个到每秒几十甚至几百个不等 — 但会影响到大量数据（几GB/数百万行）。但是在其他情况下，它的表现如何？让我们尝试用大量小请求来测试ClickHouse如何处理。这将帮助我们更好地了解可能的使用场景范围和限制。本文分为两个部分：连接基准测试和测试设置涉及实际数据的最大QPS的场景环境

Java

置顶原创 2024-03-21 16:38:22 107 阅读 yyds干货盘点

离线数仓建设之数据导出

为了方便报表应用使用数据，需将ADS各项指标统计结果导出到MySQL，方便熟悉 SQL 人员使用。 1 MySQL建库建表 1.1 创建数据库创建car_data_report数据库： CREATE DATABASE IF NOT EXISTS car_data_report # 字符集 DEFAULT CHARSET utf8mb4 # 排序规则 COLLATE utf8mb4_general

Java

置顶原创 2024-03-16 20:34:18 51 阅读 yyds干货盘点

数仓开发之ODS层

优秀可靠的数仓体系，需要良好的数据分层结构。合理的分层，能够使数据体系更加清晰，使复杂问题得以简化。以下是该项目的分层规划。 1 设计要点（1）ODS层的表结构设计依托于从业务系统同步过来的数据结构（2）ODS层要保存全部历史数据，故其压缩格式应选择压缩比较高的，此处选择gzip （3）ODS层表名的命名规范为：ods_表名_单分区增量全量标识（inc/full）。 2 相关表 2.1 整车日

Java

数仓

大数据

置顶原创精选 2024-03-15 14:32:24 215 阅读 yyds干货盘点

碾压GPT-4！Claude3到底有多强？

2024年3月4日，官方宣布推出 Claude 3 模型系列，它在广泛的认知任务中树立了新的行业基准。该系列包括三个按能力递增排序的最先进模型：Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。每个后续模型都提供越来越强大的性能，允许用户为其特定应用选择智能、速度和成本之间的最佳平衡。 Opus 和 Sonnet 现在已经可以在 claude.ai 和

置顶原创 2024-03-12 14:22:37 244 阅读 yyds干货盘点

tsv文件在大数据技术栈里的应用场景

是的，\t 是指制表符（tab），它通常用作字段分隔符在 TSV（Tab-Separated Values）格式的文件中。TSV是一种简单的文本格式，它使用制表符来分隔每一列中的值，而每一行则代表一个数据记录。 TSV文件例： ID\tName\tAge\tCity 1\tJohn Doe\t28\tNew York 2\tJane Smith\t32\tLos Angeles 上面的例子中，\

hive

置顶原创 2024-03-11 22:15:33 96 阅读 yyds干货盘点

hive分区和分桶你熟悉吗？

两种用于优化查询性能的数据组织策略，数仓设计的关键概念，可提升Hive在读取大量数据时的性能。 1 分区（Partitioning）根据表的某列的值来组织数据。每个分区对应一个特定值，并映射到HDFS的不同目录。常用于经常查询的列，如日期、区域等。这样可以在查询时仅扫描相关的分区，而不是整个数据集，从而减少查询所需要处理的数据量，提高查询效率。物理上将数据按照指定的列（分区键）值分散存放于不

Java

hive

置顶原创 2024-03-10 20:26:06 53 阅读 yyds干货盘点

9款世界级垂直领域软件架构师Visio平替作图工具！

1 LucidChart 一个基于HTML5的在线流程图绘制和协作应用平台，用户可以通过它方便快速的实现流程图表的绘制，同时还可以实现与他人进行实时的流程图绘制和修改功能，对需要群组协作功能的团队来说，这点非常方便。由于LucidChart是基于HTML5开发，因此用户不需要下载本地应用程序，通过浏览器就可以在个人PC、iPad等设备上进行使用。 Lucidchart支持数百种模板与范例，包括

Java

置顶原创 2024-03-07 22:53:46 137 阅读

Java

置顶原创 2024-03-07 11:03:55 45 阅读 yyds干货盘点

Docker容器实战(00)-基础命令大全

1 容器生命周期管理 1.1 docker start 启动一或多个已被停止的容器。 # 启动已被停止的容器myrunoob docker start myrunoob 1.2 docker stop 停止一个运行中的容器 docker stop myrunoob 1.3 docker restart 重启容器 docker restart myrunoob 1.4 docker run 创

Java

置顶原创精选 2024-03-05 10:23:17 169 阅读

大厂报价查询系统性能优化之道！

0 前言机票查询系统，日均亿级流量，要求高吞吐，低延迟架构设计。提升缓存的效率以及实时计算模块长尾延迟，成为制约机票查询系统性能关键。本文介绍机票查询系统在缓存和实时计算两个领域的架构提升。 1 机票搜索服务概述 1.1 机票搜索的业务特点机票搜索业务：输入目的地，然后点击搜索，后台就开始卷了。基本1~2s将最优结果反给用户。这个业务存在以下业务特点。 1.1.1 高流量、低延时、高成功率超

Java

置顶原创 2024-03-04 23:33:36 53 阅读 yyds干货盘点

服务发现：CP or AP？

1 服务发现的意义为高可用，生产环境中服务提供方都以集群对外提供服务，集群里这些IP随时可能变化，也需要用一本“通信录”及时获取对应服务节点，这获取过程即“服务发现”。对服务调用方和服务提供方，其契约就是接口，相当于“通信录”中的姓名，服务节点就是提供该契约的一个具体实例。服务IP集合作为“通信录”中的地址，从而可通过接口获取服务IP的集合来完成服务的发现。即PRC框架的服务发现：RPC服务发

Java

置顶原创 2024-03-03 19:34:49 36 阅读 yyds干货盘点

03-SparkSQL入门

0 SharkSpark 的一个组件，用于大规模数据分析的 SQL 查询引擎。Shark 提供了一种基于 SQL 的交互式查询方式，可以让用户轻松地对大规模数据集进行查询和分析。Shark 基于 Hive 项目，使用 Hive 的元数据存储和查询语法，并基于Hive进行了性能优化和扩展。0.1 设计灵感来自 Google 的 Dremel 系统:将数据存储在列式存储引擎使用分布式计算引擎进行查询S

SQL

spark

Hive

原创精选 2024-03-23 20:30:31 139 阅读 yyds干货盘点

01-Spark的Local模式与应用开发入门

1 Spark 的 local 模式Spark 运行模式之一，用于在本地机器上单机模拟分布式计算的环境。在 local 模式下，Spark 会使用单个 JVM 进程来模拟分布式集群行为，所有 Spark 组件（如 SparkContext、Executor 等）都运行在同一个 JVM 进程中，不涉及集群间通信，适用本地开发、测试和调试。1.1 重要特点和使用场景本地开发和测试：在开发 Spark

spark

应用程序

scala

原创精选 2024-03-22 20:24:39 267 阅读 yyds干货盘点

JDK的@Seria注解啥意义？

1 简介在JDK中是一个预定义注解，指定类的序列化版本号。可用来确保在反序列化时，序列化对象的版本号与反序列化对象的版本匹配，避免因版本不匹配而导致的反序列化失败。2 案列Java中当一个类被序列化，会自动生成一个序列化版本号（serialVersionUID），用于确定该类的序列化版本。反序列化时，JVM会比较序列化对象、反序列化对象的serialVersionUID是否一致，不一致则抛Inva

序列化

版本号

反序列化

原创 2024-03-20 13:27:26 177 阅读 yyds干货盘点

汽车行业电商平台架构演进之路（上）

1 架构演进电商系统架构发展历程，每个阶段的业务状况、技术挑战和技术体系的应对策略。业务验证可行&快速发展架构: 完成按领域划分的微服拆分、各服务独立承接业务需电商系统统一架构:完成电商主数据建设 API读写切换，业务逻辑复杂化，订单量增长迅速多品类、多业务架构: 平台化架构，服务编排化业务配置化、数据可视化流程标准化等1.1 起步阶段业务起步&快速迭代试错架构：

API

主数据

业务流程

原创 2024-03-18 23:01:22 60 阅读 yyds干货盘点

如何避免半夜崩溃？支付系统高可用性实践！

1 系统高可用性保障某支付渠道出现异常的情况时，降级和熔断是我们常用的一种方式，但其对用户的还款体验会有较大的影响，且无法更精准的缩小其影响范围。因此根据支付渠道降级的业务策略来调控某一渠道异常后的路由权重，通过滑动窗口算法来统计和监控渠道某个时间段内异常的比例和绝对数量，达到一定阈值后负反馈给支付路由引擎，在其对支付渠道进行筛选和排序时降低异常渠道的权重，进而调节该异常渠道的使用情况。在降低影响

权重

时间片

Redis

原创 2024-03-13 23:08:12 84 阅读 yyds干货盘点

数仓分层（ODS、DWD、DWS、DWT、ADS）和数仓建模

1 什么是数仓数仓是为企业所有决策制定过程，提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备。这些准备包括对数据的清洗、转义、分类、重组、合并、拆分、统计等。数仓的：输入系统，埋点产生的用户行为数据、JavaEE 后台产生的业务数据、爬虫数据输出系统，报表系统、用户画像系统

数据

数据仓库

原始数据

原创 2024-03-09 12:05:45 2584 阅读 yyds干货盘点

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

编程严选网

Gitlab 实现仓库完全迁移，包括所有提交记录、分支、标签

05-快速理解SparkSQL的DataSet

ClickHouse最大QPS到底咋估算？

离线数仓建设之数据导出

数仓开发之ODS层

碾压GPT-4！Claude3到底有多强？

tsv文件在大数据技术栈里的应用场景

hive分区和分桶你熟悉吗？

9款世界级垂直领域软件架构师Visio平替作图工具！

大厂的视频推荐索引构建解决方案

Docker容器实战(00)-基础命令大全

大厂报价查询系统性能优化之道！

服务发现：CP or AP？

03-SparkSQL入门

01-Spark的Local模式与应用开发入门

JDK的@Seria注解啥意义？

汽车行业电商平台架构演进之路（上）

如何避免半夜崩溃？支付系统高可用性实践！

数仓分层（ODS、DWD、DWS、DWT、ADS）和数仓建模

欢迎