mseddl的博客_Java面试你要知道这些,大数据开发,Java语言特性

一文了解如何发现并解决Redis热key与大key问题

业务场景中经常会有各种热key或大key的问题，如果未能及时处理，可能会导致服务性能下降、用户体验变差，甚至引发大面积故障。所以本文针对这两个问题进行讲解，提供发现/监控的方法以及处理的解决方案。热Key问题什么是热key？热key是服务端的常见问题，指一段时间内某个key的访问量远远超过其他的key，导致大量访问流量落在某一个redis实例中；或者是带宽使用率集中在特定的key（例如，对一个包含

分布式

数据库

python

redis

java

原创 2022-03-21 07:30:00 232 阅读

通用能力抽象选择SDK组件还是API服务？

大型的后端服务，当需要把一部分通用能力抽象出来，通常有两种方式：SDK组件或者API服务。对于有Java分库分表经验的同学来说，这两种形式的选择类似于Sharding-JDBC和MyCat...

运维

java

大数据

设计模式

编程语言

原创 2022-03-10 07:30:00 444 阅读

一个后端朋友面试一个月的经验总结

关于面经，小辉之前的文章可以查看《建议找工作的你看一下，无论是校招还是社招》本次分享一个后端朋友最近面试的经验总结，希望能对你有启发。面试概况朋友坐标北京，裸辞在家找工作。线上面试一共58...

算法

编程语言

人工智能

面试

java

原创 2021-08-17 07:30:00 575 阅读

一文理解Kafka如何做到高吞吐

如果对Kafka不了解的话，可以先看这篇博客《一文快速了解Kafka》。其余有关Kakfa的文章如下：《一文理解Kafka的选举机制与Rebalance机制》《一文理解Kafka重复消费的...

java

linux

kafka

索引

大数据

原创 2021-07-01 07:30:00 226 阅读

一文理解Maven如何解决依赖冲突与循环依赖

Maven中依赖冲突与循环依赖是开发过程中比较令人头疼的问题。依赖冲突首先介绍下Maven中依赖管理的策略。依赖传递：如果A依赖B，B依赖C，那么引入A，意味着B和C都会被引入。最近依赖策略：如果一个项目依赖相同的groupId、artifactId的多个版本，那么在依赖树（mvn dependency:tree）中离项目最近的那个版本将会被使用。具体如下：从当前项目出发，对于同

java

maven

spring

eclipse

jar

原创 2021-06-30 07:30:00 1164 阅读

一文了解数据拆分与分库分表

数据库在业务体系不大的情况，一般都是单库出现，通过增加主从复制提高SLA。但当业务体量不断扩大，就需要考虑进行数据拆分来解决性能瓶颈问题。下面讨论的技术方案主要是从MySQL角度考虑的，其他类型数据库仅作参考。拆分策略水平拆分把单表表分割N个结构相同的表，然后把数据按照策略分散到不同的表中，这是表层面的水平拆分；如果把表在分散在不同的数据库中，这是数据库层面的水平拆分。比如：订单表每

数据库

运维

分布式

mysql

java

原创 2021-06-29 07:30:00 390 阅读

一文理解分布式事务的解决方案

单体数据库不涉及网络交互，所以在多表之间实现事务是比较简单的，这种事务称之为本地事务。但是单体数据库的性能达到瓶颈的时候，就需要分库，就会出现跨库(数据库实例)的事务需求；随着企业应用的规模越来越大，企业会进一步进行服务化改造，以满足业务增长的需求；当前微服务架构越来越流行，跨服务的事务场景也会越来越多。这些都属于分布式事务。分布式事务是指是指事务的发起者、参与者、数据资源服务器以及事务管

数据库

分布式

java

面试

区块链

原创 2021-06-28 07:30:00 303 阅读

一文理解ThreadLocal

本文讲解ThreadLocal、InheritableThreadLocal与TransmittableThreadLocal。有关本文的实验代码，可以查看文末补充：“比较一下ThreadLocal、InheritableThreadLocal、TransmittableThreadLocal在线程池复用线程的情况下的执行情况”。 ThreadLocal ThreadLocal的使用场景

java

spring

jvm

内存泄漏

spark

原创 2021-06-25 07:30:00 510 阅读

一文理解Kafka的选举机制与Rebalance机制

Kafka是一个高性能，高容错，多副本，可复制的分布式消息系统。在整个系统中，涉及到多处选举机制，被不少人搞混，这里总结一下，本篇文章大概会从三个方面来讲解。控制器（Broker）选举机制...

运维

分布式

kafka

java

zookeeper

原创 2021-06-24 07:30:00 301 阅读

一文理解Kafka重复消费的原因和解决方案

如果对Kafka不了解的话，可以先看这篇博客《一文快速了解Kafka》。在解释Kafka重复消费出现原因之前，列举一下Kafka中与消费者有关的几个重要配置参数。enable.auto.c...

kafka

java

分布式

zookeeper

rabbitmq

原创 2021-06-23 07:30:00 2234 阅读

一文理解MySQL的事务原则与事务隔离

事务是一组不可分组的操作集合，这些操作要么都成功执行，要么都取消执行。最典型的需要事务的场景是银行账户间的转账：假如 A 账户要给 B 账户转账 100 元，那么 A 账户要扣减 100 ...

数据库

redis

mysql

java

索引

原创 2021-06-22 07:30:00 244 阅读

一文理解MySQL的锁机制与死锁排查

MySQL的并发控制是在数据安全性和并发处理能力之间的权衡，通过不同的锁策略来决定对系统开销和性能的影响。基础知识为了后续的解释更加容易理解，这里列举一些基本概念的解释。悲观锁悲观锁指的是...

数据库

mysql

java

索引

分布式

原创 2021-06-21 07:30:00 183 阅读

一文了解分布式系统ID生成策略

在分布式系统中，经常需要对大量的数据、消息、http请求等进行唯一标识，例如链路追踪traceId、身份标识号、订单流水号、操作记录流水号、优惠券id等等。这个时候数据库自增主键已经不能满足需求，需要一个能够生成分布式ID的系统。分布式ID的特性全局唯一。不能出现重复的ID，这是最基本的要求。递增。递增有利于关系数据库索引性能。除了常见的连续递增，如1001，1002，1003等

数据库

算法

分布式

java

redis

原创 2021-06-18 07:30:00 415 阅读

一文快速了解进程、线程与协程

进程与线程进程是操作系统进行资源分配的基本单位，每个进程都有自己的独立内存空间。由于进程比较重量，占据独立的内存，所以上下文进程间的切换开销（栈、寄存器、虚拟内存、文件句柄等）比较大，但相对比较稳定安全。线程又叫做轻量级进程，是进程的一个实体，是处理器任务调度和执行的基本单位位。它是比进程更小的能独立运行的基本单位。线程只拥有一点在运行中必不可少的资源(如程序计数器，一组寄存器和栈)，但是

队列

内核

操作系统

多线程

java

原创 2021-06-17 07:30:00 643 阅读

一文理解Kafka如何消息不丢失

本文只聚焦于Kafka系统的消息丢失，如果是生产环境出现数据丢失，排查时要先从链路上分段定位，缩小问题范围。如果对Kafka不了解的话，可以先看这篇博客《一文快速了解Kafka》。数据丢失...

网络

kafka

java

分布式

zookeeper

原创 2021-06-16 07:30:00 652 阅读

一文理解如何实现接口的幂等性

幂等，这个词来源自数学领域。幂等性衍生到软件工程中，它的语义是指：函数/接口可以使用相同的参数重复执行, 不应该影响系统状态，也不会对系统造成改变。举一个简单的例子：正常设计的查询接口，不管调用多少次，都不会破坏当前的系统或数据，这就是一个幂等操作。幂等的业务场景在分布式系统中, 由于分布式天然特性的时序问题以及网络的不可靠性(机器、机架、机房故障、电缆被挖断等等)，重复请求很常见，接口幂

分布式

网络

redis

java

数据库

原创 2021-06-15 08:20:00 768 阅读

一文理解如何解决Kafka消息积压问题

通常情况下，企业中会采取轮询或者随机的方式，通过Kafka的producer向Kafka集群生产数据，来尽可能保证Kafk分区之间的数据是均匀分布的。如果对Kafka不了解的话，可以先看这...

队列

kafka

java

大数据

分布式

原创 2021-06-11 07:30:00 2613 阅读

一文理解分布式锁的实现方式

分布式锁的应用场景分布式锁的应用场景主要包括两类：处理效率提升：减少重复任务的执行，避免资源处理效率的浪费（例如幂等场景）。数据准确性保障：在数据资源的并发访问时，避免数据不一致情况，甚至数据更新损失等。分布式锁的设计要求分布式锁需要是一把可重入锁(避免死锁)。分布式锁最好是一把阻塞锁（没有获得锁的线程不是直接返回，而是在阻塞状态）。分布式锁最好是一把公平锁，

分布式

数据库

redis

mysql

java

原创 2021-06-10 08:00:00 237 阅读

一文理解消息队列如何保证高可用

之前博客《一文理解为什么需要使用消息队列》提到过，系统引入消息队列后，需要考虑如何保证消息队列的高可用。本篇文章将围绕几个常见的消息队列中间件（RabbitMQ，RocketMQ，Kafka）进行逐个讲解。 RabbitMQ RabbitMQ 有三种模式：单机模式、普通集群模式、镜像集群模式。单机模式单机模式，一般是开发者本地启动调试使用，不会应用到生产环境。普通集群模式普通集群模式

队列

分布式

kafka

java

数据库

原创 2021-06-09 07:30:00 452 阅读

一文理解Kafka如何保证消息顺序性

要想实现消息有序，需要从Producer和Consumer两方面来考虑。如果对Kafka不了解的话，可以先看这篇博客《一文快速了解Kafka》。针对消息有序的业务需求，还分为全局有序和局部...

kafka

分布式

java

多线程

大数据

原创 2021-06-08 07:30:00 3537 阅读

一文理解Redis底层数据结构

Redis的5种常见数据结构：字符串(String)、列表(List)、散列(Hash)、集合(Set)、有序集合(Sorted Set)。这些都是Redis对外暴露的数据结构，本文将介绍这些数据结构的底层数据结构的实现。 Redis底层数据结构有六种：简单动态字符串（SDS）列表字典整数集合跳跃表压缩列表快速列表简单动态字符串（SDS） SDS是"

链表

数据结构

redis

java

python

原创 2021-06-07 08:00:00 231 阅读

一文理解Java中的SPI机制

SPI机制简介服务提供者接口（Service Provider Interface，简写为SPI）是JDK内置的一种服务提供发现机制。可以用来加载框架扩展和替换组件，主要是被框架的开发人员...

spring

java

编程语言

设计模式

分布式

原创 2021-06-03 08:00:00 402 阅读

一文理解JVM线程属于用户态还是内核态

Linux操作系统的体系架构分为用户态和内核态（或者用户空间和内核）。用户态与内核态内核从本质上看是一种软件——控制计算机的硬件资源，并提供上层应用程序运行的环境。用户态即上层应用程序的活...

内核

java

操作系统

多线程

linux

原创 2021-06-02 08:00:00 1195 阅读

网络连接存在大量time_wait和close_wait的原因以及解决方法

如果对tcp中的握手挥手不了解的同学，请先看这篇博客：《关于三次握手与四次挥手你要知道这些》。四次挥手过程：第一次挥手：主机A（可以是客户端，也可以是服务器端），设置Sequence Number和Acknowledgment Number，向主机B发送一个FIN报文段；此时，主机A进入FIN_WAIT_1状态；这表示主机A没有数据要发送给主机B了。第二次挥手：主机B收到了主机A发送的

linux

java

mysql

数据库

网络

原创 2021-06-01 08:00:00 459 阅读

一文快速了解Kafka

初学Kafka，肯定会被各种概念搞得很头疼，所以整理下Kafka进阶学习必须要了解的概念。这篇博客也作为后续Kafka深入理解的前置信息。什么是KafkaKafka基于Scala和Java...

分布式

队列

大数据

hadoop

kafka

原创 2021-04-27 00:00:00 2383 阅读

一文理解JWT鉴权登录的安全加固

有关JWT的基础知识，可以查看之前的博客: 快速了解会话管理三剑客cookie、session和JWT 在之前的博客《一文理解JWT在鉴权登录的应用》介绍了JWT在鉴权登录中的使用。但是不恰当地使用 JWT 可能会对应用程序安全产生负面影响。本文将针对JWT在鉴权登录业务场景下的安全进行讲解。 JWT使用时的安全建议 1. 切勿在令牌中传输用户的敏感数据由于JWT的载荷部分是可以被明文获取

安全

jwt

https

openssl

信息安全

原创 2021-04-26 08:00:00 493 阅读

一文理解JWT鉴权登录的应用

如果对cookie/token有疑问的，可以查看之前的博客快速了解会话管理三剑客cookie、session和JWT Json Web Token (JWT)是为在网络应用环境间传递声明而执行的一种基于JSON的开放标准。JWT被设计为紧凑且安全，特别适用于分布式站点的单点登录（SSO）场景。JWT一般被用来在身份提供者和服务提供者间传递被认证的用户身份信息，以便于从资源服务器获取资源，也可以

java

jwt

数据库

编程语言

区块链

原创 2021-04-25 08:00:00 2030 阅读

一文理解为什么需要使用消息队列

消息队列（Message Queue），简称为MQ，是一种跨进程的通信机制，用于上下游传递消息。常见消息队列中间件如：Kafka、ActiveMQ、RabbitMQ、RocketMQ等。消息队列引入对系统的优势 1. 解耦在未使用消息队列的系统中，系统间耦合性太强。如下图所示的业务场景，系统A在代码中直接调用系统B和系统C的代码，如果将来D系统接入或者B系统取消，系统A还需要修改代码，造成

队列

java

分布式

数据库

rabbitmq

原创 2021-04-15 08:00:00 275 阅读

海外产品快速集成三方登录

笔者过去两年参加了两个海外项目的开发，期间接入过多种授权登录，也踩过一些坑，所以总结出本文，方便做海外产品的开发者可以减少集成授权登录的时间成本。本文讲解的登录方式包括：Google，Facebook，Twitter，Apple，Line，Snapchat，邮箱和手机号登录。其中前三种登录方式使用Firebase进行授权集成；Apple比较特殊，原本使用Firebase授权集成后改为原生SD

java

python

编程语言

大数据

项目管理

原创 2021-03-31 08:00:00 3096 阅读

一文搞懂单例模式

单例模式（Singleton Pattern）是Java中最简单的设计模式之一，属于创建型模式。它提供了一种创建对象的最佳方式。这种模式涉及到一个单一的类，该类负责创建自己的对象，同时确保只有单个对象被创建，排除线程不安全的风险。这个类提供了一种访问其唯一的对象的方式。懒汉式，线程安全这种方式具备很好的 lazy loading，能够在多线程中很好的工作，但是，效率很低，99% 情况

java

设计模式

多线程

编程语言

面试

原创 2020-12-18 08:00:00 141 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

12817626

一文了解如何发现并解决Redis热key与大key问题

通用能力抽象选择SDK组件还是API服务？

一个后端朋友面试一个月的经验总结

一文理解Kafka如何做到高吞吐

一文理解Maven如何解决依赖冲突与循环依赖

一文了解数据拆分与分库分表

一文理解分布式事务的解决方案

一文理解ThreadLocal

一文理解Kafka的选举机制与Rebalance机制

一文理解Kafka重复消费的原因和解决方案

一文理解MySQL的事务原则与事务隔离

一文理解MySQL的锁机制与死锁排查

一文了解分布式系统ID生成策略

一文快速了解进程、线程与协程

一文理解Kafka如何消息不丢失

一文理解如何实现接口的幂等性

一文理解如何解决Kafka消息积压问题

一文理解分布式锁的实现方式

一文理解消息队列如何保证高可用

一文理解Kafka如何保证消息顺序性

一文理解Redis底层数据结构

一文理解Java中的SPI机制

一文理解JVM线程属于用户态还是内核态

网络连接存在大量time_wait和close_wait的原因以及解决方法

一文快速了解Kafka

一文理解JWT鉴权登录的安全加固

一文理解JWT鉴权登录的应用

一文理解为什么需要使用消息队列

海外产品快速集成三方登录

一文搞懂单例模式