目录一、Spark Core1. 主要功能2. Spark Core子框架3. Spark架构4. Spark计算模型二、组件1. 介绍2. RDD3. DataFrame4. DataSet6. RDD和DataSet比较7. DataFrame和DataSet比较8. 应用场景一、Spark CoreApache Spark 是加州大学伯克利分校的 AMP Labs 开发的开源分布式轻量级通用
快速入门spark:史上最简单的spark教程 所有代码示例地址:https://github.com/Mydreamandreality/sparkResearch(提前声明:文章由作者:张耀峰 结合自己生产中的使用经验整理,最终形成简单易懂的文章,写作不易,转载请注明)(文章参考:Elasticsearch权威指南,Spark快速大数据分析文档,Elasticsearch官方文档,实
点击上方 "程序员小乐"关注,星标或置顶一起成长每天凌晨00点00分,第一时间与你相约每日英文It is our choices... that show what ...
转载
2021-06-11 00:15:55
1598阅读
一、分布式session session 是啥？浏览器有个 cookie，在一段时间内这个 cookie 都存在，然后每次发请求过来都带上一个特殊的 jsessionid cookie，就根据这个东西，在服务端可以维护一个对应的 session 域，里面可以放点数据。 一般的话只要你没关掉浏览器，cookie 还在，那么对应的那个 session 就在，但是如果 cookie 没了，sessi
转载
2021-03-28 12:45:06
1522阅读
：https://zhuanlan.zhihu./p/157978714 分布式id生成策略 生成分布式Id的方法主要有以下几种： 数据库水平拆分，设置初始值和相同的自增步长。批量申请自增ID。UUID生成。Redis的方式。雪花算法。百度...
转载
2020-08-11 01:42:00
845阅读
2评论
分布式事务文章目录分布式事务一，本地消息表二，2PC 两阶段提交三，3PC 三段式提交四，TCC场景：
原创
2022-07-29 12:29:51
498阅读
原文：https://zhuanlan.zhihu.com/p/157978714 分布式id生成策略 生成分布式Id的方法主要有以下几种：数据库水平拆分，设置初始值和相同的自增步长。 批量申请自增ID。 UUID生成。 Redis的方式。
原创
2021-09-28 13:55:32
786阅读
点击上方蓝色“程序猿DD”，选择“设为星标”回复“资源”获取独家整理的学习资料！来源 |cnblogs.com/heqiyoujing/p/10917102.html一、分布式sess...
转载
2021-07-16 17:18:27
1584阅读
消息生成者发送消息 MQ收到消息，将消息进行持久化，在存储中新增一条记录 返回ACK给消费者 MQ push 消息给对应的消费者，然后等待消费者返回ACK 如果消息消费者在指定时间内成功返回ack，那么MQ认为消息消费成功，在存储中删除消息，即执行第6步；如果MQ在指定时间内没有收到ACK，则认为消 ...
转载
2021-08-26 10:38:00
1734阅读
2评论
分布式系统是一种使用多台计算机协同工作来完成共同目标的系统。而Kubernetes（K8S）是一种开源的容器编排工具，可以帮助我们管理这些分布式系统。在本文中，我将详细介绍如何使用Kubernetes实现一个分布式系统。
整个流程可以分为以下几个步骤：
| 步骤 | 描述 |
|------|--------------------|
| 1 | 配置Kube
分布式锁文章目录分布式锁一，基于MySQL实现二，基于redis实现2.1 基于`setNx ` 和 ` setEx `实现2.2 redis集群环境的分布
原创
2022-07-29 12:30:15
613阅读
http协议的无状态性催生了cookie技术，也就是用cookie来记录会话信息。如果服务器需要记录该浏览器的信息，就会在http响应头
原创
2022-11-11 12:17:42
217阅读
【分布式】分布式会话无状态使用Redis实现会话共享
原创
2022-12-13 10:25:19
243阅读
系统一旦分布式了之后，通信、缓存、消息、事务、锁、配置、日志、监控、会大量外部的技术。
原创
2022-09-17 07:45:53
4782阅读
分布式存储分布式系统概述
分布式存储分布式系统（Distributed Storage Distributed System）是一种基于多台机器共同合作完成数据存储和计算任务的系统。在这种系统中，数据会分布在不同的存储节点上，通过网络进行数据传输和通信，实现数据的高可用性、可扩展性和容错性。Kubernetes（简称K8S）作为一种容器编排和管理平台，可以帮助我们轻松地部署和管理分布式存储分布式
一、首先看官方解释：Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理，服务发现，断路器，智能路由，微代理，控制总线)。分布式系统的协调导致了样板模式, 使用Spring Cloud开发人员可以快速地支持实现这些模式的服务和应用程序。他们将在任何分布式环境中运行良好，包括开发人员自己的笔记本电脑，裸机数据中心，以及Cloud Foundry等托管平台。&n
前言： 随着互联网的快速发展，尤其是电商项目等大型项目越来越火，传统的单机项目已经不能满足业务的需求，在这种情况下出现了分布式、集群以及微服务的概念，随着这些新生的概念的出现同时伴随了一系列开发中的问题，下面来看一下这其中之一的分布式锁。一、什么是分布式锁： 在这里为了引出分布式锁先来看一个案例，例如在一个大型的电商项目中传统的单击项目会对服务器造成超负荷的压力，而在这时我们往往会采用集群的方
分布式锁为了解决集群中多主机上不同线程之间的同步，需要在分布式系统中有类似于单主机下用于进程/线程同步的锁，也即分布式锁 1.1 基于MySQL...
原创
2022-03-03 11:26:03
524阅读
系统一旦分布式了之后，通信、缓存、消息、事务、锁、配置、日志、监控、会话等等各种原来单块系统场景下很容易解决的问题，都会变得很复杂，需要引入大量外部的技术。
原创
2022-09-17 05:51:45
561阅读
# 从零开始学习分布式事务和分布式锁
## 介绍
在分布式系统中，分布式事务和分布式锁是非常重要的概念。分布式事务用于保证多个数据库操作的一致性，而分布式锁用于解决多个进程之间的并发访问问题。本文将介绍如何在Kubernetes（K8S）环境中实现分布式事务和分布式锁，帮助刚入行的小白理解并应用这些概念。
## 总体流程
在K8S中实现分布式事务和分布式锁的具体步骤如下：
| 步骤 |
