1. Hadoop概述Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。HDFS的高容错性、高伸缩性等优点允许用户将Hadoop部署在低廉的硬件上，形成
转载
2023-09-20 10:59:56
78阅读
一、Hadoop集群部署模式Hadoop的安装部署的模式一共有三种：独立模式（本地模式） standalone 默认的模式，无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。使用本地文件系统，而不是分布式文件系统。伪分布模式 pseudo distributed 在一台主机模拟多主机。即Ha
转载
2023-07-12 12:14:37
116阅读
# 实现“Hadoop 伪分布式 ssh”教程
## 1. 流程图
```mermaid
journey
title 教学流程
section 开发者指导小白实现“Hadoop 伪分布式 ssh”
开发者 --> 小白: 介绍整体流程
小白 --> 开发者: 询问每一步具体操作
```
## 2. 步骤表格
| 步骤 | 操作 |
| ---
原创
2024-02-22 04:10:42
21阅读
点击上方 "程序员小乐"关注,星标或置顶一起成长每天凌晨00点00分,第一时间与你相约每日英文It is our choices... that show what ...
转载
2021-06-11 00:15:55
1703阅读
一、分布式session session 是啥？浏览器有个 cookie，在一段时间内这个 cookie 都存在，然后每次发请求过来都带上一个特殊的 jsessionid cookie，就根据这个东西，在服务端可以维护一个对应的 session 域，里面可以放点数据。 一般的话只要你没关掉浏览器，cookie 还在，那么对应的那个 session 就在，但是如果 cookie 没了，sessi
转载
2021-03-28 12:45:06
1611阅读
消息生成者发送消息 MQ收到消息，将消息进行持久化，在存储中新增一条记录 返回ACK给消费者 MQ push 消息给对应的消费者，然后等待消费者返回ACK 如果消息消费者在指定时间内成功返回ack，那么MQ认为消息消费成功，在存储中删除消息，即执行第6步；如果MQ在指定时间内没有收到ACK，则认为消 ...
转载
2021-08-26 10:38:00
1873阅读
2评论
分布式系统是一种使用多台计算机协同工作来完成共同目标的系统。而Kubernetes（K8S）是一种开源的容器编排工具，可以帮助我们管理这些分布式系统。在本文中，我将详细介绍如何使用Kubernetes实现一个分布式系统。
整个流程可以分为以下几个步骤：
| 步骤 | 描述 |
|------|--------------------|
| 1 | 配置Kube
原创
2024-05-22 09:54:17
377阅读
：https://zhuanlan.zhihu./p/157978714 分布式id生成策略 生成分布式Id的方法主要有以下几种： 数据库水平拆分，设置初始值和相同的自增步长。批量申请自增ID。UUID生成。Redis的方式。雪花算法。百度...
转载
2020-08-11 01:42:00
1321阅读
2评论
分布式事务文章目录分布式事务一，本地消息表二，2PC 两阶段提交三，3PC 三段式提交四，TCC场景：
原创
2022-07-29 12:29:51
597阅读
原文：https://zhuanlan.zhihu.com/p/157978714 分布式id生成策略 生成分布式Id的方法主要有以下几种：数据库水平拆分，设置初始值和相同的自增步长。 批量申请自增ID。 UUID生成。 Redis的方式。
原创
2021-09-28 13:55:32
847阅读
点击上方蓝色“程序猿DD”，选择“设为星标”回复“资源”获取独家整理的学习资料！来源 |cnblogs.com/heqiyoujing/p/10917102.html一、分布式sess...
转载
2021-07-16 17:18:27
1670阅读
分布式锁文章目录分布式锁一，基于MySQL实现二，基于redis实现2.1 基于`setNx ` 和 ` setEx `实现2.2 redis集群环境的分布
原创
2022-07-29 12:30:15
682阅读
http协议的无状态性催生了cookie技术，也就是用cookie来记录会话信息。如果服务器需要记录该浏览器的信息，就会在http响应头
原创
2022-11-11 12:17:42
314阅读
【分布式】分布式会话无状态使用Redis实现会话共享
原创
2022-12-13 10:25:19
336阅读
实验一、Hadoop伪分布式部署一、Hadoop 介绍1. Hadoop 生态系统2. Apache 版本衍化二、Hadoop-2.7.3 伪分布安装1.（配置从这开始）软硬件环境说明2. 环境搭建2.1 设置hosts文件映射2.2 设置操作系统环境3. Hadoop环境搭建3.1 在/app下创建hadoop目录3.2 下载并解压hadoop安装包3.3 在hadoop安装目录下创建子目录3
转载
2023-08-25 12:33:17
28阅读
分布式锁为了解决集群中多主机上不同线程之间的同步，需要在分布式系统中有类似于单主机下用于进程/线程同步的锁，也即分布式锁 1.1 基于MySQL...
原创
2022-03-03 11:26:03
863阅读
系统一旦分布式了之后，通信、缓存、消息、事务、锁、配置、日志、监控、会话等等各种原来单块系统场景下很容易解决的问题，都会变得很复杂，需要引入大量外部的技术。
原创
2022-09-17 05:51:45
687阅读
# 从零开始学习分布式事务和分布式锁
## 介绍
在分布式系统中，分布式事务和分布式锁是非常重要的概念。分布式事务用于保证多个数据库操作的一致性，而分布式锁用于解决多个进程之间的并发访问问题。本文将介绍如何在Kubernetes（K8S）环境中实现分布式事务和分布式锁，帮助刚入行的小白理解并应用这些概念。
## 总体流程
在K8S中实现分布式事务和分布式锁的具体步骤如下：
| 步骤 |
原创
2024-04-28 10:44:13
212阅读
在现代互联网应用中，随着数据量的不断增加和应用的复杂性，分布式计算和分布式存储成为了关键的技术。Kubernetes（简称K8S）作为一种容器编排引擎，在实现分布式计算和存储方面发挥着重要作用。本篇文章将向你介绍如何在K8S上实现分布式计算和分布式存储。
整体流程：
步骤 | 操作
---|---
1 | 搭建Kubernetes集群
2 | 部署分布式计算框架
3 | 部署分布式存储系统
4
原创
2024-05-16 10:19:21
206阅读
分布式系统单点登录传统用户身份验证：解决办法JWTJWT令牌类型：JWT的组成：JWT头有效载荷签名哈希Base64URL算法JWT的原则JWT的用法JWT问题和趋势整合JWT令牌：1、在模块中添加jwt工具依赖2、创建JWT工具类 分布式系统单点登录： 在多个服务模块中，仅在一个模块中登录即可访问其它模块。 举例：豆瓣FM有自己的session、豆瓣读书有自己的session，而记录ID的co
转载
2024-04-29 10:15:45
87阅读
