关于docker分享之分布式存储 glusterfs 经典语录：实际实验搭建：前提 是要保证 一个 /data目录不和根分区在同一个磁盘！1、centos7安装glusterfs参考链接：https://wiki.centos.org/SpecialInterestGroup/Storage/gluster-Quickstart#To Use the RPMs from Storage SIG,
转载
2023-08-17 14:39:20
338阅读
# 如何使用Docker Compose实现分布式
## 概述
在本文中，我将教会你如何使用Docker Compose来实现分布式应用程序。Docker Compose是一个用于定义和运行多个容器的工具，它使用一个简单的YAML文件来配置应用程序的服务、网络和依赖关系。通过使用Docker Compose，你可以轻松地在分布式环境中部署和管理应用程序。
## 整体流程
下面是使用Docker
原创
2023-12-24 05:23:35
131阅读
前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础。这是一篇记录我自己学习的文章，Hadoop的学习方法很多，网上也有很多学习路线图。hadoop介绍Hadoop是一个能够对海量数据进行分布式处理的系统架构。我采用的是hadoop-2.8.0,它主要包含3大块：hdfs:分布式存储系统HDFS(Hadoop Distributed File System)分布式存储层
# Docker Compose实现RocketMQ分布式部署
## 引言
在分布式系统中，消息队列是一种常用的组件，用来解耦系统各个部分，提高系统的可伸缩性和可靠性。而RocketMQ作为一款高可用、高性能的分布式消息中间件，被广泛应用于各种大规模分布式系统中。为了简化RocketMQ的部署和管理，我们可以使用Docker Compose来实现RocketMQ的分布式部署。
本文将对Doc
原创
2023-08-25 05:02:29
88阅读
Redis主从复制原理： 通过把这个RDB文件或AOF文件传给slave服务器，slave服务器重新加载RDB文件，来实现复制的功能！ 复制的话：主服务器可以有多个从服务器！！！ 不仅这样从服务器还可以有从服务器，可以做成星状的结构！ 复制的话也不会阻塞进程，同样fork一个子进程来做！复制的原理： 当建立一个从服务器后，从服务器会想主服务器发送一个SYNC的命令，主服务器接收到SYNC命令之后会
转载
2024-10-20 19:23:41
55阅读
Docker安装FastDFS分布式文件系统：
• 1.首先下载FastDFS文件系统的docker镜像
• 2.拉取镜像
• 3.查看镜像
• 4.使用docker镜像构建tracker容器（跟踪服务器，起到调度的作用）：
• 5.使用docker镜像构建storage容器（存储服务器，提供容量和备份服务）：
转载
2023-07-11 07:31:58
122阅读
# 如何实现分布式项目docker-compose部署项目
## 总览
在本文中，我将向你介绍如何使用docker-compose部署分布式项目。我们将通过以下步骤来完成整个流程：
| 步骤 | 描述 |
|--------------|------------------------------
原创
2023-08-10 16:09:25
108阅读
环境搭建与部署是产品实际开发过程中的第一步，其操作过程极易产生错误，如：在若干不同版本操作系统、不同配置的机器上搭建无差异化开发，测试环境难度高；产品研发环境与发布环境往往不同，正式上线通常会出现难以预料的问题，产品发布风险较高。项目扩大的过程中，参与人员流动性较大，每个人都要部署自己的开发环境，着实浪费时间。而且人为操作存在不可避免的失误，改正这些失误需要消耗更多的时间，代价较大，而Docker
转载
2023-10-07 15:54:01
95阅读
本着交流和学习的心态和大家分享本人的第一篇博客（客套话就不说了，其实就是说说自己编写的思路和及对问题的解决办法）。先说说技术路线，选择docker,scrapy,scrapy_redis 的原因很简单，省钱又方便。（苦比的大四党并不享用云主机优惠）本爬虫主要抓取了豆瓣movie，book，music分类中的资源。先看看最后抓取的数据量（大概12万的数据(爬虫待优化)）好了，下面就讲讲我的心路历程。
转载
2023-07-11 17:09:10
247阅读
前言我的京东价格监控网站需要不间断爬取京东商品页面，爬虫模块我采用了Scrapy+selenium+Headless Chrome的方式进行商品信息的采集。由于最近爬虫用的服务器到期，需要换到新服务器重新部署，所以干脆把整个模块封装入Docker，以便后续能够方便快速的进行爬虫的部署。同时，由于我的Scrapy整合了redis，能够支持分布式爬取，Docker化后也更方便进行分布式的
转载
2023-07-11 13:58:43
154阅读
使用docker构建分布式接口服务
docker的安装
·# 更新软件包，线上环境慎用
yum update
# 安装docker
yum install -y docker
# 启动docker 服务
systemctl start docker
# 查看docker版本
docker version
转载
2023-07-19 19:23:50
25阅读
引言安装过Fastdfs的朋友都知道，过程是非常复杂，有一个步骤错了，可能就要重头来过，最近我在做毕业设计，就想着能不能用docker搭建一个Fastdfs，学过docker不用岂不是浪费了，最后还是安装好了，而且过程非常简单，下面我来分享一下我的安装过程。安装步骤首先拉取最新版的fastdfs镜像docker pull delron/fastdfs下载完成后，先创建一下本地的映射目录，方便我们查
转载
2023-08-18 14:47:32
58阅读
文章目录使用docker和minio实现对象存储什么是minio安装minio使用minio 使用docker和minio实现对象存储什么是minio Minio是一个开源的分布式文件存储系统，它基于 Golang 编写,虽然轻量，却拥有着不错的高性能，可以将图片、视频、音乐、pdf这些文件存储到多个主机，可以存储到多个Linux，或者多个Windows，或者多个Mac，Minio中存储最大文件
转载
2023-09-03 16:53:39
112阅读
一.整体思路及中心节点的配置1.首先在虚拟机中运行一个docker，docker中运行的是一个linux系统，里面有我们所有需要的东西，linux系统，python，mysql，redis以及一些python的库如request、urllib等，
最好把这个做成一个镜像文件docker save -o 文文件名 镜像id2.我们把上面的镜像文件还原为一个镜像：docker load --inp
转载
2024-05-29 20:19:04
54阅读
目录
Mesos简介 Zookeeper简介 Marathon简介 docker集群实践 Mesos集群部署 一、Mesos简介 Mesos是Apache下的开源分布式资源管理框架，它被称为分布式系统的内核。Mesos最初是由加州大学伯克利分校的AMPLab开发，后在Twitter得到广泛使用。 Mesos-Master：主要负责管理各个framework和slave，并将slave上的
转载
2024-06-12 14:07:28
53阅读
1.分布式存储算法1.1 哈希取余算法2亿条记录即2亿个k,v，单机无法满足数据存储，需要集群。假设集群由3台机器组成，用户每次读写操作都是根据公式(hash(key)%n 台机器数)，通过计算出哈希取余值，来决定数据存储到哪个节点上，或者到那个节点取数据。优点：简单并且有效，只需要提前预估数据量，规划数据节点数量，比如3、8、10台机器。使用哈希取余算法可以让固定的有i部分请求落到同一台服务器上
转载
2023-12-15 21:43:40
34阅读
?’? ???, ? ?? ? ???????? ??????? ???? ???????, ?????.? ??????: ????? ??????????? ????????: ?’? ????????? ???????? ?????? ???????, ????????, ??????????? ??????, ?????????? ??? ?? ??.? ??? ?? ????? ??：?
转载
2023-09-01 21:43:51
133阅读
文章目录docker 分布式仓库harbor1.Harbor 功能官方介绍2. 安装 Harbor2.1 解决依赖环境1.安装docker2.安装docker-compasose2.2 并配置harbor启动2.3 .harbor后期 修改配置3. 用harbor 和上传镜像3.1 构建harbor 项目3.2 给旧镜像打标签3.3 上传镜像3.4 下载镜像4. harbor 的复制管理4.1
转载
2023-12-15 20:22:59
103阅读
转发前言：镜像仓库，以及企业级的其他存储仓库，甚至数据库，最好都采用分布式做法，前几天看到的fastdfs属于其中一种，还有很多，本文转发自info，主要是做个备注和收藏之用。知乎十万级容器规模的分布式镜像仓库实践令孤无忌2020 年 3 月 26 日文化 & 方法前言知乎在 2016 年已经完成了全量业务的容器化，并在自研容器平台上以原生镜像的方式部署和运行，并在后续陆续实施了 CI
转载
2023-06-15 09:33:44
153阅读
参考：https://www.runoob.com/docker1、Docker：1）软件容器平台； 2）对进程进行封装隔离/标准化； 3）属于操作系统层面的虚拟化即使。4）自动执行重复性任务==》Docker “容器” 将软件打包成标准化单元，用于开发、交付和部署。 2、与虚拟机对 比 &nbs
转载
2024-04-17 14:29:56
18阅读
