分布式计算概述总结什么是分布式计算？广义定义中科院定义分布式计算的优缺点优点缺点并行计算与分布式计算的联系与区别并行计算分布式计算两者之间的区别分布式系统的CAP理论一致性可用性分区容忍性CAP中的选择分布式计算的应用实例 什么是分布式计算？分布式计算是一种计算方法，和集中式计算是相对的。 分布式计算是利用互联网上的计算机的中央处理器的闲置处理能力来解决大型计算问题的一种计算科学。广义定义分布式
转载
2024-02-02 07:30:35
15阅读
目录1、集群架构：2、服务器：3、修改主机名称：4、搭建docker环境：5、搭建docker私有镜像仓库：6、搭建docker的overlay网络：7、创建overlay网络：8、准备meta服务配置文件：（1）获取meta默认配置文件：（2）配置文件使用方式：（3）修改meta配置文件参数：① 增加参数local_config：② 修改参数meta_server_addrs：③ 修改参数loc
转载
2024-05-28 12:05:54
3144阅读
Docker分布式计算是一种新兴的技术手段，能够有效地管理和部署大规模的应用程序。随着云计算和微服务架构的兴起，Docker的分布式计算模式为开发者和运维人员提供了更为灵活、高效的解决方案。本博文将对Docker分布式计算的背景、技术原理、架构解析、源码分析及案例分析进行全面的复盘记录。
### 背景描述
随着计算需求的增长，传统的架构已经变得不够灵活，分布式计算应运而生。Docker容器技术
基于Docker的分布式实时计算平台的Storm的部署过程1.安装 dockersudo apt update
sudo snap install docker
# 确认docker安装信息
sudo docker info
# 停止启动查看服务
sudo snap stop docker
sudo snap start docker
snap services
# 设置以非roo
转载
2023-11-09 00:48:55
52阅读
1. 准备好系统环境及使用的软件（务必看下）VMware Workstation Pro 15Ubuntu 20.04Hadoop 3.1.4Docker 19.03.13Storm 2.2.0Zookeeper 3.7.0JDK 1.8.0_261远程开发工具：VS-code + Remote-ssh（不建议新手配这个，太累了），这个纯粹的就是个工具，用xshell，putty等都可以，这两个使
转载
2023-11-09 19:04:03
162阅读
说明： clickhouse的分区和hive表有类似地方，但也有区别，比如clickhouse中支持对分区的卸载和装载，卸载的数据不受ck管控，数据一直在，还可以复制分区数据到另外一张表结构一样的分区一样的表中，他直接提供命令，hive虽然也能实现，但相对麻烦一些，同时ck还能将分区的数据进行重置，如果设置默认值，分区中数据都是默认值，注意，主键列和分区字段是不能重置，如果重置主键数据都找不到，充
转载
2024-10-03 10:55:36
24阅读
一、环境准备1、安装Dockeryum install -y yum-utils device-mapper-persistent-data lvm22、Centos系统（未安装任何软件）：3、打包系统镜像：将本机操作系统打包成tar文件 tar –numeric-owner –exclude=/proc –exclude=/sys -cvf centos-self.tar /4、将制作的tar
转载
2023-12-23 23:25:27
98阅读
1.安装docker 安装最简单版本的 docker sudo apt install docker.io sudo apt-get update 2.用了这么一个镜像 docker pull markadams/chromium-xvfb-py2 这个镜像包含了python+selenium+chrome 省去了配置selenium+chromedriver的麻烦 提醒一下 服务器的安全组记得方
转载
2024-01-03 10:06:56
73阅读
Docker安装FastDFS分布式文件系统：
• 1.首先下载FastDFS文件系统的docker镜像
• 2.拉取镜像
• 3.查看镜像
• 4.使用docker镜像构建tracker容器（跟踪服务器，起到调度的作用）：
• 5.使用docker镜像构建storage容器（存储服务器，提供容量和备份服务）：
转载
2023-07-11 07:31:58
122阅读
在现代互联网应用中，随着数据量的不断增加和应用的复杂性，分布式计算和分布式存储成为了关键的技术。Kubernetes（简称K8S）作为一种容器编排引擎，在实现分布式计算和存储方面发挥着重要作用。本篇文章将向你介绍如何在K8S上实现分布式计算和分布式存储。
整体流程：
步骤 | 操作
---|---
1 | 搭建Kubernetes集群
2 | 部署分布式计算框架
3 | 部署分布式存储系统
4
原创
2024-05-16 10:19:21
206阅读
分布式计算是当前计算机领域常见的名词，那么到底什么事分布式，什么又是分布式计算呢？今天和大家共同研究一下这个话题。定义 一个分布式系统是由若干通过网络互联的计算机组成的硬件系统，而且者系计算机互相配合以完成共同的目标。分布式计算的一种简单定义是在分布式系统上执行的计算。更为正式的定义是，分布式计算研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这
转载
2024-05-01 22:31:19
339阅读
1.分布式计算概述分散->汇总模式：1. 将数据分片，多台服务器各自负责一部分数据处理2. 然后将各自的结果，进行汇总处理3. 最终得到想要的计算结果1. 什么是计算、分布式计算？ 计算：对数据进行处理，使用统计分析等手段得到需要的结果 分布式计算：多台服务器协同工作，共同完成一个计算任务 2. 分布式计算常见的2种工作模式 分散
->
汇总
（
转载
2024-01-05 22:14:23
140阅读
面对计算密集型的任务，除了多进程，就是分布式计算，如何用 Python 实现分布式计算呢？今天分享一个很简单的方法，那就是借助于 Ray。什么是 RayRay 是基于 Python 的分布式计算框架，采用动态图计算模型，提供简单、通用的 API 来创建分布式应用。使用起来很方便，你可以通过装饰器的方式，仅需修改极少的的代码，让原本运行在单机的 Python 代码轻松实现分布式计算，目前多用于机器学
转载
2023-08-18 02:11:57
357阅读
容器介于虚拟化和rpm包之间，容器技术已经成为了应用程序封装和交付的核心技术，在物理机上实施隔离，启动一个容器，可以像启动一个进程一样快速。核心有以下几个内核技术组成：Cgroups（Control Groups）--资源管理NameSpace--进程隔离SELinux安全Docker完整的一套容器管理系统，它提供了一组命令，让用户更加方便直接地使用容器技术，而不需要过多关心底层技术虚拟化与doc
转载
2023-08-09 22:17:52
57阅读
介绍Docker image是实现应用的分发载体，其依赖于很多底层的技术，包括联合文件系统，写时复制等等，还涉及到多种可以选择的存储驱动，下面这张图很好的概括了镜像以及容器的文件系统． 容器镜像的制作本身容器镜像的制作过程中可优化的地方可以从以下几个方面考虑：镜像的存储：镜像采用分层存储，不同镜像里面相同的层将只需要存储一份镜像的分发：容器启动的时候，会首先将镜像下载到本地，需要从仓库中下载镜像到
转载
2023-11-14 09:21:39
26阅读
前言我的京东价格监控网站需要不间断爬取京东商品页面，爬虫模块我采用了Scrapy+selenium+Headless Chrome的方式进行商品信息的采集。由于最近爬虫用的服务器到期，需要换到新服务器重新部署，所以干脆把整个模块封装入Docker，以便后续能够方便快速的进行爬虫的部署。同时，由于我的Scrapy整合了redis，能够支持分布式爬取，Docker化后也更方便进行分布式的
转载
2023-07-11 13:58:43
154阅读
本着交流和学习的心态和大家分享本人的第一篇博客（客套话就不说了，其实就是说说自己编写的思路和及对问题的解决办法）。先说说技术路线，选择docker,scrapy,scrapy_redis 的原因很简单，省钱又方便。（苦比的大四党并不享用云主机优惠）本爬虫主要抓取了豆瓣movie，book，music分类中的资源。先看看最后抓取的数据量（大概12万的数据(爬虫待优化)）好了，下面就讲讲我的心路历程。
转载
2023-07-11 17:09:10
247阅读
使用docker构建分布式接口服务
docker的安装
·# 更新软件包，线上环境慎用
yum update
# 安装docker
yum install -y docker
# 启动docker 服务
systemctl start docker
# 查看docker版本
docker version
转载
2023-07-19 19:23:50
25阅读
环境搭建与部署是产品实际开发过程中的第一步，其操作过程极易产生错误，如：在若干不同版本操作系统、不同配置的机器上搭建无差异化开发，测试环境难度高；产品研发环境与发布环境往往不同，正式上线通常会出现难以预料的问题，产品发布风险较高。项目扩大的过程中，参与人员流动性较大，每个人都要部署自己的开发环境，着实浪费时间。而且人为操作存在不可避免的失误，改正这些失误需要消耗更多的时间，代价较大，而Docker
转载
2023-10-07 15:54:01
95阅读
目录
Mesos简介 Zookeeper简介 Marathon简介 docker集群实践 Mesos集群部署 一、Mesos简介 Mesos是Apache下的开源分布式资源管理框架，它被称为分布式系统的内核。Mesos最初是由加州大学伯克利分校的AMPLab开发，后在Twitter得到广泛使用。 Mesos-Master：主要负责管理各个framework和slave，并将slave上的
转载
2024-06-12 14:07:28
53阅读
