01. 硬件准备一个完整的深度学习GPU开发环境需要硬件和软件两方面的支持，在硬件部分，我将从GPU、CPU、散热、主板、电源、内存、硬盘和显示器几方面分别介绍。GPU深度学习需要进行大量矩阵运算，如果不考虑云端服务提供的GPU或TPU资源，一块足够好的GPU就是普通人的性价比之选。目前最常用的是NVIDIA显卡，主要关注的GPU性能参数是显存和CUDA计算能力。显存关系到你能训练多大
转载
2024-09-02 12:58:26
158阅读
需求公司项目采用微服务的架构，服务很多，每个服务都有自己的日志，分别存放在不同的服务器上。当查找日志时需要分别登录不同的服务器，有大量的请求的情况下，在日志文件中查找信息十分困难。想要搭建一个日志系统，ELK分布式日志系统对于中小型公司来说开发维护成本太高，经过调研，选择Loki轻量级日志系统。Loki简介Loki 是一个水平可扩展，高可用性，多租户日志聚合系统,灵感来自 Prometheus ，
转载
2024-06-30 10:53:04
82阅读
0. 前言最近偶尔捣鼓了一下onnxruntime-gpu(python版本)的服务端部署，于是打算简单记录一下一些关键步骤，免得以后忘了。确实，有些时候我们并不全是需要把模型转成MNN/ncnn/TNN后走移动端部署那套，服务端的部署也是个很重要的场景。比较常用的服务端部署方案包括tensorrt、onnxruntime-gpu等等。onnxruntime-gpu版本可以说是一个非常简单易用的框
转载
2024-05-12 22:16:39
431阅读
关于pytorch多GPU分布式训练数据并行：把数据分成不同份数放在不同的GPU上面去跑： 单机单卡：torch.cuda.is_avliable() 模型拷贝：model.cuda --->原地操作不用赋值,data = data.cuda（） torch.save 模型、优化器、其他变量#单机多卡:torch.n
转载
2024-03-18 13:01:08
352阅读
如果关注这个领域的同学可能知道，Ray其实在去年就已经在开源社区正式发布了，只不过后来就一直没有什么太大动静，前段时间也是因为机缘巧合，我又回头学习了解了一下，顺便总结如下：Ray是什么？Ray 是RISELab实验室（前身也就是开发Spark/Mesos等的AMPLab实验室）针对机器学习领域开发的一种新的分布式计算框架。按照官方的定义：“Ray is a flexible, high-perf
转载
2024-02-18 12:08:09
220阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、主从,哨兵模式搭建1.主从1.哨兵二、集群搭建1.安装2.修改配置文件redis.conf3.复制4.写个批处理启动5.创建Redis集群（创建时Redis里不要有数据）6.使用7.扩容1.添主2.添从8.缩容总结 前言我们采用Redis多机和集群的方式来保证Redis的高可用性。 单进程+单线程 + 多机 （集群）
转载
2023-10-14 17:11:50
128阅读
泰勒公式
原创
2021-08-19 13:01:08
254阅读
分布式计算是一种计算方法，和集中式计算是相对的。随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。定义广义定义所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许
管理项目1.找出java工作环境并打开 2.点击进入java操作界面，新建文件夹 3.选择尖朝下的标志选择Working Sets 创建分布式项目：1.创建一个maven工程用于管理jar包：右击创建maven project，选择方式为porm2.创建一个存放工具类的maven工程(common)，右击创建maven projec
转载
2023-07-18 22:53:39
0阅读
本教程是基于CentOS-7-x86_64的Hadoop完全分布式搭建1、搭建前的准备1）CentOS-7虚拟机3台(hadoop1、hadoop2、hadoop3) 2）hadoop-3.3.0包 3）jdk-8u144-linux-x64包2、整体部署 hadoop1hadoop2hadoop3HDFSN
转载
2023-05-31 16:02:50
0阅读
一、环境准备1.准备一台虚拟机虚拟机安装请移步另一篇博客：2.配置ip : 我配置的ip为：192.168.40.33，保证能访问外网3.配置hostname : eleven-24.配置hosts ： 192.168.40.33 eleven-25.关闭防火墙，避免后期发生问题找不到原
转载
2023-07-20 17:19:38
77阅读
文章目录写在前面搭建好Hadoop集群环境安装Spark（Master节点上操作）配置环境变量（Master节点上操作）Spark配置（Master节点上操作）配置Worker节点启动Spark集群（在Master节点上操作）关闭Spark集群（在Master节点上操作） 写在前面这里采用2台机器（节点）作为实例来演示如何搭建Spark集群，其中1台机器作为Master节点，另外一台机器作为Sl
转载
2023-11-24 11:31:59
73阅读
文章目录一、hadoop 简介基于hadoop的整体分布式模块交互1）分布式系统的定义2）核心内容：文件的目录结构独立存储在一个NameNode上，二具体文件数据，拆分成若干块，冗余的存放在不基于Hadoop的HDFShadoop：HDFS：准备工作：二、安装配置主从机无密登录环境变量配置 一、hadoop 简介基于hadoop的整体分布式模块交互1）分布式系统的定义把数据放到一个服务器集群上面
转载
2023-07-12 12:15:01
79阅读
文章目录一、环境准备二、系统设置1.静态IP地址(以node1为例)2.hostname与host映射(以node1为例)3.关闭防火墙(以node1为例)4.关闭selinux(以node1为例)5.新建用户及组(以node1为例)6.调大hadoop用户资源限制(以node1为例)7.SSH免密码登录(仅node1执行)三、NTP安装与配置(以node1为例)四、JDK安装(以node1为例
转载
2024-01-23 21:31:05
50阅读
全分布式redis集群搭建：单节点多实例1 删除2.8 bin目录及文件: # cd /opt/sxt/redis # rm -fr bin2 ftp 上传redis-cluster 目录到根目录 2 redis-cluster目录下解压redis 3.0 : # tar xf redis.....gz3 redis目录下make命令编译拷贝bin至 /opt/sxt/redis/下
转载
2023-06-13 12:47:45
124阅读
提纲Redis安装整体架构Redis主从结构搭建Redis容灾部署（哨兵sentinel）Redis常见问题
Redis安装发行版：CentOS-6.6 64bit内核：2.6.32-504.el6.x86_64CPU：intel-i7 3.6G内存：2G
下载redis，选择合适的版本[root@rocket software]# wget http://download.
转载
2023-09-16 02:18:04
8阅读
1. hadoop集群规划1.准备3台客户机(关闭防火墙，静态ip，主机名称)2.安装jdk3.配置环境变量4.安装hadoop，hadoop版本是3.1.3,包名为hadoop-3.1.3.tar.gz5.配置环境变量6.配置集群7.单点启动8.配置ssh9.群起集群并测试集群注意: NameNode和SecondaryNameNode和ResourceManage三者很消耗内存,不要安装在同一
转载
2023-06-25 12:46:35
115阅读
万法皆空，因果不空。随着摩尔定律碰到瓶颈，分布式架构越来越常见。从单点演变到分布式结构，首要问题之一就是数据一致性。很显然，如果分布式集群中多个节点处理结果无法保证一致，那么在其上的业务系统将无法正常工作。区块链系统是一个典型的分布式系统，必然也会碰到这些经典问题。本章将介绍分布式系统领域的核心技术，包括一致性、共识的定义，基本的原理和常见算法，最后还介绍了评估分布式系统可靠性的指标。一致性问题一
转载
2024-01-25 19:25:54
118阅读
1.首先 我的配置 安装了 jdk1.7.0_79 hadoop-2.7.1 zookeeper-3.4.7 yarn也有昂这些不重要 hive-1.2.1 sqoop-1.4.6 azkaban-web-2.5.0 azkaban-executor-2.5.0然后下载的hbase是hbase-1.2.1版本的 可以到官网下载2.其次 最重要的是 我已经搭建了HA 高可用 安装过程吃过一次亏了3.
介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每个
转载
2024-07-27 16:05:12
47阅读
