之前自己DIY了一台服务器，大家都问了我不少问题，后来给朋友采购一台GPU服务器，辗转于各大厂商。甚是心累。自己DIY想的问题少一些，正式采购GPU服务器还是要考虑很多问题的。比如说性价比就有几个方面：1、一台服务器多张卡（8张 or 10张）好，还是一台服务器搞两张卡多台服务器好，这个问题后来咨询了多个厂家，以前GPU卡都是通过SLI建立P2p access的，最大只能并行4张卡，现在有些厂家自
转载
2024-08-21 11:06:09
119阅读
【场景篇】 为了节省端口的占用，将N个flask应用服务——每个对应一个文件（web.py、django也一样）合并为一个端口服务来启用 【寻思篇】 通常的做法：每个文件配置一个xml 或者 ini文件，然后依次启动uwsgi（uwsgi -x {xml文件名}），形如：<uwsgi>
<wsgi-file>/home/yxgly/code/dora
转载
2023-12-02 15:18:32
174阅读
看了好多教程都提到了使用 os.environ["CUDA_VISIBLE_DEVICES"] = "1" 或者export CUDA_VISIBLE_DEVICES=1但是我加进代码里面速度并没有提高，查了很久才找到问题所在，当你的电脑有两块以上GPU时，上面这两句代码才起作用！因为我的电脑只有一块GPU，所以需要将参数的“1”改成“0”才可以，否则找不到“1”号设备，它就会默认使用CPU，速度
转载
2023-07-02 23:11:16
335阅读
通常在程序开始之前并不知道需要多大的显存，程序会去申请GPU的显存的50%比如一个8G的内存，被占用了2G，那么程序会申请4G的显存（因为有足够的剩余显存）如果此时显存被占用7G，那么程序会申请剩下的所有的1G的显存。也许你的程序根本用不着这么多显存，200M也许就够了，这时候如果程序能按照需求去申请就好了，幸运的是，这样的方法是存在的：import tensorflow as tf
转载
2024-03-22 14:32:58
287阅读
参考文章：http://kb.cnblogs.com/page/86907/ (配置Nginx＋uwsgi更方便地部署python应用)http://projects.unbit.it/uwsgi/wiki/VirtualHosting (uWSGI VirtualHosting Mode)http://uwsgi-docs.readthedocs.org/en/latest/Configurat
原创
2015-01-12 17:35:52
4755阅读
1.WSGI 是一种描述web服务器 （nginx uWSGI等服务器）如何与web应用程序（如用Django Flask框架写的程序）通信协议 2.uwsgi协议是一个uWSGI服务器自有的协议，它用于定义传输信息的类型（type of information）,每一个uwsgi packet前4
转载
2022-01-16 13:35:57
223阅读
前言在数据越来越多的时代，随着模型规模参数的增多，以及数据量的不断提升，使用多GPU去训练是不可避免的事情。Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式，本文简单讲解下使用Pytorch多GPU训练的方式以及一些注意的地方。这里我们谈论的是单主机多GPUs训练，与分布式训练不同，我们采用的主要Pytorch功能函数为DataParallel而不是DistributedPar
转载
2023-08-05 18:30:02
664阅读
WSGIWSGI的全称是WebServerGatewayInterface（Web服务器网关接口），它不是服务器、python模块、框架、API或者任何软件，只是一种描述web服务器（如nginx，uWSGI等服务器）如何与web应用程序（如用Django、Flask框架写的程序）通信的规范。server和application的规范在PEP3333中有具体描述，要实现WSGI协议，必须同时实现w
转载
2018-10-08 14:17:06
2058阅读
工作中用到docker，一台服务器安装docker可能会导致服务器和系统性能下降，这时需要多台服务器来做“负载均衡”。在给出多台服务器，如何基于已安装好的docker环境加入集群模式，成为子节点？
转载
2023-05-31 22:12:49
146阅读
在当前的深度学习和计算密集型任务中，如何高效利用多个GPU成为了一个重要的技术挑战。Ollama是一个优秀的GPT工具，其性能在很大程度上依赖于GPU资源的合理分配和使用。为了有效发挥多个GPU的优势，本文将系统化地探讨在Ollama环境下多个GPU使用的相关问题及解决方案。
## 协议背景
在深入理解Ollama多个GPU问题之前，我们首先必须认识到不同协议和层级在计算资源管理中的重要性。以
BERT & GPT
近年来，随着大规模预训练语言模型的发展，自然语言处理领域发生了巨大变革。BERT 和 GPT 是其中最流行且最有影响力的两种模型。在本篇博客中，我们将讨论 BERT 和 GPT 之间的区别以及它们的演变过程。1.起源 年， 首次推出 BERT（Bidirectional Encoder Representations from Transformer
首先搞清楚php-fpm与cgi的关系cgi cgi是一个web server与cgi程序（这里可以理解为是php解释器）之间进行数据传输的协议，保证了传递的是标准数据。php-cgi php-cgi是php解释器，就是上文提到的cgi程序。Fastcgi Fastcgi是用来提高cgi程序（php-cgi）性能的方案/协议。 cgi程序的性能问题在哪呢？"PHP解析器会解析php.ini
转载
2024-10-20 20:43:06
20阅读
PBO(Pixel Buffer Object): opengl2.0之后才有的，PBO设计的目的就是快速地向显卡传输数据，或者从显卡读取数据，我们可以使用它更加高效的读取屏幕数据。 单个PBO读取屏幕数据效率大概和 glReadPixels() 差不多，双PBO交换读取效率会很高。原因是使用PBO时，屏幕上的数据不是读取到内存，而是从显卡读到PBO中，或者如果内部机制是读取到内存中，但这也是
Multi-Process Service(MPS)原理： 一个GPU卡上同时只能执行一个context；因此多进程同时往一个GPU卡上提交任务时，同时只能有一个任务跑起来，没法多任务并行； MPS服务：多进程提交的任务先提交至MPS服务进程，该进程会把所有任务使用同一个context但不同的stream, 提交给该块GPU卡，使得可以多任务并行
django项目使用uwsgi方式启动环境：虚拟机ubuntu 20.0 django2.2 python3.6.8基于docker 部署前言目的：由python manage.py runserver单进程的启动方式，更改为使用uwsgi多进程方式启动，增加服务并发数知识补充 WSGI /uwsgi /uWSGIWSGI：是python Web服务器网关接口。是python应用程序/框架和
转载
2023-07-05 21:53:06
587阅读
一、Flask部分（app.py）
flask即Python代码：部分参考代码如下，相信很多人如果看到这篇文章一定有flask的代码能力。
转载
2023-08-01 07:19:59
228阅读
(venv) [root@VM-8-12-centos backend]# uwsgi --ini uwsig_scripts/uwsgi.ini[uWSGI] getting INI configuration from uwsig_scripts/uwsgi.ini*** WARNING: Ca
原创
2024-09-09 10:55:48
150阅读
由于新浪SAE使用的环境是Python2.6.7+Django1.2.7，而我的电脑使用的环境是Python2.5+Django1.2.7，为了完成今年下半年在SAE上部署一个个人博客的任务，我决定首先把开发环境搭建完毕。显然，我需要安装一个更高版本的Python。我在Python2.6.6与P
转载
2024-08-17 15:08:02
21阅读
Nginx + uWSGI启动Python应用服务 uWSGI是一个Web应用服务器，它具有应用服务器，代理，进程管理及应用监控等功能。它支持WSGI协议，同时它也支持自有的uWSGI协议，该协议据说性能非常高，而且内存占用率低，为mod_wsgi的一半左右，我没有实测过。它还支持多应用的管理及应用的性能监控。虽然uWSGI本身就可以直接用来当Web服务器，但一般建议将其作为应用服务器配合Ngi
转载
2023-08-21 12:55:53
400阅读
按照文档，首先写一个test.py的文件，进行测试是否安装成功1 def application(env, start_response):
2 start_response('200 OK', [('Content-Type','text/html')])
3 return ["Hello World"] 结果刚开始既不显示内容，也不现实错误仔细查看运行回显：出现了一段
转载
2023-06-20 15:40:41
391阅读
