由于 Win11 的 Linux 子系统可以支持 CUDA，故考虑将开发环境迁移到 Win11，方便跨平台编译，记录一下配置过程最终还是于 2021-12-12 放弃用回 Manjaro，子系统用起来还是有诸多不便，配置太麻烦了。。。以下为两个主要的参考来源：微软官方参考：https://docs.microsoft.com/en-us/windows/wsl/install-manual英伟达官
1.适用于除Windows CE之外的各种Windows平台.在使用这个模型之前应该确保该系统安装了Winsock2.重叠模型的基本设计原理是使用一个重叠的数据结构，一次投递一个或多个Winsock I/O请求。在重叠模型中，收发数据使用WSA开头的函数。2.WSA_FLAG_OVERLAPPED标志:要使用重叠模型。在创建套接字的时候，必须加上该标志。SOCKET s=WSASocket(AF_
转载
2024-10-09 09:59:14
53阅读
# 在 Windows 平台用 Docker 跑大模型的指南
利用 Docker 在 Windows 平台上运行大模型是一个高效的方式，它能够提供隔离的环境，简化依赖项管理。本文将引导你完成从安装 Docker 到运行大模型的整个过程。
## 整体流程
| 步骤 | 描述 |
|------|------|
| 1 | 安装 Docker Desktop |
| 2 | 创建 D
原创
2024-10-28 05:56:52
618阅读
Gartner 将生成式 AI 列为 2022 年五大影响力技术之一，MIT 科技评论也将 AI 合成数据列为 2022 年十大突破性技术之一，甚至将 Generative AI 称为是 AI 领域过去十年最具前景的进展。未来，兼具大模型和多模态模型的 AIGC 模型有望成为新的技术平台。近来，腾讯发布的混元 AI 万亿大模型登顶权威中文测评基准 CLUE 榜并超越人类水平。混元 AI 大模型采用
转载
2024-02-07 23:18:38
193阅读
# 大模型 Docker 科普文章
## 引言
在当今互联网快速发展的时代，人工智能（AI）和大模型的应用越来越广泛。然而，构建和运行这些大模型却并不是一件简单的事情。Docker作为一个容器化平台，可以帮助我们更加便捷地管理和部署大模型。本文将为大家介绍如何使用Docker来管理大模型，并提供代码示例和相关图示。
## 什么是Docker？
Docker是一种开源的容器化技术，它能够将应
# 使用 Docker 实现大模型的步骤指南
在今天的文章中，我们将指导刚入行的小白如何使用 Docker 来运行大模型。Docker 是一个开放源代码的平台，允许开发者自动化应用程序的部署、扩展和管理。通过将大模型放入 Docker 容器中，我们可以确保其在各种环境中一致地运行。
## 整体流程
下面是实现 Docker 大模型的步骤流程：
| 步骤 |
最近公司项目中有直播模块，模块已经基本完成故将这段时间的收获总结一下，和大家分享，互相进步....首先我集成的是金山云的直播SDK，网址如下 https://github.com/ksvc/KSYLive_Android 这个是金山云目前为止最新的SDK 他包括了推流端和播放端两部分，即一个SDK全搞定，不需要再去单独集成。 效果图如下： 其实一开始我是
文章目录 AI大模型基础环境搭建 简介 搭建 大模型基础环境通常会依赖以下package： conda安装 demo环境搭建 关于该git项目需要注意的一些点 前后端封装 实现效果截图 和 一点后续的废话： AI大模型基础环境搭建 简介 简单描述一下本文章里会教大家做的东西 1、搭建大模型基础环境 2、fastapi 封装接口 + 前端页面，做自己的语言模型 3、github地址： https:/
moby、docker-ce与docker-ee 最早的时候docker就是一个开源项目，主要由docker公司维护。 2017年年初，docker公司将原先的docker项目改名为moby，并创建了docker-ce和docker-ee。 这三者的关系是：moby是继承了原先的docker的项目，是社区维护的的开源项目，谁都可以在moby的基础打造自己的容器产品docker-ce是docker公
转载
2024-03-11 09:47:20
76阅读
# 如何在Ubuntu上使用Docker部署大模型
## 概述
在本文中，我将指导您如何在Ubuntu操作系统上使用Docker容器来部署大型模型。我将按照以下步骤进行介绍，并提供每个步骤所需的具体代码示例。
## 步骤概览
以下是部署大模型的步骤概览：
| 步骤 | 描述 |
| ---- | ---- |
| 1. 安装Docker | 安装Docker引擎以支持容器化应用程序 |
|
原创
2024-07-04 03:42:32
524阅读
随着虚拟化技术的发展，越来越多的web工程采用docker进行部署运维。我们尝试使用docker-compose编排一个后端基于django，前端基于vue，数据库为postgresql并使用nginx进行反向代理的web工程。工程准备Docker安装Docker安装docker-composedjango在python3.7的环境下创建 django-admin startproject doc
使用 Docker 搭建 ELK 环境本文将聊聊如何使用 Docker 搭建 ELK （Elasticsearch、Logstash、Kibana）。文章将分两个部分对搭建进行介绍，用于开发测试以及一般分析需求的环境，以及弹性扩容后可以用于一般生产的环境。因为借助于方便的 Docker，完整操作时间不超过 15 分钟，如果你对 Docker 还不熟悉，可以浏览之前的文章。写在前面为了方便搭建，我们
转载
2024-07-23 10:24:15
110阅读
介绍自从 Go 1.11 引入模块后，Go 应用的依赖管理有了极大地提升。我们可以看到，使用 GOPROXY 能非常简单地拉取一个模块，更好地支持请求校验和流水线式的依赖版本等等。但如果你想要创建自己的模块，要怎么开始开始呢？好消息是，相对而言，公开的包与私有的相比，并没有太多的难度，反之亦然。但它们有一点 _不同_。? 注意：: 在本文中，Go 包和 Go 模块的含
转载
2024-08-15 09:15:44
89阅读
1、 模型训练MMSegmentation实现了分布式训练和非分布式训练，分别使用MMDistributedDataParallel和MMDataParallel。所有输出(日志文件和检查点)将被保存到配置文件中的work_dir指定的工作目录中。默认情况下，我们在一些迭代之后对验证集上的模型进行评估，您可以通过在训练配置中添加interval参数来更改评估间隔。evaluation = dict
转载
2024-06-22 12:05:10
200阅读
经过上次对基本元素和工具的学习（AI科研绘图（一）：零基础入门和基本图形绘制），我们基本上掌握了最常用和基础的工具的用法。在学术论文中常常需要添加一些简单的插图作为示意图，例如植物、细胞、微生物等，帮助审稿人和读者更直观的了解文章的内容。下图是选自Nature Reviews Microbiology这篇综述中的一张插图，本节我们就以这张示意图为例，一起学习用AI来画类似这样的示意图选自：Phil
概述今天主要简单介绍下docker的技术架构及其中组成的各个模块。技术架构distribution 负责与docker registry交互，上传洗澡镜像以及v2 registry 有关的源数据registry负责docker registry有关的身份认证、镜像查找、镜像验证以及管理registry mirror等交互操作。image 负责与镜像源数据有关的存储、查找，镜像层的索引、查找以及镜像
Docker的网络概念与网络模式写在最前面，docker的网络隔离通过network namespace实现，不同的网络模式都与namespace紧密关联。docker的网络转发通过iptables实现。阅读本文请带着namespace的相关概念，特别是network namespace。接着我们抛出3个问题：docker有哪些网络概念？ docker有哪些网络模式？ docker网络对象和网络模
转载
2024-10-23 16:12:18
40阅读
Docker快速搭建Starrocks 数仓与数集系列：Starrocks 文章目录Docker快速搭建Starrocks一、Starrocks数据库二、Docker快速搭建Starrocks1.拉取镜像2.启动镜像完成数据库部署3.设置初始密码总结补充： 一、Starrocks数据库StarRocks 是一款开源的分析型数据库,主要用于海量数据的快速分析和查询。它具有以下一些主要特性:MPP架构
循环服务器：使用循环的方法逐个处理客户端连接，处理完一个之后再处理另一个。并发服务器的简单模型：使用进程处理客户端的连接和请求。并发服务器的TCP的分类：使用进程池或者线程池进行客户端请求的处理的框架和方法，并按照accept的处理情况进行不同状态的划分。并发服务器模型中使用IO复用：使用同一处理模块监视多个客户端的连接并进行处理。一、循环服务器循环服务器指对于客户端的请求和连接，服务器在处理完一
docker性能测试测试环境： 操作系统：CentOS7、openstack nova-docker启动的centos7、openstack环境启动的centos7虚拟机 CPU：Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz * 2 内存：Micron 2133MHz 16G * 8 网卡：Intel Corporation 82599ES 10-Gigabi
转载
2024-06-02 17:22:15
783阅读
