Docker 容器网络和通信原理1. Docker 默认的网络模型Docker Host : 安装了 docker deamon 的主机docker0 : 安装了 docker 之后出现的网桥通过网桥可以将 Linux 支持的不同的端口连接起来实现类交换机多对多的通信veth pair虚拟以太网（Ethernet）设备成对出现,用于解决网络命名空间之间的隔离一端连接 Container netwo
转载
2024-06-06 11:50:48
91阅读
介绍自从 Go 1.11 引入模块后，Go 应用的依赖管理有了极大地提升。我们可以看到，使用 GOPROXY 能非常简单地拉取一个模块，更好地支持请求校验和流水线式的依赖版本等等。但如果你想要创建自己的模块，要怎么开始开始呢？好消息是，相对而言，公开的包与私有的相比，并没有太多的难度，反之亦然。但它们有一点 _不同_。? 注意：: 在本文中，Go 包和 Go 模块的含
转载
2024-08-15 09:15:44
89阅读
# 在 Windows 平台用 Docker 跑大模型的指南
利用 Docker 在 Windows 平台上运行大模型是一个高效的方式，它能够提供隔离的环境，简化依赖项管理。本文将引导你完成从安装 Docker 到运行大模型的整个过程。
## 整体流程
| 步骤 | 描述 |
|------|------|
| 1 | 安装 Docker Desktop |
| 2 | 创建 D
原创
2024-10-28 05:56:52
618阅读
pytorch框架搭建AlextNet网络实例——实现图像的分类1、网络的搭建2、训练模型2.1、数据的获取2.2、训练模型方法2.3、测试模型方法2.4、保存模型方法2.2、画图方法3、调取保存好的模型进行验证 1、网络的搭建搭建ALextNet网络，这里我们采用和上一篇搭建DNN神经网络不同的方式，采用管道流的方式搭建。集体网络结构如下：卷积层5层： 第一层：
(0): Conv2d(3，
导读在当今的人工智能时代，大型AI模型已成为获得人工智能应用程序的关键。但是，这些巨大的模型需要庞大的计算资源和存储空间，因此搭建这些模型并对它们进行交互需要强大的计算能力，这通常需要使用云计算服务。从云产品性能上来看，GPU云主机是最适合的工具之一，对于业务方或者个人开发者来讲，使用GPU云主机搭建AI大语言模型有以下优势：•高性能计算：GPU云主机提供了高性能GPU处理器，加速模型的训练和推理
BERT六大瘦身大法网络剪枝：包括从模型中删除一部分不太重要的权重从而产生稀疏的权重矩阵，或者直接去掉与注意力头相对应的整个矩阵等方法来实现模型的剪枝，还有一些模型通过正则化方法实现剪枝。 低秩分解：即将原来大的权重矩阵分解多个低秩的小矩阵从而减少了运算量。这种方法既可以用于标记嵌入以节省磁盘内存，也可以用到前馈层或自注意力层的参数矩阵中以加快模型训练速度。 知识蒸馏：通过引入
一、环境设置本文环境设置：Ubuntu (docker) pytorch-gpu1.远程Ubuntu新建一个新的docker 容器以下命令是创建一个名称为torch_yolo的gpu容器。如果没有docker可省略。docker run -it -e /home/elena/workspace:/home/elena/workspace --gpus all --ipc host --net h
经过模型训练及测试，我们得到了保存在 ‘./runs/detect/train/weights/’ 下的pt类型文件，这种文件保存的是模型的权重信息，为便于进一步推理和部署，需要将pt文件转为onnx格式，再转为engine格式，下面介绍具体实现步骤。目 录目 录一、pt转onnx1、修改配置文件2、编
转载
2024-10-17 18:45:23
68阅读
Gartner 将生成式 AI 列为 2022 年五大影响力技术之一，MIT 科技评论也将 AI 合成数据列为 2022 年十大突破性技术之一，甚至将 Generative AI 称为是 AI 领域过去十年最具前景的进展。未来，兼具大模型和多模态模型的 AIGC 模型有望成为新的技术平台。近来，腾讯发布的混元 AI 万亿大模型登顶权威中文测评基准 CLUE 榜并超越人类水平。混元 AI 大模型采用
转载
2024-02-07 23:18:38
193阅读
从 LeNet 到 SENET，CNN 最全总结与源码实现！
转载
2022-10-19 11:24:48
939阅读
一、Docker 的数据管理管理 Docker 容器中数据主要有两种方式：数据卷（Data Volumes）和数据卷容器（DataVolumes Containers）。1、数据卷数据卷是一个供容器使用的特殊目录，位于容器中。可将宿主机的目录挂载到数据卷上，对数据卷的修改操作立刻可见，并且更新数据不会影响镜像，从而实现数据在宿主机与容器之间的迁移。数据卷的使用类似于 Linux 下对目录进行的 m
转载
2024-10-27 21:02:19
19阅读
# 使用 Docker 实现大模型的步骤指南
在今天的文章中，我们将指导刚入行的小白如何使用 Docker 来运行大模型。Docker 是一个开放源代码的平台，允许开发者自动化应用程序的部署、扩展和管理。通过将大模型放入 Docker 容器中，我们可以确保其在各种环境中一致地运行。
## 整体流程
下面是实现 Docker 大模型的步骤流程：
| 步骤 |
# 大模型 Docker 科普文章
## 引言
在当今互联网快速发展的时代，人工智能（AI）和大模型的应用越来越广泛。然而，构建和运行这些大模型却并不是一件简单的事情。Docker作为一个容器化平台，可以帮助我们更加便捷地管理和部署大模型。本文将为大家介绍如何使用Docker来管理大模型，并提供代码示例和相关图示。
## 什么是Docker？
Docker是一种开源的容器化技术，它能够将应
本系列文章，主要参考b站教程CUDA 编程入门: 8 小时掌握 GPU 计算 本部分是p1-p4部分的内容的总结1.CUDA编程基础1.1 CUDA程序架构下图是调用CUDA的核函数来执行并行计算 1.CUDA编程模型是一个异构模型，需要CPU和GPU协同工作 2.在CUDA中，host和device是两个重要的概念，我们用host指代CPU及其内存，而用device指代GPU及其内存 3.ker
转载
2024-10-26 10:10:45
178阅读
摘要：特斯拉采用的是RegNet，相比于ResNet进行了更高一层的抽象，解决了NAS搜索设计空间(将卷积、池化等模块：连接组合/训练评估/选最优)固定、无法创建新模块的弊端，可以创建新颖的设计空间范式，能够发掘更多的场景适配新的"ResNet"，从而避免专门去研究设计神经网络架构。如果出来更好的BackBone可以替换这部分。一、感知：构建实时的4D自动驾驶场景1.特斯拉摄像头布局
模拟Linux进程博主第一次写博客，不足的地方还请见谅！ 文章目录模拟Linux进程前言一、使用工具二、使用步骤1.创建相应的结构体2.源程序三、总结 前言正在学习操作系统，处于需要，便用c语言模拟了一下。一、使用工具博主在这里用的是Dev C++这款软件，如有需求可以私信找博主。呐，我一定会及时回复的哟！二、使用步骤1.创建相应的结构体代码如下：#include<stdio.h>
Ubuntu是一款备受欢迎的Linux发行版，它的用户友好性和稳定性使其成为许多人的首选。无论你是新手还是有经验的用户，通过学习一些基础知识，你将更加熟练地使用Ubuntu。在这篇博客中，我们将探讨一些基本的操作和技巧，助你更好地玩转Ubuntu。1. 安装Ubuntu安装Ubuntu是一个简单而关键的步骤，让我们一起来完成吧。以下是一个简单的安装步骤：下载Ubuntu ISO文件： 首先，访问U
转载
2024-08-31 11:33:43
53阅读
# Python大模型如何调通接口
在开发大型Python应用程序时，调通接口是非常重要的一步。这意味着不仅要保证代码的正确性，还要确保各个组件之间的交互正常。本文将介绍如何调通Python大模型的接口，并提供一些示例代码。
## 1. 理解大模型的结构
在调通接口之前，我们首先要理解大模型的结构。大模型通常由多个子模块组成，每个子模块负责不同的功能。这些子模块之间通过接口进行通信。了解大模
原创
2024-02-05 10:59:15
213阅读
base Ubuntu 16.04简单入门操作安装sudo apt-get remove docker docker-engine docker-ce docker.io sudo apt-get update sudo apt-get install -y apt-transport-https ca-certificates curl software-properties-common&nb
使用Ollama部署大模型用Postman测试的全过程
在这篇博文中，我将分享如何使用Ollama工具有效地部署大模型，并通过Postman进行测试的具体操作步骤。本文将涵盖环境准备、分步指南、配置详解、验证测试、排错指南以及扩展应用等内容，确保您对整个过程有全面的了解。
### 环境准备
为了成功部署大模型，您需要满足以下软硬件要求：
| 组件 | 最低要求
