学习数据结构 -> 算法的介绍1. 算法的定义 从广义上讲, 算法是指解决问题的方法和步骤。 在计算机中, 算法是指令的有限集合, 而每一条指令表示一个或多个操作。 例如解决将大象装冰箱里的算法为:
转载
2024-02-04 14:15:01
36阅读
GPU的TFLOPS（Tera FLOPS）指的是每秒可以进行的万亿次浮点运算（Floating Point Operations Per Second）。计算GPU的TFLOP
《算力网络中高效算力资源度量方法》论文解读与实验复现论文摘要关键词论文贡献研究现状传统资源度量技术CPU性能衡量GPU性能衡量算力资源度量技术方案设计设计原则工作流程实验评估实验复现算力度量指标数据集构造算法复现复现结果一些思考 论文摘要算力度量的研究处于起步阶段，已有的度量方法相对单一，只考虑了部分静态或动态指标，难以保证算力资源利用率和算力资源匹配准确率。设计了先静后动的混合式度量方法(hy
下面的记录只是方便自己翻阅，建议去原博客观看Pytorch 分布式训练主要有两种方式：torch.nn.DataParallel ==> 简称 DP torch.nn.parallel.DistributedDataParallel ==> 简称DDP其中 DP 只用于单机多卡，DDP 可以用于单机多卡也可用于多机多卡，后者现在也是Pytorch训练的主流用法，DP写法比较简单，但即使
转载
2024-01-29 01:43:00
0阅读
作者 | 老石谈芯的老石目前，全世界超过90%的数据都是在过去的两三年之内产生的。随着人工智能、自动驾驶、5G、云计算等各种技术的不断发展，海量数据都将会继续源源不断的产生。预计到2025年，数据总量将比现在增长10倍。在这些技术的发展中，很大的一部分都基于对大数据的研究和分析。正因为如此，很多人就形象的将数据比喻为人工智能时代的石油。为了对海量的数据进行处理，基于传统CPU的
首先注意区分“最小路径覆盖”(minimum path cover)和“最小边覆盖”(minimum edge cover)以及“最小点覆盖”(minimum vertex cover)之间的区别。详细资料可以查询Wiki。 最小路径覆盖可以转化为二分图的最大匹配（maximum bipartite matching） 。公式为最小路径覆盖数=原图节点数-二分图最大匹配数。求最大匹配的方法有两种：
深度学习中FLOPS和FLOPs的区别与计算FLOPSFLOPs单位换算Params和FLOPs的计算CONV标准卷积层FC全连接层NVIDIA GPU的浮点计算能力GPU的计算能力的衡量指标描述GPU计算能力的指标 我们在购买GPU或者计算目标检测模型复杂度的时候，一般会遇到FLOPS和FLOPs这两个指标，在此加以区分。 FLOPSFLOPS(全部大写)是floating point op
转载
2024-06-03 20:53:15
388阅读
本节我们将介绍 Pytorch的动态计算图。包括：动态计算图简介计算图中的Function计算图和反向传播叶子节点和非叶子节点计算图在TensorBoard中的可视化一，动态计算图简介Pytorch的计算图由节点和边组成，节点表示张量或者Function，边表示张量和Function之间的依赖关系。Pytorch中的计算图是动态图。这里的动态主要有两重含义。第一层含义是：计算图的正向传播是立即执行
转载
2023-08-26 14:37:04
79阅读
# PSO算法的pytorch实现
## 引言
粒子群优化算法（Particle Swarm Optimization, PSO）是一种模拟鸟群觅食行为的优化算法，它通过模拟鸟群的个体间的信息交流和合作来搜索最优解。PSO算法被广泛应用于函数优化、机器学习领域，如神经网络训练、特征选择等。本文将介绍PSO算法的基本原理，并使用pytorch库实现一个简单的PSO算法示例。
## PSO算法原理
原创
2023-12-23 08:02:30
383阅读
# 使用PyTorch实现推荐系统
在这篇文章中，我将逐步向你介绍如何使用PyTorch构建一个简单的推荐系统。推荐系统的目标是根据用户的历史行为或某些特征，为用户推荐他们可能感兴趣的物品。我们将通过简单明了的步骤来实现。
## 流程图
以下是构建推荐系统的基本流程图（使用Mermaid语法）：
```mermaid
flowchart TD
A[数据准备] --> B[数据预处理
# 使用 PyTorch 的 Apriori 算法包实现关联规则学习
## 什么是 Apriori 算法？
Apriori 算法是一种经典的关联规则学习算法，主要用于发现数据集中频繁项集和生成关联规则。它的核心思想是“无频不约”，即如果某个项集是频繁的，那么它的所有子集也必定是频繁的。
## PyTorch 中的 Apriori 算法包
虽然 PyTorch 主要用于深度学习，但它也提供了
原创
2024-10-22 06:51:31
36阅读
TFLOPS（每秒万亿次浮点运算）是衡量计算机性能的单位，表示每秒钟可以执行一万亿次浮点运算。计算方法：TFLOPS的计算公式为：示例：假设一台计算机有8个核心，每个核心的时钟频率为2 GHz（即每秒20亿次时钟周期），每个时钟周期可以执行4次浮点运算。那么，这台计算机的TFLOPS为：需要注意的是，实际性能可能受到多种因素的影响，如内存带宽、I/O性能和系统架构等。更多示例：超级计算机性能： 全
第一篇链接：LLM 参数，显存，Tflops? 训练篇(1) (qq.com) 第一篇我们讲完了Self-Attention层的算力要求和每一步生成的形状， 上节课我们讲的红框里的内容，我们继续从下往上看, 两个LN层就别看了也没啥特别多的可学习对象（跟MHA和FFN相比），其实还有什么drop out啥的
原创
2024-03-03 10:04:43
94阅读
上篇文章链接LLM 参数，显存，Tflops? 训练篇(3) (qq.com) 上上篇文章链接 LLM 参数，显存，Tflops? 训练篇(2) (qq.com) 上上上篇文章链接 LLM 参数，显存，Tflops? 训练篇(1) (qq.com)
原创
2024-03-07 09:43:11
65阅读
很多第一次接触云计算的小白不懂如何购买阿里云服务器，不清楚该如何选购云服务器配置才能满足业务需求，为此笔者整理购买阿里云服务器教程（小白篇），希望能在选购云服务器配置上能帮助到大家！这个教程是2020年以前的，现在阿里云官网界面都改版了。所以我也整理最新的教程：一：访问阿里云官网二：注册阿里云账号，或者使用淘宝账号登录激活阿里云账号。三：从产品里面选择云服务器ECS四：进入页面后选择立即购买，当天
如果你要训练一个模型大概会考虑哪些因素？ 模型多大？参数 占用显存多少，能不能装的下 我需要多少算力来支撑 本文就针对一个标准的Transfomer模型的套路和大家简单说一下 &nb
原创
2024-02-28 09:42:10
198阅读
上篇文章链接 LLM 参数，显存，Tflops? 训练篇(2) (qq.com) 上上篇文章链接 LLM 参数，显存，Tflops? 训练篇(1) (qq.com) 书接前文 上节课我们推导出来了算力的公式，主要是前向计
原创
2024-03-06 09:21:06
104阅读
上篇文章链接 LLM 参数，显存，Tflops? 训练篇(4） (qq.com) 上上篇文章链接LLM 参数，显存，Tflops? 训练篇(3) (qq.com)上上上篇文章链接 LLM 参数，显存，Tflops? 训练篇(2) (qq.com)上上上上篇文章链接 LLM 参数，显存，Tflops? 训练篇(1) (q
原创
2024-03-08 08:47:54
268阅读
文章目录来自于 https://tangshusen.me/Dive-into-DL-PyTorch/#/官方文档 https://pytorch.org/docs/stable/tensors.html一、创建tensor二、数据操作索引，共享内存改变形状 view,虽然改变了形状，但共享data内存返回新的副本，即不共享内存三、广播机制运算内存开销四、Tensor 和 NumPy 相互转换所
1. torch.nn与torch.nn.functional之间的区别和联系nn和nn.functional之间的差别如下，我们以conv2d的定义为例torch.nn.Conv2d import torch.nn.functional as F
class Conv2d(_ConvNd):
def __init__(self, in_channels, out_chann
