在这篇文章中，我们演示了如何编写PyTorch训练脚本来使用8位浮点类型。展示了FP8的使用是如何从Nvidia H100中获
原创
2024-05-04 00:40:05
130阅读
随着支持fp8的硬件的发展，在不影响效率的前提下，进一步降低精度也成为了可能。但是这些较小的、低精度的格式在实践中并不总是易于
原创
2024-05-13 11:59:42
150阅读
图表示学习笔记（一）DeepWalk:算法原理和应用图表示学习目前提到的图算法一般指： 1.经典数据结构与算法层面的：最小生成树，最短路径、拓扑结构、关键路径 2.概率模型，涉及图的表示学习，推断和学习 3.图神经网络，主要包括Graph Embedding（基于随机游走） 和==Graph CNN(基于邻居汇聚)==两部分。 Graph Emmbedding技术将图中的节点以低维稠密向量的形式进
导读在深度学习的世界里，模型的庞大和复杂常常让人望而却步，尤其是当涉及到计算资源和存储空间的限制时。然而，有一种神奇的技术——量化，它就像一把魔法棒，能够在不损失太多性能的情况下，让模型变得更小、更快、更节能。从高精度的 FP32 到低精度的 INT4，量化技术到底是什么？它是如何工作的？又会给我们的模型带来哪些变化呢？本文将用通俗易懂的语言，搭配生动形象的例子和简单的公式，带你一探量化技术的究竟
在这篇文章中，我们演示了如何编写PyTorch训练脚本来使用8位浮点类型。TE是一个非常好的库
原创
精选
2024-06-10 22:13:32
401阅读
DeepSeek 这次的重点不在模型 V3.1，而是在DeepSeek在其官宣发布DeepSeek-V3.1的文章中提到，DeepSeek-V3.1使用了U
DeepGEMM 是 DeepSeek 开源的专为 FP8 矩阵乘法设计的高效库，支持普通和混合专家（MoE）分组的 GEMM 操作，基于即时编译技术，动态优化矩阵运算，显著提升计算性能。
DeepGEMM 是 DeepSeek 开源的专为 FP8 矩阵乘法设计的高效库，支持普通和混合专家（MoE）分组的 GEMM 操作，基著提升计算性能。
生成对抗网络（GAN）推理优化实战：裁剪、蒸馏与量化技术指南目录0. TL;DR 与关键结论1. 引言与背景2. 原理解释3. 10分钟快速上手4. 代码实现与工程要点5. 应用场景与案例6. 实验设计与结果分析7. 性能分析与技术对比8. 消融研究与可解释性9. 可靠性、安全与合规10. 工程化与 ...
MT-MegatronLM 是摩尔线程推出的面向全功能 GPU 的开源混合并行训练框架，支持多种模型架构和高效混合并行训练，显著提升 GPU 集群的算力利用率。
MT-MegatronLM 是摩尔线程推出的面向全功能 GPU 的开源混合并行训练框架，支持多种模型架构和高效混合并行训练，显著提升 GPU 集群的算力利用率。
FP32和FP16的平衡性更强，占用内存比FP64更小，计算效率更高，非常适合这类需求，所以关注度和出镜率更高。例如，在大模型训练任务中
var n = []; var e = document.createElement('canvas'); var ctx = e.getContext('2d'); e.width = 2e3; e.height = 200; e.style.display = 'inline'; ctx.rec
原创
2022-11-12 00:52:34
125阅读
var e = document.createElement('canvas'); var t = e.getContext('webgl'); var r = []; var o = t.createBuffer(); t.bindBuffer(34962, o); var i = new Flo
原创
2022-11-20 01:44:38
179阅读
# Python函数式编程指南
## 引言
函数式编程（FP）是一种编程范式，它将计算视为函数应用的连续序列。在函数式编程中，函数被视为第一类对象，它可以作为参数传递给其他函数或返回作为结果。Python提供了一些强大的工具和库，使我们可以使用函数式编程范式来编写更简洁、可维护和可复用的代码。
本文将引导你学习如何在Python中实现函数式编程。我们将按照以下流程图的步骤逐步介绍：
```
原创
2023-08-18 17:22:48
115阅读
##函数式编程 函数即对象直接赋给变量 My_sum = sum有属性和方法 __name__  
原创
2016-02-06 16:26:13
1083阅读
var l = ["monospace", "sans-serif", "serif"]; var u = ["Andale Mono", "Arial", "Arial Black", "Arial Hebrew", "Arial MT", "Arial Narrow", "Arial Round
原创
2022-12-04 00:17:38
127阅读
我就不说FP-Tree的作用、优点什么的了,直接用例子来解释构建FP-Tree和找出所有频繁项集,第一次写博客,不对之处还请指出。
输入文件:
转载
2023-07-21 16:19:03
86阅读
day-1 python打卡-输出 与转义字符#输出 输出print（），可以输出到显示器上（是个人都知道的），还可以直接输出到文件中去，这个有点意思。 fp是一个变量（理解为一个箱子，可以装任何东西），open是打开的意思，打开一个D盘中的名为text.txt的文件，将其保存到箱子fp中去。 打开模式为a+，假若该文件存在，则将输出的东西直接输出到文件中，假若该文件不存在，则直接新建一个空白的文
转载
2024-01-26 10:45:54
64阅读
LMDeploy v0.9.2 是一个里程碑式的版本。它不仅仅是一次简单的功能叠加，更是一次围绕“高效”、“全面”、“稳定”三大核心目
