marsggbo的博客_C/C++,CUDA,Docker原创

OpenAI 的视频生成大模型Sora的核心技术详解（一）：Diffusion模型原理和代码详解

标题党一下，顺便蹭一下 OpenAI Sora大模型的热点，主要也是回顾一下扩散模型的原理。 1. 简单理解扩散模型简单

数据

方差

去噪

置顶原创 3月前 71 阅读

大模型推理框架 vLLM 源码解析（一）

1. Quick Start 创建如下代码，命名为 run.py from vllm import LLM, SamplingParams prompts = [ "Have you followed marsggbo in Zhihu?", "你一键三连了吗？" ] # 输入prompts sam

List

初始化

数据

置顶原创精选 3月前 454 阅读

AutoML综述更新【AutoML：Survey of the State-of-the-Art】

论文: AutoML: Survey of the State-of-the-Art 下面这个网站会不断更新AutoML相关的论文，当然如果你的论文未被收录，你也可以手动上传你的论文让更多人看到： https://marsggbo.github.io/automl_a_survey_of_state

AutoML

机器学习

置顶原创 2021-05-01 19:21:37 254 阅读

真的超详细又好懂的梯度下降优化算法概览

参考 https://ruder.io/optimizing-gradient-descent/ 。本文不是简单地翻译，而是真的花了一天的时间和心思来写，这一过程中我也重新复习了一遍，而且对不太容易理解的地方都做了详细的解释和说明，如果看了本文还不清楚，那。。。那你就来我公众号后台私信我交流！！！

算法

置顶原创 2021-05-20 23:26:52 338 阅读

AutoML

机器学习

置顶原创 2021-05-01 19:21:44 544 阅读

AutoML总结

原文: "JxKing的博客 | JxKing Blog" 前言 AutoML是指尽量不通过人来设定超参数，而是使用某种学习机制，来调节这些超参数。这些学习机制包括传统的贝叶斯优化，多臂老虎机（multi armed bandit），进化算法，还有比较新的强化学习。我将AutoML分为传统A

AutoML

机器学习

置顶原创 2021-05-01 19:21:40 529 阅读

AutoML: A survey of the state-of-the-art综述期刊论文免费下载

我们实验室的自动机器学习（Automated Machine Learning, AutoML）综述论文终于正式在Elsevier上线了！！！在2021年1月29日前可以通过以下链接免费下载： Elsevier: AutoML综述免费下载给Elsevier这种灵活的出版模式点个赞综述论文内

AutoML

机器学习

置顶原创 2021-05-01 19:21:36 179 阅读

【论文笔记系列】AutoML：A Survey of State-of-the-art （上）

之前已经发过一篇文章来介绍我写的 "AutoML综述" ，最近把文章内容做了更新，所以这篇稍微细致地介绍一下。由于篇幅有限，下面介绍的方法中涉及到的细节感兴趣的可以移步到论文中查看。论文地址：https://arxiv.org/abs/1908.00709 1. Introduction 以往的模

论文

论文笔记

置顶原创 2021-05-01 19:19:22 150 阅读

Huggingface Transformers实现张量并行的小坑 set/get_output_embeddings

transformers 库里实现的很多模型会有这么两个函数 get_output_embeddings和 get_output_embeddings。以 SwitchTran

微信公众号

机器学习

初始化

原创 22天前 30 阅读

Pytorch 如何使用 storage 实现参数 offload？

在深入探讨 PyTorch 中的 Storage 类以及其在参数 offload 场景中的应用之前，让我们首先了解一下 PyTorch 和它的基础组件

Data

Storage

数据

原创 1月前 25 阅读

TACC 集群使用笔记

1注册账号先在网页上注册账号，之后需要联系导师或者管理员把你添加到对应的集群里去，例如我加入的是 Lonestar6 集群。之后需要

ide

数据

使用场景

原创 1月前 2 阅读

大模型推理框架 vLLM 源码解析（二）：Block 模块分配和管理

1. Block 概览 vLLM 的一个很大创新点是将物理层面的 GPU 和 CPU 可用内存切分成若干个 block,这样可以有效降低内存

数据

List

初始化

原创 2月前 67 阅读

vllm 安装踩坑 (The NVIDIA driver on your system is too old)

我的环境如下： nvidia-smi 显示 cuda 版本是 11.7 目前最新vllm 要求的 torch 版本是 2.1.2，该版本要求的 cuda 版本是

新版本

配置文件

CUDA

原创 4月前 1494 阅读

AttributeError: module 'torch' has no attribute 'fx'解决办法

这个报错原因很好解决，只需要在引入包的时候调用下面的语句就可以了 import torch.fx

系统

原创 5月前 111 阅读

LLM 学习笔记-Deepspeed-MoE 论文

论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale 1. Introduction 现有的 M

数据

复杂度

ci

原创 5月前 124 阅读

LLM 学习笔记-transformers库的 PreTrainedModel 和 ModelOutput 到底是什么？

闲言碎语我在刚开始接触 huggingface （后简称 hf）的 transformers 库时候感觉很冗杂，比如就模型而言，有 PretrainedMode

语言模型

输出格式

生成式

原创 5月前 606 阅读

LLM 入门笔记-Tokenizer

以下笔记参考huggingface 官方 tutorial： https://huggingface.co/learn/nlp-course/chapter6 下图展示了完整的 token

初始化

数据

数据集

原创 5月前 117 阅读

在Megatron-Deepspeed项目中如何下载和预处理Wikipedia数据集

更详细的查看 https://github.com/marsggbo/Megatron-DeepSpeed/blob/main/tutorials/gpt2_wikipedia.md

json

数据集

预处理

原创 5月前 232 阅读

transformer模型训练、推理过程分析

复杂度分析推理过程图示 Double QLORA示意图

推理过程

复杂度分析

原创 6月前 227 阅读

c++中template的用法是什么？

> 下文由ChatGPT生成在C++中，`template`是一种通用编程工具，用于创建通用的函数或类。通过使用模板，可以编写可以应用于不同

c++

template

函数模板

Stack

类模板

原创 9月前 304 阅读

pip install指定gcc g++版本的方法

有时候安装某个包可能会遇到gcc版本过低的问题，但是系统上可能安装了好几个版本的gcc。那么一种很简单的解

g++

环境变量

原创 9月前 869 阅读

FlashAttention算法简介

# 1. Motivation 不同硬件模块之间的带宽和存储空间

transformer

FlashAttention

Soft

Memory

代码实现

原创 10月前 408 阅读

Oh-my-zsh主题乱码解决办法

Oh-my-zsh主题乱码解决办法是安装 Powerline 字体。打开终端，参考以下命令安装 Powerline 字体： ```bash cd ~/Downloads && git clone https://github.com/powerline/fonts.git #将 Powerline

oh-my-zsh

zsh

乱码

Power

git

原创 10月前 800 阅读

《Transformer Quality in Linear Time》论文解读

会议/期刊: ICML 年份: 2022 # 1. Vanilla Transformer Block（MHSA+FFN）原本的Transfor

transformer

算法

优化

大模型

LLM

原创 10月前 269 阅读

安装TensorNVMe和Deepspeed时遇到的坑：无root权限安装libaio依赖库

如果你有root权限，用下面这行代码一键安装即可： sudo apt install libaio1 liba

git

root权限

bash

原创 2023-03-26 14:01:21 660 阅读

Python多进程代码调试工具

https://github.com/Lightning-AI/forked-pdb import sys import pdb class F

github

python

bc

原创 2023-03-26 14:01:02 282 阅读

如何远程SSH到Windows内部的虚拟机？

1. 背景我学校有一台Windows电脑 (x@a.b.c.d)，里面安装了一个Ubuntu虚拟

Server

Windows

用户名

原创 2023-03-26 14:00:40 451 阅读

Ubuntu ARM版本如何运行openconnect-sso?

前言操作系统：Ubuntu 22.04 ARM64 1. 安装openconnect-sso 先安装anaconda或者miniconda，然后运行如下命令 conda install -c conda-forge openconnect-sso 2. 解决openssl的bug 安装好后照理来说

ARM

openconnect

NVIDIA VPN

python

SSL

原创 2023-01-28 06:58:41 310 阅读

深度学习并行训练算法一锅炖: DDP, TP, PP, ZeRO

本文主要参考ColossalAI论文 Colossal-AI: A Unifie

并行计算

机器学习

分布式

权重

数据

原创 2022-11-12 00:16:26 348 阅读

深度学习并行训练算法一锅炖: DDP, TP, PP, ZeRO

本文主要参考ColossalAI论文 Colossal-AI: A Unified Deep Learning System For Large-Scale Parallel Training ColossalAI框架开源提供了本文介绍的所有并行训练: https://github.com/hpca

并行计算

机器学习

分布式

权重

2d

原创 2022-11-12 00:16:15 675 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

marsggbo

OpenAI 的视频生成大模型Sora的核心技术详解（一）：Diffusion模型原理和代码详解

大模型推理框架 vLLM 源码解析（一）

AutoML综述更新【AutoML：Survey of the State-of-the-Art】

真的超详细又好懂的梯度下降优化算法概览

AutoML相关论文

AutoML总结

AutoML: A survey of the state-of-the-art综述期刊论文免费下载

【论文笔记系列】AutoML：A Survey of State-of-the-art （上）

Huggingface Transformers实现张量并行的小坑 set/get_output_embeddings

Pytorch 如何使用 storage 实现参数 offload？

TACC 集群使用笔记

大模型推理框架 vLLM 源码解析（二）：Block 模块分配和管理

vllm 安装踩坑 (The NVIDIA driver on your system is too old)

AttributeError: module 'torch' has no attribute 'fx'解决办法

LLM 学习笔记-Deepspeed-MoE 论文

LLM 学习笔记-transformers库的 PreTrainedModel 和 ModelOutput 到底是什么？

LLM 入门笔记-Tokenizer

在Megatron-Deepspeed项目中如何下载和预处理Wikipedia数据集

transformer模型训练、推理过程分析

c++中template的用法是什么？

pip install指定gcc g++版本的方法

FlashAttention算法简介

Oh-my-zsh主题乱码解决办法

《Transformer Quality in Linear Time》论文解读

安装TensorNVMe和Deepspeed时遇到的坑：无root权限安装libaio依赖库

Python多进程代码调试工具

如何远程SSH到Windows内部的虚拟机？

Ubuntu ARM版本如何运行openconnect-sso?

深度学习并行训练算法一锅炖: DDP, TP, PP, ZeRO

深度学习并行训练算法一锅炖: DDP, TP, PP, ZeRO