marsggbo的博客_C/C++,CUDA,Docker

IEEE 浮点数表示原理

系统

转载 2023-12-26 13:37:18 77 阅读

AttributeError: module 'torch' has no attribute 'fx'解决办法

这个报错原因很好解决，只需要在引入包的时候调用下面的语句就可以了 import torch.fx

系统

原创 2023-12-11 15:35:34 2346 阅读

LLM 学习笔记-Deepspeed-MoE 论文

论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale 1. Introduction 现有的 M

数据

复杂度

ci

原创 2023-12-11 15:35:29 337 阅读

LLM 学习笔记-transformers库的 PreTrainedModel 和 ModelOutput 到底是什么？

闲言碎语我在刚开始接触 huggingface （后简称 hf）的 transformers 库时候感觉很冗杂，比如就模型而言，有 PretrainedMode

语言模型

输出格式

生成式

原创 2023-12-11 15:35:19 1371 阅读

大模型训练过程中用到的 gpt_merge.txt和gpt_vocab.json是干什么用的？

系统

转载 2023-12-02 14:20:50 127 阅读

LLM 入门笔记-Tokenizer

以下笔记参考huggingface 官方 tutorial： https://huggingface.co/learn/nlp-course/chapter6 下图展示了完整的 token

初始化

数据

数据集

原创 2023-12-02 14:19:59 238 阅读

在Megatron-Deepspeed项目中如何下载和预处理Wikipedia数据集

更详细的查看 https://github.com/marsggbo/Megatron-DeepSpeed/blob/main/tutorials/gpt2_wikipedia.md

json

数据集

预处理

原创 2023-12-02 14:12:33 503 阅读

transformer模型训练、推理过程分析

复杂度分析推理过程图示 Double QLORA示意图

推理过程

复杂度分析

原创 2023-11-16 12:05:51 535 阅读

【转载】Macbook M1/M2如何调试c++代码？使用lldb即可

Macbook M1/M2无法安装gdb，但是可以使用lldb进行代码调试。使用方法和介绍如下：

代码调试

GDB

Python

转载 2023-11-02 10:37:04 604 阅读

【转载】阮一峰：Make 命令教程

html

转载 2023-11-01 09:09:42 79 阅读

【转载】CMake从头开始学习-上

这篇文章写的太好了非常适合新手入门，原文链接是 https://subingwen.cn/cmake/CMake-primer/index.html ![image](https://img2023.cnblogs.com/blog/746820/202308/746820-202308261754

c++

c'ma'k

cmake

CMake

html

转载 2023-10-23 10:29:07 66 阅读

c++中template的用法是什么？

> 下文由ChatGPT生成在C++中，`template`是一种通用编程工具，用于创建通用的函数或类。通过使用模板，可以编写可以应用于不同

c++

template

函数模板

Stack

类模板

原创 2023-08-14 00:00:24 360 阅读

pip install指定gcc g++版本的方法

有时候安装某个包可能会遇到gcc版本过低的问题，但是系统上可能安装了好几个版本的gcc。那么一种很简单的解

g++

环境变量

原创 2023-08-08 00:06:44 1652 阅读

FlashAttention算法简介

# 1. Motivation 不同硬件模块之间的带宽和存储空间

transformer

FlashAttention

Soft

Memory

代码实现

原创 2023-07-24 08:21:30 589 阅读

【转】一文看懂 LLaMA 中的旋转式位置编码（Rotary Position Embedding）

transformer

RoPE

旋转位置编码

转载 2023-07-16 09:44:49 403 阅读

Oh-my-zsh主题乱码解决办法

Oh-my-zsh主题乱码解决办法是安装 Powerline 字体。打开终端，参考以下命令安装 Powerline 字体： ```bash cd ~/Downloads && git clone https://github.com/powerline/fonts.git #将 Powerline

oh-my-zsh

zsh

乱码

Power

git

原创 2023-07-10 00:09:08 1174 阅读

《Transformer Quality in Linear Time》论文解读

会议/期刊: ICML 年份: 2022 # 1. Vanilla Transformer Block（MHSA+FFN）原本的Transfor

transformer

算法

优化

大模型

LLM

原创 2023-07-02 08:53:56 390 阅读

腰椎间盘突出锻炼指南

html

转载 2023-04-22 07:45:10 133 阅读

安装TensorNVMe和Deepspeed时遇到的坑：无root权限安装libaio依赖库

如果你有root权限，用下面这行代码一键安装即可： sudo apt install libaio1 liba

git

root权限

bash

原创 2023-03-26 14:01:21 832 阅读

Python多进程代码调试工具

https://github.com/Lightning-AI/forked-pdb import sys import pdb class F

github

python

bc

原创 2023-03-26 14:01:02 299 阅读

如何远程SSH到Windows内部的虚拟机？

1. 背景我学校有一台Windows电脑 (x@a.b.c.d)，里面安装了一个Ubuntu虚拟

Server

Windows

用户名

原创 2023-03-26 14:00:40 501 阅读

Ubuntu ARM版本如何运行openconnect-sso?

前言操作系统：Ubuntu 22.04 ARM64 1. 安装openconnect-sso 先安装anaconda或者miniconda，然后运行如下命令 conda install -c conda-forge openconnect-sso 2. 解决openssl的bug 安装好后照理来说

ARM

openconnect

NVIDIA VPN

python

SSL

原创 2023-01-28 06:58:41 352 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

marsggbo

IEEE 浮点数表示原理

AttributeError: module 'torch' has no attribute 'fx'解决办法

LLM 学习笔记-Deepspeed-MoE 论文

LLM 学习笔记-transformers库的 PreTrainedModel 和 ModelOutput 到底是什么？

大模型训练过程中用到的 gpt_merge.txt和gpt_vocab.json是干什么用的？

LLM 入门笔记-Tokenizer

在Megatron-Deepspeed项目中如何下载和预处理Wikipedia数据集

transformer模型训练、推理过程分析

【转载】Macbook M1/M2如何调试c++代码？使用lldb即可

【转载】阮一峰：Make 命令教程

【转载】CMake从头开始学习-上

c++中template的用法是什么？

pip install指定gcc g++版本的方法

FlashAttention算法简介

【转】一文看懂 LLaMA 中的旋转式位置编码（Rotary Position Embedding）

Oh-my-zsh主题乱码解决办法

《Transformer Quality in Linear Time》论文解读

腰椎间盘突出锻炼指南

安装TensorNVMe和Deepspeed时遇到的坑：无root权限安装libaio依赖库

Python多进程代码调试工具

如何远程SSH到Windows内部的虚拟机？

Ubuntu ARM版本如何运行openconnect-sso?

欢迎