标题党一下，顺便蹭一下 OpenAI Sora大模型的热点，主要也是回顾一下扩散模型的原理。 1. 简单理解扩散模型 简单
1. Quick Start 创建如下代码，命名为 run.py from vllm import LLM, SamplingParams prompts = [ "Have you followed marsggbo in Zhihu?", "你一键三连了吗？" ] # 输入prompts sam
论文: AutoML: Survey of the State-of-the-Art 下面这个网站会不断更新AutoML相关的论文，当然如果你的论文未被收录，你也可以手动上传你的论文让更多人看到： https://marsggbo.github.io/automl_a_survey_of_state
参考 https://ruder.io/optimizing-gradient-descent/ 。 本文不是简单地翻译，而是真的花了一天的时间和心思来写，这一过程中我也重新复习了一遍，而且对不太容易理解的地方都做了详细的解释和说明，如果看了本文还不清楚，那。。。那你就来我公众号后台私信我交流！！！
本文为 "Awesome AutoML Papers" 的译文。 1、AutoML简介 Machine Learning几年来取得的不少可观的成绩，越来越多的学科都依赖于它。然而，这些成果都很大程度上取决于人类机器学习专家来完成如下工作： 数据预处理 Preprocess the data 选择合适
原文: "JxKing的博客 | JxKing Blog" 前言 AutoML是指尽量不通过人来设定超参数，而是使用某种学习机制，来调节这些超参数。这些学习机制包括传统的贝叶斯优化，多臂老 虎 机（multi armed bandit），进化算法，还有比较新的强化学习。 我将AutoML分为 传统A
我们实验室的自动机器学习（Automated Machine Learning, AutoML）综述论文终于正式在Elsevier上线了！！！ 在2021年1月29日前可以通过以下链接免费下载： Elsevier: AutoML综述免费下载 给Elsevier这种灵活的出版模式点个赞 综述论文内
之前已经发过一篇文章来介绍我写的 "AutoML综述" ，最近把文章内容做了更新，所以这篇稍微细致地介绍一下。由于篇幅有限，下面介绍的方法中涉及到的细节感兴趣的可以移步到论文中查看。 论文地址：https://arxiv.org/abs/1908.00709 1. Introduction 以往的模
transformers 库里实现的很多模型会有这么两个函数 get_output_embeddings和 get_output_embeddings。以 SwitchTran
在深入探讨 PyTorch 中的 Storage 类以及其在参数 offload 场景中的应用之前，让我们首先了解一下 PyTorch 和它的基础组件
1注册账号 先在网页上注册账号，之后需要联系导师或者管理员把你添加到对应的集群里去，例如我加入的是 Lonestar6 集群。 之后需要
1. Block 概览 vLLM 的一个很大创新点是将物理层面的 GPU 和 CPU 可用内存切分成若干个 block,这样可以有效降低内存
我的环境如下： nvidia-smi 显示 cuda 版本是 11.7 目前最新vllm 要求的 torch 版本是 2.1.2，该版本要求的 cuda 版本是
这个报错原因很好解决，只需要在引入包的时候调用下面的语句就可以了 import torch.fx
论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale 1. Introduction 现有的 M
闲言碎语 我在刚开始接触 huggingface （后简称 hf） 的 transformers 库时候感觉很冗杂，比如就模型而言，有 PretrainedMode
以下笔记参考huggingface 官方 tutorial： https://huggingface.co/learn/nlp-course/chapter6 下图展示了完整的 token
更详细的查看 https://github.com/marsggbo/Megatron-DeepSpeed/blob/main/tutorials/gpt2_wikipedia.md
复杂度分析 推理过程图示 Double QLORA示意图
Macbook M1/M2无法安装gdb，但是可以使用lldb进行代码调试。使用方法和介绍如下：
这篇文章写的太好了非常适合新手入门，原文链接是 https://subingwen.cn/cmake/CMake-primer/index.html 
