# 在 PyTorch 中实现模型蒸馏的入门指南
## 1. 什么是模型蒸馏？
模型蒸馏（Model Distillation）是一种模型压缩技术，其目标是将一个复杂的“大”模型（教师模型）中的知识提取并传递给一个简单的“小”模型（学生模型）。这种方法不仅可以减小模型的体积，还能保持较高的预测性能。特别是在深度学习中，蒸馏技术使得在计算资源受限的设备上部署模型成为可能。
## 2. 模型蒸馏
众所周知，python训练pytorch模型得到.pt模型。但在实际项目应用中，特别是嵌入式端部署时，受限于语言、硬件算力等因素，往往需要优化部署，而tensorRT是最常用的一种方式。本文以yolov5的部署为例，说明模型部署在x86架构上的电脑端的流程。（部署在Arm架构的嵌入式端的流程类似）。一、环境安装1. 安装tensorRT根据自己的系统Ubuntu版本、CPU架构、CUDA版本来选择
转载
2023-07-30 00:22:31
197阅读
使用Pytorch进行知识蒸馏一、知识蒸馏原理1. 使用 `softmax` 进行蒸馏：2. 知识迁移：老师知识 —> 学生知识二、知识蒸馏实现1. 导入各种包2. 设置随机种子3. 加载 MNIST 数据集4. 定义教师模型5. 设置模型6. 开始训练教师模型7. 定义并训练学生模型8. 预测前准备和设置9. 开始训练附录1. 关于 `import torch.nn as nn`2. 关
两种蒸馏形式：模型蒸馏 （模型压缩，模型不同，特征相同）优势特征蒸馏（大模型使用全量特征，适用于模型相同，特征不同）俩种训练方式：pre-train是预先训练teacher网络，然后再训练student网络；co-train则是通过上述介绍的损失对teacher网络和student网络进行联合训练，co-train方式往往训练速度更快，但所需的GPU资源也会更多。teacher - 原始模型或模型
转载
2023-09-03 20:57:03
271阅读
目录一、模型蒸馏简介和步骤二、模型蒸馏实战1、Bilstm和Roberta文本分类效果展示2、roberta蒸馏到bilstm三、Roberta压缩——theseus理解和实战1、bert-of-theseus思想和方法2、利用bert-of-theseus实现的roberta压缩模型压缩有剪枝、蒸馏和量化等一些方法，模型蒸馏实现起来比较容易简
# PyTorch 官方蒸馏实现教程
## 一、整体流程
为了帮助你更好地理解如何在 PyTorch 中实现官方蒸馏，我将通过以下表格展示整个流程：
| 步骤 | 描述 |
| ------ | ------ |
| 1 | 定义教师模型和学生模型 |
| 2 | 定义损失函数 |
| 3 | 准备数据集 |
| 4 | 遍历数据集进行训练 |
| 5 | 保存学生模型 |
## 二、具体
选自arxiv，作者：Tongzhou Wang等，机器之心编译，参与：路、王淑婷。
近日，来自 FAIR、MIT 和加州大学伯克利分校的 Tongzhou Wang、朱俊彦等人发布新研究论文，提出一种新的蒸馏方法——数据集蒸馏。这与将知识从复杂网络迁移到较简单模型不同，该方法将原始数据集中大量数据集的知识压缩到少量合成数据上，同时在合成数据上训练的模型性能与在原始数据集上的模
目录前言一、蒸馏的目的二、蒸馏中的softmax三、蒸馏流程1.step2.step3.step4.总结： 前言蒸馏就是把一个大模型变成一个相对小的模型一、蒸馏的目的Distill knowledge from bigger models从大模型中学习知识Use the distilled knowledge to guide the learning of smaller models用学习到
由于bert模型参数很大，在用到生产环境中推理效率难以满足要求，因此经常需要将模型进行压缩。常用的模型压缩的方法有剪枝、蒸馏和量化等方法。比较容易实现的方法为知识蒸馏，下面便介绍如何将bert模型进行蒸馏。一、知识蒸馏原理模型蒸馏的目的是用一个小模型去学习大模型的知识，让小模型的效果接近大模型的效果，小模型被称为student，大模型被称为teacher。知识蒸馏的实现可以根据teacher和st
蒸馏的作用首先，什么是蒸馏，可以做什么？正常来说，越复杂的深度学习网络，例如大名鼎鼎的BERT，其拟合效果越好，但伴随着推理（预测）速度越慢的问题。此时，模型蒸馏就派上用场了，其目的就是为了在尽量减少模型精度的损失的前提下，大大的提升模型的推理速度。实现方法其实，模型蒸馏的思想很简单。第一步，训练好原本的复杂网络模型，如BERT，我们称为Teacher模型；第二步，用一个较为简单的模型去拟合Tea
模型在训练后需要更改，以创建更紧凑的表示形式。这一过程的主要实现技术包括剪枝（pruning）和知识蒸馏。.
转载
2020-11-27 11:24:29
607阅读
轻量化网络知识蒸馏可以理解为轻量化网络的一个tricks，轻量化网络是深度学习的一个大的发展趋势，尤其是在移动端，终端边缘计算这种对算力和运算时间有要求的场景中。 轻量化网络可以有以下四种方式实现： 1.压缩已经训练好的模型: 知识蒸馏，权值量化，剪枝，注意力迁移 2.直接训练轻量化网络：SqueezeNet，MobileNet等 3.加速卷积运算：低秩分解 4.硬件部署：Tensorrt，Jet
大家好，我是DASOU；今天从代码角度深入了解一下知识蒸馏，主要核心部分就是分析一下在知识蒸馏中损失函数是如何实现的；知识蒸馏一个简单的脉络可以这么去梳理：学什么，从哪里学，怎么学？学什么：学的是老师的知识，体现在网络的参数上；从哪里学：输入层，中间层，输出层；怎么学：损失函数度量老师网络和学生网络的差异性；从架构上来说，BERT可以蒸馏到简单的TextCNN，LSTM等，也就可以蒸馏到TRM架构
本文介绍知识蒸馏的经典论文（Distilling the knowledge in a neural network）。核心思想是通过迁移知识，从而通过训练好的大模型得到更加适合推理的小模型。1. 核心思想文章的核心思想就是提出用soft target来辅助hard target一起训练，而soft target来自于大模型的预测输出：1、训练大模型：先用hard target，也就是正常的标签训
一、知识蒸馏算法理论讲解 知识蒸馏说真的还是挺重要的，当时看论文的时候，总是会出现老师网络和学生网络，把我说的一脸蒙，所以自己就进行了解了一下，做了一些笔记和大家一起分享！不过大家也可以看同济子豪兄的视频，非常不错。知识蒸馏Pytorch代码实战_哔哩哔哩_bilibili，连接给到大家了。首先我们要知道为什么要进行知识蒸馏，那就是在训练的时候，我们可以去花费一切的资源和算力去训练模型，
摘要：知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法 一、知识蒸馏入门1.1 概念介绍知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。最早是由Hinton在2015年首次提出
一、概述一句话概括：将一个复杂模型的预测能力转移到一个较小的网络上；（复杂模型称为教师模型，较小模型称为学生模型）Teacher and Student的概念：对大网络学习的知识进行"蒸馏"，并将其转移到小网络上，同时小网络的性能能够接近大网络；蒸馏模型（Student）被训练模仿大网络（Teacher）的输出，而不仅仅是直接在原始数据上训练，通过这种方式让小网络学习到大网络的抽象特征能力和泛化能
写在前面最近对数据集蒸馏比较感兴趣，抽时间看了下这篇经典的数据蒸馏论文《Dataset Distillation》，它是属于knowledge distillation领域的工作。论文地址：://arxiv.org/pdf/1811.10959.pdf
论文代码：://github.com/SsnL/dataset-distillation
论文主页：://ssnl.
Data Distillation: Towards Omni-Supervised Learning
这是一种挑战真实世界数据的 self-train 的方法，在Kaggle等大数据竞赛中非常有用。Omni-Supervised Learning：全方位监督学习，属于半监督(semi-supervised )中的一种，使用带标签的数据和不带标签的其他数据进行学习，可以一定程度上突破带标签数据的性
