51CTO博客>热门标签>MegEngine

MegEngine

全部文章近期文章热门文章标签简介

【MegEngine】内容共 24 条

转载 JIT in MegEngine

作者：王彪 | 旷视框架部异构计算组工程师一、背景什么是天元旷视天元（MegEngine）是一个深度学习框架，它主要包含训练和推理两方面内容。训练侧一般使用 Python 搭建网络；而推理侧考虑到产品性能的因素，一般使用 C++ 语言集成天元框架。无论在训练侧还是推理侧，天元都担负着将训练和推 ...

算子优化

深度学习框架

MegEngine

jit

算子融合

阅读 144 评论 0 点赞 0

mob604756f7c87d 542 天前
转载 Megengine量化

Megengine量化量化指的是将浮点数模型（一般是32位浮点数）的权重或激活值用位数更少的数值类型（比如8位整数、16位浮点数）来近似表示的过程。量化后的模型会占用更小的存储空间，还能够利用许多硬件平台上的专属算子进行提速。比如在 MegEngine 中使用8位整数来进行量化，相比默认的32位

2d

sed

ide

浮点

检查点

阅读 110 评论 2 点赞 0

mb5ff980f81f3d8 719 天前
转载 JIT in MegEngine

作者：王彪 | 旷视框架部异构计算组工程师一、背景什么是天元旷视天元（MegEngine）是一个深度学习框架，它主要包含训练和推理两方面内容。训练侧一般使用 Python 搭建网络；而推理侧考虑到产品性能的因素，一般使用 C++ 语言集成天元框架。无论在训练侧还是推理侧，天元都担负着将训练和推 ...

算子优化

深度学习框架

MegEngine

jit

算子融合

阅读 58 评论 0 点赞 0

mob604756ffeae8 542 天前
转载 MegEngine亚线性显存优化

MegEngine亚线性显存优化 MegEngine经过工程扩展和优化，发展出一套行之有效的加强版亚线性显存优化技术，既可在计算存储资源受限的条件下，轻松训练更深的模型，又可使用更大batch size，进一步提升模型性能，稳定batchwise算子。使用MegEngine训练ResNet18/Re

检查点

遗传算法

深度学习

数据

加强版

阅读 81 评论 2 点赞 0

mob60475702c725 712 天前
转载旷视MegEngine网络搭建

旷视MegEngine网络搭建在基本概念中，介绍了计算图、张量和算子，神经网络可以看成一个计算图。在 MegEngine 中，按照计算图的拓扑结构，将张量和算子连接起来，即可完成对网络的搭建。MegEngine 提供了基于 functional 和基于 Module 的两种方式搭建网络。 fu

2d

卷积

卷积核

数据

复用

阅读 111 评论 2 点赞 0

mb5fe559b5073e8 721 天前
转载旷视MegEngine基本概念

旷视MegEngine基本概念 MegEngine 是基于计算图的深度神经网络学习框架。本文简要介绍计算图及其相关基本概念，以及它们在 MegEngine 中的实现。计算图（Computational Graph）下面通过一个简单的数学表达式 y=(w∗x)+by=(w∗x)+b 来介绍计算图

数据

深度学习

标量

值类型

反向传播

阅读 170 评论 2 点赞 0

mb5fe559b5073e8 721 天前
转载 MegEngine 架构系列：静态内存分析

MegEngine 中采用了多种降低内存的解决方案，本次主要介绍的是 MegEngine 静态内存管理模块是如何利用顺序程序图中的数据流分析，实现内存重用以达到降低内存占用的效果。 ...

深度学习框架

MegEngine

依赖关系

内存管理

生命周期

阅读 32 评论 2 点赞 0

mb5ff80520dfa04 465 天前
转载旷视MegEngine数据加载与处理

旷视MegEngine数据加载与处理在网络训练与测试中，数据的加载和预处理往往会耗费大量的精力。 MegEngine 提供了一系列接口来规范化这些处理工作。利用 Dataset 封装一个数据集数据集是一组数据的集合，例如 MNIST、Cifar10等图像数据集。 Dataset 是 MegEn

数据

数据集

数组

采样器

迭代

阅读 61 评论 2 点赞 0

mb5fe559b5073e8 721 天前
转载 MegEngine TensorCore 卷积算子实现原理

本文将会深入介绍 MegEngine CUDA 平台的底层卷积算子的实现原理，并将会对 Nvidia CUTLASS 的 Implicit GEMM 卷积文档进行解读和补充。 ...

卷积

GEMM

MegEngine

深度学习框架

CUTLASS

阅读 494 评论 2 点赞 0

mob60475702efd6 549 天前
原创 MegEngine Windows Python wheel 包减肥之路

本文通过讲述在支持 MegEngine Windows Python wheel 过程中遇到的问题以及解决问题的流程，此文最后的解决方法可能不是最优，欢迎留言指正。

开源

MegEngine

wheel 包

阅读 250 评论 0 点赞 0

MegEngineBot 42 天前
原创实录 | MegEngine 大 Kernel 卷积工程优化实践

本篇整理自 3.19 日 “Large Kernel Makes CNN Great Again” 专题 Meetup 中《MegEngine 大 Kernel 卷积工程优化实践》分享。

深度学习

开源

MegEngine

卷积

大 Kernel

阅读 312 评论 0 点赞 0

MegEngineBot 21 天前
原创 MegEngine Inference 卷积优化之 Im2col 和 winograd 优化

在 CV 领域中，卷积计算是扩充像素的感受野的有效方法，模型大多数的计算量都是卷积操作贡献的。因此在 CV 模型的推理性能优化中，最重要的一项工作是对卷积的优化。本文主要介绍 MegEngine 在长期的工业界实践和反馈的基础上总结得出卷积优化的基本方法。

卷积

深度学习

开源

MegEngine

阅读 482 评论 0 点赞 0

MegEngineBot 61 天前
转载深度学习快速上手——基于 MegEngine 的 LeNet 快速训练与部署

使用 Megengine 可以快速实现常见的深度学习模型，本文将使用 Megengine 实现手写数字识别，以完成深度学习的两大步骤：训练和预测。通过本文，读者对深度学习的最基本流程和 Megengine 框架的使用方法有大致了解。

python

数据集

开源

MegEngine

阅读 0 评论 0 点赞 0

MegEngineBot 1 天前
转载 Fast Run：提高 MegEngine 模型推理性能的神奇功能

一、背景对于深度学习框架来说，网络的训练/推理时间是用户非常看中的。在实际生产条件下，用户设计的 NN 网络是千差万别，即使是同一类数学计算，参数也各不相同。如果没有针对性的优化，框架就完全丧失竞争力。因此，在一类数学计算中，开发者们会开发多种高效的算法，分别适用于不同的参数，以保证网络的性能。接下来开发者们需要解决一个新问题，当计算参数确定以后，如何让最快的算法执行该计算。大部分框架靠先验的经验

模型推理

深度学习框架

卷积算子

MegEngine

推理性能

阅读 27 评论 0 点赞 0

mob604756f59f47 544 天前
原创全局图优化：提升 MegEngine 模型推理性能的又一神器

MegEngine 参考了阿里巴巴工程师陈元凯提出的 GPU 推理中的数据格式全局优化算法，并进一步扩展到 CPU，提供了一种从整体上优化 Tensor Format 选择，提升模型整体推理性能的方案 —— 全局图优化。

图优化

MegEngine

开源

深度学习

阅读 74 评论 0 点赞 0

MegEngineBot 95 天前
原创提速还能不掉点！深度解析 MegEngine 4 bits 量化开源实现

MegEngine 开源了 4 bits 的量化的相关内容，通过 MegEngine 4 bits 量化实现的 ResNet-50 模型在 ImageNet 数据集上的精度表现与 8 bits 量化模型相差无几，并且速度是 TensorRT-v7 8 bits ResNet-50 模型的推理速度的 1.3 倍。

数据

卷积

CUDA

阅读 538 评论 0 点赞 1

MegEngineBot 89 天前
转载 31x31大卷积耗时能和9x9卷积差不多？

作者 MegEngine

卷积

算法

机器学习

人工智能

深度学习

阅读 48 评论 0 点赞 0

公号机器学习与AI生成创作 276 天前
原创一个深度学习框架的年度报告

MegEngine 年度报告来啦～又到年终时，今年我们去繁从简，只聊技术。浅浅盘点一下，MegEngine 的年度“大动作”。

深度学习

MegEngine

年终总结

阅读 217 评论 0 点赞 0

MegEngineBot 31 天前
转载 deeplearning模型量化实战

deeplearning模型量化实战 MegEngine 提供从训练到部署完整的量化支持，包括量化感知训练以及训练后量化，凭借“训练推理一体”的特性，MegEngine更能保证量化之后的模型与部署之后的效果一致。本文将简要介绍神经网络量化的原理，并与大家分享MegEngine量化方面的设计思路与实操

浮点

v8

浮点数

值类型

深度学习

阅读 114 评论 2 点赞 0

mob60475702c725 712 天前
转载利用共享内存实现比NCCL更快的集合通信

作者：曹彬 | 旷视 MegEngine 架构师简介从 2080Ti 这一代显卡开始，所有的民用游戏卡都取消了 P2P copy，导致训练速度显著的变慢。针对这种情况下的单机多卡训练，MegEngine 中实现了更快的集合通信算法，对多个不同的网络训练相对于 NCCL 有 3% 到 10% 的加 ...

集合通信

NCCL

shm

深度学习框架

MegEngine

阅读 208 评论 2 点赞 0

mob604756fe00bf 539 天前