最高加速9倍！字节跳动开源8比特混合精度Transformer引擎,近年来，Transformer 已经成为了 NLP 和 CV 等领域的主流模型，
2017年Google提出了Transformer[1]模型，之后在它基础上诞生了许多优秀的预训练语言模型和机器翻译模带来了挑战。...
转载
2022-07-11 06:50:59
363阅读
前言LightSeq是字节跳动火山翻译团队开源的一款Transformer系列模型加速引擎，分为训练
原创
2022-07-27 09:58:57
228阅读
今天给大家带来字节跳动人工智能实验室王晓晖先生所做的分享《LightSeq：高性能NLP序列推理实践.pdf》。本次分享主要包含如下三大部分：1、CUDA；2、压缩量化；3、TVM。本PP...
原创
2022-11-16 11:16:49
77阅读
前几个月一直有不少小伙伴问我要「LightSeq的BERT推理加速代码」，当时内部已经使用了，但是一直没空整理开源。现在代码终于整理好了。”。LightS...
原创
2022-07-27 13:50:42
213阅读
