GPT-2自google在2018年10月底公布BERT在11项NLP任务中的卓越表现后，BERT（Bidirectional Encoder Representation from Transformers)就成为NLP领域大火、整个ML界略有耳闻的模型。在统治人工智能界长达4个月后，bert终于迎来了一个新的“对手”——GPT-2（openAI产品）。GPT-2模型最近在做一个项...
转载
2020-02-01 09:54:12
345阅读
简介题目：Language Models are Unsupervised Multitask Learners 翻译：语言模型是无监督多任务学习者点击下载pdf 概要：以往的自然语言处理任务：问答、翻译、阅读理解、总结，需要使用特定的有标签数据集进行监督训练。本文仅仅使用从网页搜集的数据集WebText，而没有使用任何监督数据，15亿参数的GPT-2直接在8个数据集上进行测试，7个取得了最先进水
这是我翻译这位大佬的第二篇文章了。这篇文章是受到大佬认证的了。他的原文中有翻译链接，直接指向我。!image.png(https://s2.51cto.com/images/blog/202212/02144239_63899e5f626d45939.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF
原创
精选
2022-12-07 09:04:45
1499阅读
点赞
之前分别用numpy实现了mlp，cnn，lstm和bert模型，这周顺带搞一下GPT-2，纯numpy实现，最重要的是可在树莓派上或其他不能安装pytorch的板子上
干货长文，建议收藏阅读，收藏等于看完。审稿人：Jepson, Datawhale成员, 毕业于中国科学院，目前在腾讯从事推荐算法工作结构总览前言这篇文章翻译自http://jalammar.github.io/illustrated-gpt2/。多图详细解释当今最为强大的人工智能 GPT-2(截至 2019 年 8 月 12 日)。今年，我们看到了机器学习在许多场景的广泛应用。OpenAI GPT
原创
2021-04-06 14:48:36
602阅读
查了一下 关于原生GPT-2的资料比较少，而且源代码注释比较少，我就自己读了一遍代码并且用中文注释起来了。在这里记录一下。GPT-2简介：GPT-2是openAI开发的一个基于transform的开源深度学习架构，它只使用了transform的deconding部分。源代码：https://github.com/openai/gpt-2GPT-2使用：1、下载下来gpt-2之后，首先下载与训练模型
OpenAI的秘密武器，史上最强通用 NLP 模型。
文章目录前言关于GPT-2各个版本的GTP-2中文版GTP-2语料链接15亿参数版GPT-2OpenGPT-2前言GPT-2这个名字不知有多少人知道。但有很多人应该都知道埃隆 • 马斯克的OpenAI吧。OpenAI，由诸多硅谷大亨联合建立的人工智能非营利组织。2015年马斯克与其他硅谷科技大亨进行连续对话后，决定共同创建OpenAI，希望能够预防人工智能的灾难性影响，推动人...
转载
2020-02-01 09:54:53
590阅读
结构总览前言这篇文章翻译自http://jalammar.github.io/illustrated-gpt2/。多图详细解释当今最为强大的人工智能 GPT-2(截至 2019 年 8 月 12 日)。今年，我们看到了机器学习在许多场景的广泛应用。OpenAI GPT-2(https://openai.com/blog/better-language-models/)表现出了令人印象深刻的能力，它
原创
2021-02-04 19:38:14
829阅读
GPT模型GPT全称Generative Pre-Training，出自2018年OpenAi发布的论文《Improving Language Understandingby Generative P
原创
2022-09-16 13:46:51
3428阅读
讲的挺好懂的 from https://www.cnblogs.com/zhongzhaoxie/p/13064404.html 目录 # GPT-2 1. 前言 2. GPT-2详解 2.1 GPT2和语言建模 2.1.1 语言模型 2.1.2 Transformer语言建模 2.1.3 与BER ...
转载
2021-07-12 22:22:00
625阅读
2评论
事情是这样的。前两天翻译了一篇文章图解GPT2。在翻译的过程中为了防止自己出错，所以参考了一下其他人对于GPT的一些理解，然后就出错了，为了解决这个错误，导致我最后重新扒了一遍GPT2的源码，在这里跟大家分享一下。大家先来回顾一下GPT2的结构，GPT使用的是类似于transformer的decoder的组件。就是输入先经过一个maskedmultiheadattention。在经过一个前馈神经网
推荐
原创
2022-12-04 21:31:28
1633阅读
译者：张贤， 哈尔滨工程大学，Datawhale原创作者干货长文，建议收藏阅读，收藏等于看完。审稿人：Jepson, Datawhale成员, 毕业于中国科学院，目前在腾讯从事推荐算法工...
转载
2022-08-16 10:49:14
487阅读
介绍在本次将学习另一个有着优秀表现的预训练模型：GPT-2 模型，以及使用它进行文本生成任务实践。知识点GPT-2 的核心思想GPT-2 模型结构详解GPT-2 进行文本生成OpenAI 在论文 Improving Language Understanding by Generative Pre-Training 中提出了 GPT 模型。GPT 模型是由单向 Transformer 的解码器构建的
在本系列文章的第一部分中，我们回顾了 Transformer 的基本工作原理，初步了解了 GPT-2 的内部结构。在本文中，我们将详细介绍 GPT-2 所使用的自注意力机制，并分享只包含解码器的 transformer 模型的精彩应用。
第二部分：图解自注意力机制
在前面的文章中，我们用这张图来展示了自注意力机制在处理单词「it」的层中的应用：
在本节中，我们会详细介绍
转载
2021-06-17 18:18:21
449阅读
发生。 经常查阅外文资料的你也许早已习...
转载
2020-02-09 10:23:36
248阅读
今年涌现出了许多机器学习的精彩应用，令人目不暇接，OpenAI 的 GPT-2 就是其中之一。它在文本生成上有着惊艳的表现，其生成的文本在上下文连贯性和情感表达上都超过了人们对目前阶段语言模型的预期。仅从模型架构而言，GPT-2 并没有特别新颖的架构，它和只带有解码器的 transformer 模型很像。然而，GPT-2 有着超大的规模，它是一个在海量数据集上训练的基于 transf
转载
2021-06-17 18:21:56
458阅读
春节前用 GPT2 训练了一个自动对联系统：鼠年春节，用 GPT-2 自动生成（写）春联和对对联 ，逻辑上来说这套NLG方法论可以应用于任何领域文本的自动生成，当然，格式越固定越好，这让我自然想到了自动写诗词，诗词的格式相对比较固定，我们之前已经有所涉及，譬如已经在AINLP公众号上上线了自动写藏头诗和首字诗的功能，不过是直接复用的："自动作诗机"上线，代码和数据都是公开的 ，另外还有一个更大的诗
原创
2021-03-28 22:26:46
1822阅读
