机器学习AI算法工程 公众号：datayx
PyTorch-Transformers（此前叫做pytorch-pretrained-bert）是面向自然语言处理，当前性能最高的预训练模型开源库。
该项目支持 BERT, GPT, GPT-2, Transfo-XL, XLNet, XLM 等，并包含 27 个预训练模型。
先上开源地址：
https://github.com/huggingface/pytorch-transformers#quick-tour
官网：
https://huggingface.co/pytorch-transformers/index.html
该开源库现在包含了 PyTorch 实现、预训练模型权重、运行脚本和以下模型的转换工具：
1、谷歌的 BERT，论文：“BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”，论文作者：Jacob Devlin, Ming-Wei Chang, Kenton Lee ，Kristina Toutanova
2、OpenAI 的GPT，论文：“ Improving Language Understanding by Generative Pre-Training”，论文作者：Alec Radford, Karthik Narasimhan, Tim Salimans ， Ilya Sutskever
3、OpenAI 的 GPT-2，论文：“ Language Models are Unsupervised Multitask Learners”，论文作者：Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei，Ilya Sutskever
4、谷歌和 CMU 的 Transformer-XL，论文：“ Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context”，论文作者：Zihang Dai*, Zhilin Yang*, Yiming Yang, Jaime Carbonell, Quoc V. Le, Ruslan Salakhutdinov.
5、谷歌和 CMU 的XLNet，论文：“XLNet: Generalized Autoregressive Pretraining for Language Understanding”，论文作者：Zhilin Yang*, Zihang Dai*, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le
6、Facebook的 XLM，论文：“ Cross-lingual Language Model Pretraining”，论文作者：Guillaume Lample，Alexis Conneau
这些实现都在几个数据集（参见示例脚本）上进行了测试，性能与原始实现相当，例如 BERT中文全词覆盖在 SQuAD数据集上的F1分数为93 ， OpenAI GPT 在 RocStories上的F1分数为88， Transformer-XL在 WikiText 103 上的困惑度为18.3， XLNet在STS-B的皮尔逊相关系数为0.916。
27个预训练模型
项目中提供了27个预训练模型，下面是这些模型的完整列表，以及每个模型的简短介绍。
这些实现已在几个数据集上进行测试（参见示例脚本），应该与原始实现的性能相当（例如，BERT 全词覆盖（Whole-Word-Masking）在 SQUAD 数据集上的 F1 分数为 93，OpenAI GPT 在 RocStories 上的 F1 分数为 88，Transformer-XL 在 WikiText 103 上的 困惑度为 18.3、XLNet 的 STS-B 上的皮尔逊积矩相关系数为 0.916）。用户可以在官方网站的文档示例部分中，找到有关性能的更多详细信息。
安 装
此 repo 在 Python 2.7 和 3.5+（示例代码仅在 Python 3.5+ 上通过测试）以及 PyTorch 0.4.1 到 1.1.0 上进行了测试。
使用 pip 进行安装
pip install pytorch-transformers
测试
该库和示例脚本包含了一系列测试。库测试可在 “tests” 文件夹中找到，示例脚本的测试可以在 “examples”文件夹 中找到。
这些测试可以使用 pytest 运行（如果需要，可以使用 pip install pytest 来安装 pytest）。
你可以使用以下命令从克隆存储库的根目录进行测试：
快速指南
让我们快速导览一下 PyTorch-Transformer。每个模型架构（Bert、GPT、GPT-2、Transformer-XL、XLNet、XLM）的详细示例均可在完整的文档中找到。
https://huggingface.co/pytorch-transformers/
例子
BERT-base和BERT-large分别是110M和340M参数模型，并且很难在单个GPU上使用推荐的批量大小对其进行微调，来获得良好的性能（在大多数情况下批量大小为32）。
为了帮助微调这些模型，我们提供了几种可以在微调脚本中激活的技术 run_bert_classifier.py 和 run_bert_squad.py：梯度累积（gradient-accumulation），多GPU训练（multi-gpu training），分布式训练（distributed training ）和16- bits 训练（ 16-bits training）。注意，这里要使用分布式训练和16- bits 训练，你需要安装NVIDIA的apex扩展。
作者在doc中展示了几个基于BERT原始实现（https://github.com/google-research/bert/）和扩展的微调示例，分别为：
- 九个不同GLUE任务的序列级分类器；
问答集数据集SQUAD上的令牌级分类器；
SWAG分类语料库中的序列级多选分类器；
另一个目标语料库上的BERT语言模型。
我们这里仅展示GLUE的结果：
- 这里是使用uncased BERT基础模型在GLUE基准测试开发集上得到的结果。
搜索公众号添加： datayx
