Facebook开源了自家工程师们一直在用的NLP建模框架PyText。这个框架,每天要为Facebook旗下各种应用处理超过10亿次NLP任务,Facebook AI的工业级NLP开源框架。(简化部署流程,大规模应用也OK)
PyText基于PyTorch,能够加速从研究到应用的进度,从模型的研究到完整实施只需要几天时间。框架里还包含了一些预训练模型,可以直接拿来处理文本分类、序列标注等任务。
资料如下:
主页:https://facebook.ai/developers/tools/pytext
论文:https://research.fb.com/publications/pytext-a-seamless-path-from-nlp-research-to-production/
官方文档:https://pytext-pytext.readthedocs-hosted.com/en/latest/index.html#
官方博客:https://code.fb.com/ai-research/pytext-open-source-nlp-framework/
GitHub:https://github.com/facebookresearch/pytext
PyText解决了既要实现快速实验又要部署大规模服务模型的经常相互冲突。它主要通过以下两点来实现上面的需求:
- 通过为模型组件提供简单且可扩展的接口和抽象,
- 使用PyTorch通过优化的Caffe2执行引擎导出模型,进行预测推理。
并且,Facebook已经采用了使用PyText快速迭代新的建模思路,然后大规模无缝衔接地发布它们。
Pytext核心功能
- 适用于各种NLP / NLU任务的完备生产模型:
- Zhang et al. (2016): A Joint Model of Intent Determination and Slot Filling for Spoken Language Understanding
- Lample et al. (2016): Neural Architectures for Named Entity Recognition
- Yoon Kim (2014): Convolutional Neural Networks for Sentence Classification
- Lin et al. (2017): A Structured Self-attentive Sentence Embedding
- 文本分类器
- 序列标记
- 联合意图槽模型
- 上下文意图 - intent-slot models
- 可扩展组件,可轻松创建新模型和任务
- 支持集成训练
- 支持分布式训练(在PyTorch 1.0中使用新的C10d后端)
- 参考实现和预训练模型论文:Gupta et al. (2018): Semantic Parsing for Task Oriented Dialog using Hierarchical Representations
使用PyText
上手PyText非常简单,按标准python包的方法安装框架:
pip install pytext-nlp
然后,我们就可以使用一个任务配置来训练NLP模型了:
Task是PyText应用中的用来定义模型的核心部件。每一个任务都有一个嵌入的配置,它定义了不同组件之间的关系,如下面代码所示:
一旦模型训练完毕,我们就可以对模型进行评估,也可以导出为Caffe2格式:
需要指出的是,PyText提供了可扩展的架构,可以定制、扩展其中任何一个构建模块。
PyText代表了NLP开发的一个重要里程碑,它是最早解决实验与生产匹配问题的框架之一。基于Facebook和PyTorch社区的支持,PyText可能有机会称为深度学习生态中最重要的NLP技术栈之一。
阅读过本文的人还看了以下:
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加: datayx
长按图片,识别二维码,点关注
AI项目体验
https://loveai.tech