NLP学习路线总结NLP数据集查询添加链接描述
添加链接描述
添加链接描述
【语言】
掌握Python、Java、或C++等任意一种语言，系统实现能力强，工程基础扎实；
【数据库】
图数据库Neo4J
【框架】
熟悉Tensorflow/Pytorch/Paddle等DL框架中的一种；
【自然语言基础】
1.熟练使用NLP工具和分词方法，例如jieba，深刻理解至少一种NLP任务如对话系统、实体识别、信息检索、文本生成，翻译系统，分词、命名体识别、知识库与知识图谱、语言模型、句法分析、情感分析、文本分类、数据挖掘等；
2. 熟悉Bert, Bi-LSTM, XGBOOST, CRF, LSTM, Attention, Transformer，MaxEnt/CRF，pLSA/LDA，word2vec, fasttext，CNN/RNN/Seq2Seq等ML/DL模型基本结构、原理和使用；
3. 分类、回归、聚类、关联分析、时间系列等2-3种数据挖掘算法
4.熟悉spark，Hive等大数据处理框架者优先，熟悉各种机器学习算法包括深度神经网络模型者优先；
4. 实践动手能力强， ACMICPC, NOI/IOI，top coder，Kaggle比赛获奖者优先；
【常用数据集】
- 语义理解方面的：
MNLI： Multi-Genre Natural Language Inference。给定一组语句，预测下一个语句是上面一组语句的继续？还是矛盾？还是中立？
QQP：Quora Question Pairs is a binary classification task。二值分类，两个问题是不是语义上相同。
QNLI： Question Natural Language Inference is a version of the Stanford Question Answering Dataset。二值分类，positive包含正确的答案，negative没有包含正确答案。
SST-2 ：The Stanford Sentiment Treebank，二值单语句分类任务。
CoLA ：The Corpus of Linguistic Acceptability。判断一个英语句子在语言学上是否可以接受的。
STS-B ：The Semantic Textual Similarity Benchmark。判断两个句子在语义上是否相似，分数从1到5.
MRPC： Microsoft Research Paraphrase Corpus。判断两个句子在语义上是否相似。
RTE： Recognizing Textual Entailment，类似MNLI，但数据量较少。
WNLI: Winograd NLI is a small natural language inference dataset. - QA问答
Stanford Question Answering Dataset(SQuAD v1.1) - 语句补充
Situations With Adversarial Generations(SWAG)：包括113k个语句对补充例子，用来评估常识推理。给定一个句子，任务是在4个选项中选择最合适的一个。 - 命名实体
dh_msra 数据集：5 万多条中文命名实体识别标注数据（包括地点、机构、人物）
