# MRC模型在NLP中的应用及实现
自然语言处理（Natural Language Processing，NLP）领域中的机器阅读理解（Machine Reading Comprehension，MRC）模型是一种重要的技术，它可以使计算机理解并回答人类提出的问题。MRC模型在问答系统、信息检索、文本摘要等领域具有广泛的应用。
## MRC模型简介
MRC模型是一种基于机器学习和神经网络的
原创
2024-05-25 05:00:13
145阅读
前言本文以Kaggle比赛Titanic入手，介绍了特征工程的几个方法，最后训练了三个模型(RF,GBDT,SVM)并使用了一个集成方法(Voting Classifier)进行预测。完整代码及数据可以在ReMachineLearning(titanic) - Github中获取正文下面是kaggle对于这个比赛的介绍。The sinking of the RMS Titanic is one o
转载
2023-08-25 19:54:41
63阅读
本文选取的领域和方法很大程度上受到自身兴趣的影响，所选择的话题偏向于表征学习和迁移学习，也偏向于NLP。我尽量覆盖自己听到看到的所有论文，但是也可能会遗漏很多相关的工作，请读者不要拘束，直接在底下评论。我主要讨论以下几个重要方向：预训练模型的变大和缩小基于检索增强(retrieval-argumented)的文本生成少样本学习对比学习超越准确率的评测大型语言模型的现实担忧多语种Image Tran
转载
2024-03-14 11:25:28
94阅读
在自然语言处理（NLP）中，机器阅读理解（MRC）是一个重要的研究领域。它的目标是让计算机能够理解和回答自然语言文本中的问题。在本篇博文中，我将详细介绍解决“nlp中的MRC”问题的全过程，涵盖从环境准备到排错指南的各个方面。
### 环境准备
在开始构建MRC模型之前，我准备了必要的环境。本节将详细介绍前置依赖安装的步骤，以及版本兼容性矩阵和硬件资源评估的四象限图。
#### 前置依赖安装
1.概述序列标注包括自然语言处理中的分词，词性标注，命名实体识别，关键词抽取，词义角色标注等。解决方案是NN模型（神经网络模型）+CRF命名实体识别（Named Entity Recognition，简称NER）是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、日期、时间、百分数、货币等。这里就需要理解句子的词性。词性是词汇的语法属性，是连接词汇到句法的桥梁，一个词的词性与它在句子中的
转载
2023-11-06 18:45:10
135阅读
知识就是力量，结构化的知识更有力量
原创
2021-08-10 14:26:55
1709阅读
机器阅读理解，笔者认为他是NLP中最有意思的任务了。机器阅读一份文档之后，可以“理解”其中的内容，并可以回答关于这份文档的问题。听上去，有一种很强的“人工智能”的Feel。这篇文章介绍机...
原创
2022-10-12 17:41:34
241阅读
写在前面NER（命名实体识别）通常可以分为nested NER（嵌套命名实体识别）及flat NER（非嵌套命名实体识别）。在flat NER上常用的序列标注模型通常不适用于nested NER，为了将两个任务用一套统一框架处理，BERT-MRC从MRC（机器阅读理解）角度建模实体识别任务。简单地说，BERT-MRC将实体类别相关的先验信息（比如实体类别描述）构建为一个问...
转载
2022-06-20 09:39:50
1243阅读
语言模型(LM)的作用是估计不同语句在对话中出现的概率，并且LM适用于许多不同的自然语言处理应用程序(NLP)。 例如，聊天机器人的对话系统。在此文中，我们将首先正式定义LM，然后演示如何使用实际数据计算它们。 所有显示的方法在Kaggle notebook中有完整的代码展示。一、语言模型(LM)的定义概率语言建模的目标是计算单词序列的语句出现的概率： &n
转载
2023-08-14 10:36:44
226阅读
陆：句法分析语言学的不同分支对应了不同的nlp基础技术，词法学对应于自动分词、词性标注等，而句法学对应的是句法分析。句法(Syntax): 研究语言的句子结构，针对语言学两个基本关系中的组合关系。一、句法分析概述概念句法分析：判断单词串是否属于某个语言，如果是，则给出其（树）结构。句法分析包含两个子问题，一是语言体系的形式化描述，二是语言结构的分析算法。
一般而言，语言结构分析算法的任务着重
转载
2023-08-31 18:17:08
209阅读
目录引言1 FastText1.1 相关资料1.2 介绍2 TextCNN2.1 相关资料2.2 介绍3 DPCNN3.1 相关资料3.2 介绍4 TextRCNN4.1 相关资料4.2 介绍5 TextBiLSTM+Attention5.1 相关资料5.2 介绍6 HAN6.1 相关资料6.2 介绍7 Bert7.1 相关资料7.2 介绍8 封装的源码汇总 引言更多模型介绍基于深度学习的文本分
转载
2023-08-31 18:16:37
95阅读
文章目录基础资料准备从0到1了解模型的优缺点BERT这个模型与其它两个不同的是：BERT模型具有以下两个特点：模型的输入参考资料： 在说内容之前先把，bert基本资料准备一下 从0到1了解模型的优缺点从现在的大趋势来看，使用某种模型预训练一个语言模型看起来是一种比较靠谱的方法。从之前AI2的 ELMo，到 OpenAI的fine-tune transformer，再到Google的这个BERT
转载
2023-10-23 19:31:24
52阅读
随着 Google 推出的 BERT 模型在多种 NLP 任务上取得 SOTA，NLP 技术真正进入了大规模应用阶段，由此，我们展开了对 BERT 的探索。 训练模型 训练数据训练其他模型时我们已经标注了大量的训练数据，主要把相似句对分为三类来标注：不相似（0）、相关（0.5）、相似（1）所以，训练 BERT 模型时就可以“拿来主义”了。模型修改我们的主要应用点是相
转载
2024-02-02 13:36:33
57阅读
参考 https://www.zhihu.com/question/40309730 NLP通常包括两个关键问题： 1.选择什么样的语言模型？ 2.选择什么样的分类算法？ 第二个问题是机器学习领域的标准问题，各种针对不同数据类型、数据分布的算法和技巧，这里不再赘述。而在NLP当中，语言模型更加重要一些。 不同语言模型的区别，也就是对文本提取特征的不同。常用的模型有
转载
2023-08-31 10:44:43
79阅读
BERT终于来了！今天，谷歌研究团队终于在GitHub上发布了万众期待的BERT。代码放出不到一天，就已经在GitHub上获得1500多星。项目地址：https://github.com/google-research/bert#fine-tuning-with-bert就在半个月前，谷歌才发布这个NLP预训练模型的论文（https://arxiv.org/abs/1810.04805）。BERT
转载
2024-07-31 11:39:29
43阅读
前言：笔者之前是cv方向，因为工作原因需要学习NLP相关的模型，因此特意梳理一下关于NLP的几个经典模型，由于有基础，这一系列不会关注基础内容或者公式推导，而是更侧重对整体原理的理解。顺便推荐两个很不错的github项目——开箱即用的中文教程以及算法更全但是有些跑不通的英文教程。一. RNN与RCNN的异同无论是RNN模型还是RCNN模型，数据如果不考虑bs维度的话，其实都只有两个维度。一个维度是
转载
2024-07-02 20:15:25
69阅读
在我们使用bert预分类模型微调之后（可以参考我前面写的文章），需要对项目进行支持，那就需要分类模型落地提供服务，这篇文章介绍python调用bert模型，提供服务。 参考：https://github.com/xmxoxo/BERT-train2deploy 在后期部署的时候，需要一个label2id的字典，所以要在训练的时候就保存起来，在convert_single_example这个方法里增
转载
2023-07-08 11:37:13
221阅读
目录语言模型1. 统计语言模型1.1 统计语言模型的基本公式(条件概率)1.2 马尔科夫假设：有限前序字符依赖约束条件的统计语言模型（n-gram）1.3 独立同分布假设：所有字符间都独立同分布的统计语言模型1.4 局部与整体假设：TF-IDF表示1.5 LSA :一种基于SVD矩阵奇异值分解的语义分析语言模型2. 神经网络语言模型（NNLM）2.1 分布式表征（distributed repr
转载
2023-08-17 09:07:39
232阅读
Input EmbeddingBERT Bert采用两阶段模型，首先是语言模型预训练，其次是使用 Fine-Tuning 模式解决下游任务。BERT 预训练模型分为以下三个步骤：Embedding、Masked LM、Next Sentence Prediction。Embedding 由三种 Embedding 求和而成： Token Embeddings 是词向量，第一个单词是 CLS 标志，
转载
2024-02-13 10:24:32
45阅读
二月出了 ELMo，六月出了 OpenAI Transformer，十月又出了BERT，下半年开始的这场预训练语言模型的火，越燃越大啊，希望能烧出 CV 那样的 baseline。 不得不说，Jacob 的这篇 BERT 真是大手笔，massive data + massive model + massive computation，踏平了 N 多 task，称得上 NLP 新范式了。当然，常人基
转载
2024-06-08 13:30:00
59阅读
