AA夏栀?_?的博客_论文解读

论文解读：Knowledge Base Relation Detection via Multi-View Matching

知识库问答

知识图谱

关系检测

实体类型

多视图

原创 2022-12-22 03:30:02 152 阅读

论文解读：QANet: Combine Local Convolution with Global Self-Attention for Reading Comprehension

QANet: Combine Local Convolution with Global Self-Attention for Reading Comprehension简要信息：序号

问答系统

机器阅读理解

归一化

卷积

概率分布

原创 2022-12-22 03:29:20 89 阅读

一种基于抽取式的中文机器阅读理解数据集CMRC2018

一种基于抽取式的中文机器阅读理解数据集CMRC2018A Span-Extraction Dataset for Chinese Machine Reading Comprehension Leaderboard地址：http://ymcui.com/cmrc2018/动机：现阶段已经有包括基于完形填空式、多项选择式的机器阅读理解数据集，本文为了加速机器阅读理解的发展，提出一种基于抽取式的机器阅

机器阅读理解

CMRC

数据集

维基百科

特殊符号

原创 2022-12-22 03:28:26 251 阅读

论文解读：A Self-Training Method for Machine Reading Comprehension with Soft Evidence Extraction

论文解读：A Self-Training Method for Machine Reading Comprehension with Soft Evidence Extraction摘要：深度神经网络网络在机器阅读理解（MRC）任务上得以成功应用，诸多经典的方法都是基于两个部分，一个是evidence extractor（证据抽取器），另一个是answer prediction（答案预测器）

机器阅读理解

深度学习

ide

权重

迭代

原创 2022-12-22 03:28:20 77 阅读

【预训练语言模型】Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 前记：

Transformer-XL

预训练语言模型

语言模型

递归

数据集

原创 2022-12-22 03:27:23 106 阅读

论文解读：Explicit Utilization of General Knolwdge in Machine Reading Comprehension

论文解人

机器阅读理解

数据增强

ide

全连接

数据

原创 2022-12-22 03:26:23 20 阅读

论文解读：Graph Transformer for Graph-to-Sequence Learning

论文解读：Graph Transformer for Graph-to-Sequence Learning 图神经网络在深度学习领域内得到十分广泛的应用，其可以对拓扑结构的数据进行表征。现阶段传统的以GNN及其相关变体在进行表征时普遍做法是将结点多跳范围内的邻居结点通过平均或加权等方式进行聚合，但这类方式存在一些不足之处，本篇文章提出的Graph Transformer模型主要解决含有关系以及在

图网络

Transformer

Graph-to-Seq

结点

Graph

原创 2022-12-22 03:26:03 554 阅读

论文解读：Improving the robustness of machine reading comprehension model with hierarchical knowledge and

论文解读：Improving the robustness of machine reading comprehension model with hierarchical knowledge and auxiliary unanswerability prediction摘要：先前深度学习方法在MRC任务上均成功应用，但他们普遍脆弱且在给定一些对抗噪声时不鲁棒。为了提升MRC，我们通过引入额外

机器阅读理解

权重

三元组

多任务

原创 2022-12-22 03:25:51 81 阅读

论文解读：Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge

论文解读：Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge论文下载：https://arxiv.org/pdf/2009.05831v2.pdf 本文旨在从非结构化文本中抽取常识知识，利用语境的常识知识辅助提升MRC相关工作：常识问答（Commonsense Quest

常识问答

机器阅读理解

数据集

三元组

最小化

原创 2022-12-22 03:25:19 103 阅读

论文解读：Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction

论文解读：Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction （2019ACL）在文本上进行QA也别称为机器阅读理解。本文关注的是可解释的多跳QA，其需要系统能够同时返回答案以及相关依据句子。本文提出QFE模型用于对evidence进行抽取，并采用多任务学习进行训练

机器阅读理解

多跳推理

ide

多任务

sed

原创 2022-12-22 03:24:33 89 阅读

论文解读：Incorporating Connections Beyond Knowledge Embeddings: A Plug-and-Play Module to Enhance Common

论文解读：Incorporating Connections Beyond Knowledge Embeddings: A Plug-and-Play Module to Enhance Commonsense Reasoning in Machine Reading Comprehension摘要：传统的MRC很好地被模式识别处理，但依然与人类能力有较大差距，先前的方法通过预训练的知识图谱表征（

机器阅读理解

图网络

迭代

结点

即插即用

原创 2022-12-22 03:24:26 70 阅读

论文解读：Prefix-Tuning: Optimizing Continuous Prompts for Generation

论文解读：Prefix-Tuning: Optimizing Continuous Prompts for Generation &emps;本文我们提出一种prefix-tuning方法，其是一个轻量级的fine-tuning方法用于自然语言处理的生成任务。该方法可以保持预训练语言模型参数固定（frozen），而只需要在task-specific vector（称为prefix）上进行优

自然语言处理

深度学习

人工智能

Prompt

语言模型

原创 2022-12-22 03:24:20 1002 阅读

论文解读：Exploring Graph-structured Passage Representation for Multi-hop Reading Comprehension with Grap

案一、动机multi-hop

机器阅读理解

知识增强

图网络

图结构

Graph

原创 2022-12-22 03:24:13 40 阅读

论文解读：Task Agnostic Meta-Learning for Few-shot Learning（TAML）

论文解读：Task Agnostic Meta-Learning for Few-shot Learning（TAML）通常的，元学习可以

元学习

meta-learning

few-shot

最小化

初始模型

原创 2022-12-22 03:24:07 183 阅读

【预训练语言模型】SpanBERT: Improving Pre-training by Representing...

【预训练语言模型】SpanBERT: Improving Pre-training by Representing and Predicting Spans （2020ACL）陈丹琦团队的一篇改进BERT预训练任务的工作，扩展了BERT预训练语言模型：不像BERT只MASK单独的一个token，而是随机MASK掉连续的序列（ contiguous random span）；训练span bou

spanBERT

语言模型

ci

迭代

原创 2022-12-22 03:23:58 126 阅读

论文解读：Making Pre-trained Language Models Better Few-shot Learners（LM-BFF）

Making Pre-trained Language Models Better Few-shot Learners 陈丹琦团队提出的一种改进GPT-3的模型，其可以扩展到任意的预训练模型上，并可以在小样本情景下更好的进行微调。简要信息：序号属性值1模型名称LM-BFF2所属领域自然语言处理；文本分类3研究内容预训练语言模型；Prompt框架4核心内容Prompt-based Fine-tun

预训练模型

sed

搜索

相似度

原创 2022-12-22 03:23:31 456 阅读 1点赞

论文解读：PTR: Prompt Tuning with Rules fo Text Classification

tributed in PLMs to better serve down

自然语言处理

深度学习

机器学习

Prompt

语言模型

原创 2022-12-22 03:21:45 627 阅读

论文解读：FASPell: A Fast, Adaptable, Simple, Powerful Chinese Spell Checker Based On DAE-Decoder Paradig

论文解读：FASPell: A Fast, Adaptable, Simple, Powerful Chinese Spell Checker Based On DAE-Decoder Paradigm简要信息：序号属性值1模型名称FASPell2所属领域自然语言处理3研究内容中文拼写纠错4核心内容图表征，语言模型5GitHub源码https://github.com/iqiyi/FASPel

自然语言处理

深度学习

神经网络

中文拼写纠错

相似度

原创 2022-12-22 03:21:32 76 阅读

论文解读：SpellGCN: Incorporating Phonological and Visual Similarities into Language Models for Chinese S

论文解读：SpellGCN: Incorporating Phonological and Visual Similarities into Language Models for Chinese Spelling Check（2020ACL）简要信息：序号属性值1模型名称SpellGCN2所属领域自然语言处理3研究内容中文拼写纠错4核心内容语言模型、图神经网络5GitHub源码https:/

自然语言处理

语音识别

深度学习

中文拼写纠错

卷积

原创 2022-12-22 03:21:16 146 阅读

【预训练语言模型】StructBERT: Incorporation Language Structures into Pre-training For Deep Language Understa

【预训练语言模型】StructBERT: Incorporation Language Structures into Pre-training For Deep Language Understanding

自然语言处理

人工智能

深度学习

语言模型

Word

原创 2022-12-22 03:20:40 83 阅读

论文解读：ChineseBERT： Chinese Pretraining Enhanced by Glyph and Pinyin Information

论文解读：ChineseBERT： Chinese Pretraining Enhanced by Glyph and Pinyin Information（2021ACL）简要信息：序号属性值1模Fhttp

自然语言处理

深度学习

人工智能

sed

语言模型

原创 2022-12-22 03:20:09 110 阅读

【预训练语言模型】RoBERTa: A Robustly Optimized BERT Pretraining Approach

【预训练语言模型】RoBERTa: A Robustly Optimized BERT Pretraining Approach 作者发现BERT以及提供的预训练语言模型并没有得到充分的训练，因此本文提出RoBERTa以挖掘BERT模型，并提供充分的训练。作者认为，扩增训练语料、增大预训练的迭代次数、去掉Next Sentence Prediction、在更长的序列上训练、动态Masking等策

自然语言处理

机器学习

深度学习

Mask

语言模型

原创 2022-12-22 03:19:46 120 阅读

论文解读：Spelling Error Correction with Soft-Masked BERT

论文解读：Spelling Error Correction with Soft-Masked BERT（2020ACL）拼写错误纠错是一个比较重要且挑战的任务，非常依赖于人类的语言理解能力。本文关注中文的拼写错误纠错任务（Chinese Spelling Error Correction）。目前SOTA的方法是给予BERT模型，为句子中的每一个词，从候选的字符列表中挑选一个作为纠错的结果，然

自然语言处理

深度学习

机器学习

Soft

sed

原创 2022-12-22 03:19:11 75 阅读

论文解读：Correcting Chinese Spelling Errors with Phonetic Pre-training

论文解读：Correcting Chinese Spelling Errors with Phonetic Pre-training（ACL2021）中文拼写纠错CSC任务具有挑战性，目前的SOTA方法是仅使用语言模型，或将语音信息作为外部知识；本文将提出一种新的端到端的CSC模型，将phonetic（拼音）特征融入到预训练和微调部分：我们在预训练阶段，每次随机将某个token替换为sound

自然语言处理

深度学习

机器学习

Network

sed

原创 2022-12-22 03:19:05 104 阅读

论文解读：SpellBERT：A Lightweight Pretrained Model for Chinese Spelling Checking

论文解读：SpellBERT：A Lightweight Pretrained Model for Chinese Spelling Checking简要信息：序号属性值1模型名称SpellBERT2发表位置EMNLP20213所属领域自然语言处理、中文拼写纠错4研究内容中文拼写纠错5核心内容预训练语言模型6GitHub源码https://github.com/benbijituo/Spell

深度学习

自然语言处理

中文拼写纠错

ci

Soft

原创 2022-12-22 03:15:08 92 阅读

论文解读：Dynamic Connected Networks for Chinese Spelling Check

论文解读：Dynamic Connected Networks for Chinese Spelling Check 我们知道，拼写纠错任务比较类似预训练语言模型中的**Masked Language Modeling（MLM）**任务。但是MLM有一个缺陷是每个token的预测是独立的，而在纠错任务中，存在错误的字符往往在纠正时需要考虑前后字符的依赖关系。基于此动机，本文提出一种动态连接网络以

拼写纠错

BERT

依赖关系

Dynamic

生成器

原创 2022-12-22 03:14:58 104 阅读

论文解读：DCSpell：A Detector-Corrector Framework for Chinese Spelling Error Correction

介绍在SIGIR2021发表的一篇中文拼写纠错文章——DCSpell。

深度学习

transformer

自然语言处理

拼写纠错

生成器

原创 2022-12-22 03:14:52 128 阅读

【预训练语言模型】CoLAKE: Contextualized Language and Knowledge Embedding（ICCL2020）

【预训练语言模型】CoLAKE: Contextualized Language and Kno

语言模型

自然语言处理

知识图谱

Graph

初始化

原创 2022-12-22 03:14:03 114 阅读

博主的EMNLP2021合作工作已公开：TransPrompt——基于Prompt和迁移学习的小样本文本分类，欢迎阅读与引用

博主近期参与的校企合作项目，并于2021年5月17日前投稿EMNLP2021。8月26日收到Accept邮件，11月6-7日召开了EMNLP2021 main conference，届时论文已经在ACL Anthology上公开，论文题目为TransPrompt: Towards an Automatic Transferable Prompting Framework for Few-sho

自然语言处理

迁移学习

Prompt-tuning

Universal

Text

原创 2022-12-22 03:13:49 320 阅读

【预训练语言模型】KG-BERT: BERT for Knowledge Graph Completion

【预训练语言模型】KG-BERT: BERT for Knowledge Graph Completion核心要点：知识图谱是不全的，先前的补全方法只是考虑稀疏的结构信息，忽略了上下文的文本信息；将实体、关系和三元组是为序列，并将知识图谱补全的任务视作序列分类任务；简要信息：序号属性值1模型名称MT-DNN2发表位置ACL 20193所属领域自然语言处理、预训练语言模型4研究内容预训练语言模型、知

知识图谱

自然语言处理

语言模型

三元组

补全

原创 2022-12-22 03:13:45 403 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx63a28752d9b82的博客

论文解读：Knowledge Base Relation Detection via Multi-View Matching

论文解读：QANet: Combine Local Convolution with Global Self-Attention for Reading Comprehension

一种基于抽取式的中文机器阅读理解数据集CMRC2018

论文解读：A Self-Training Method for Machine Reading Comprehension with Soft Evidence Extraction

【预训练语言模型】Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

论文解读：Explicit Utilization of General Knolwdge in Machine Reading Comprehension

论文解读：Graph Transformer for Graph-to-Sequence Learning

论文解读：Improving the robustness of machine reading comprehension model with hierarchical knowledge and

论文解读：Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge

论文解读：Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction

论文解读：Incorporating Connections Beyond Knowledge Embeddings: A Plug-and-Play Module to Enhance Common

论文解读：Prefix-Tuning: Optimizing Continuous Prompts for Generation

论文解读：Exploring Graph-structured Passage Representation for Multi-hop Reading Comprehension with Grap

论文解读：Task Agnostic Meta-Learning for Few-shot Learning（TAML）

【预训练语言模型】SpanBERT: Improving Pre-training by Representing...

论文解读：Making Pre-trained Language Models Better Few-shot Learners（LM-BFF）

论文解读：PTR: Prompt Tuning with Rules fo Text Classification

论文解读：FASPell: A Fast, Adaptable, Simple, Powerful Chinese Spell Checker Based On DAE-Decoder Paradig

论文解读：SpellGCN: Incorporating Phonological and Visual Similarities into Language Models for Chinese S

【预训练语言模型】StructBERT: Incorporation Language Structures into Pre-training For Deep Language Understa

论文解读：ChineseBERT： Chinese Pretraining Enhanced by Glyph and Pinyin Information

【预训练语言模型】RoBERTa: A Robustly Optimized BERT Pretraining Approach

论文解读：Spelling Error Correction with Soft-Masked BERT

论文解读：Correcting Chinese Spelling Errors with Phonetic Pre-training

论文解读：SpellBERT：A Lightweight Pretrained Model for Chinese Spelling Checking

论文解读：Dynamic Connected Networks for Chinese Spelling Check

论文解读：DCSpell：A Detector-Corrector Framework for Chinese Spelling Error Correction

【预训练语言模型】CoLAKE: Contextualized Language and Knowledge Embedding（ICCL2020）

博主的EMNLP2021合作工作已公开：TransPrompt——基于Prompt和迁移学习的小样本文本分类，欢迎阅读与引用

【预训练语言模型】KG-BERT: BERT for Knowledge Graph Completion