time domain：时域， 如speech signal；spatial domain： 空域， 如imagetransform domain：变换域， 如傅里叶域的傅里叶系数，小波域的小波系数corpus：预料库（文本建模基本术语），一般由多篇文档构成的可称为预料库，记一篇文档 d=w⃗ =(w1,w2,…,wn)（由 n个单词构成）；signal corruption：noise
TRANSFORMERTransformerGPTBERTVITSwin TransformerMAE Transformer首先我们来回顾一下Transformer模型架构图对于Transformer从宏观角度可以可以理解为6个Encoder+6个Decoder组成各部分介绍 输入部分 主要就是词嵌入+位置编码 对于词嵌入比较简单，就是对一个句子里的每个词做一个嵌入操作映射到相应的维度。一般来
分类的增强方法EDAEDA-Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks提出了数据增强方法：synonym replacement(SR)：随机选取句子中n个非停用词的词语。对于每个词语随机选取它的一个同义词替换该词语。random insertion(RI)：随机选取
**输入两个句子判断，判断它们之间的关系。参考ESIM（可以只用LSTM，忽略Tree-LSTM），用双向的注意力机制实现**数据集：The Stanford Natural Language Processing Group任务一博客链接：任务二博客链接：参考论文： 1、Reasoning about Entailment with Neural Attention https://arxiv.
一、作业内容1.实验要求利用Word2Vec模型训练Word Embedding，根据小说中人物、武功、派别或者其他你感兴趣的特征，基于Word Embedding来进行聚类分析。2.数据集金庸小说数据集 数据库地址： https://share.weiyun.com/5zGPyJX （导入文本时注意选择编码格式） 需要用到的人物武功门派文本和停词文本： https://pan.baidu.com
最近需要调研NLP中的关系抽取任务 找了一篇RE的综述，关于早期研究的介绍较为笼统，因此找到斯坦福的自然语言处理入门课程学习。 课程是2012年的，比较早，正好学习一下早期的RE模型。 看视频的过程中参考了这篇博客：斯坦福大学-自然语言处理入门 笔记 第十课 关系抽取（relation extraction）相关资源：视频链接课件链接1. 简介关系抽取一般是指抽取关系三元组（Resource De
文章目录前言一、TWEN-ASR ONE GPIO读写操作1.1 GPIO 使用说明1.2 GPIO 代码编写1.3 GPIO 代码分析1.4 GPIO 运行测试1.5 GPIO 使用小结 二、TWEN-ASR ONE ADC读取操作2.1 ADC 使用说明2.2 ADC 代码编写2.3 ADC 代码分析2.4 ADC 运行测试2.5 ADC 使用小结 三、TWEN-ASR ONE PWM使用3
2019年8月份参加达观杯信息抽取比赛时，研究过ELMO并取得第100名的成绩，最近又读到了ELMO的文章，对ELMO详细的回顾了一下并做个总结。1.什么是ELMOELMO是"Embedding from Language Model"的简称，直接参考的论文是《Deep Contextualized Word Representation》。在ELMO之前，word embedding 本质上是静
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。 LLM 通常基于神经网络模型，使用大
前言 · Flow-based模型的不同之处 从去年GLOW提出之后，我就一直对基于流（flow）的生成模型是如何实现的充满好奇，但一直没有彻底弄明白，直到最近观看了李宏毅老师的教程之后，很多细节都讲解地比较清楚，就想好好写篇笔记来梳理一下流模型的运作原理。 首先来简单介绍一下流模型，它是一种比较独特的生成模型——它选择直接直面生成模型的概率计算，也就是把分布转换的积分式（）给硬算出来。要知道现
虽然机器学习的实现直接调用库中的函数几行代码就可以实现，但知道算法的原理是必要的，这篇笔记参考了张俊林大佬的文章。其实就是给不同的语言（分词）分配不同的权重，权重大的就是焦点，即注意力 注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很
关键词抽取模型常见的算法有TF-IDF、TextRank等，本文仅在这里对这两种方法作原理的简单介绍。1 TF-IDF算法 TF-IDF(term frequency-inverse document frequency) :一种用于资讯检索于资讯探勘的
大家好，我是泰哥。本篇文章从什么是命名实体讲到为什么要做命名实体，然后讲到了NER数据处理及建模经验，对于做NER的同学，不论你是新手还是老手都非常值得一看！1 什么是NER1.1 什么是实体根据百度百科定义，实体是指客观存在、并可相互区别的事物。实体可以是具体的人、事、物，也可以是概念。1.2 什么是命名实体命名实体就是以名称为标识的实体。简单来说，若我们听到一个名字，就能知道这个东西是哪一个具
如果你是一名自然语言处理从业者，那你一定听说过大名鼎鼎的 BERT 模型。BERT（Bidirectional Encoder Representations From Transformers）模型的“荣耀时刻”是2018年：称霸机器理解测试SQuAD，横扫其他10项NLP测试，达成“全面超过人类”成就。BERT模型使用预训练和微调的方式来完成自然语言处理（Natural Language Pr
本文发表于 2020 年 6 月 8 日，虽然时间较久远，但现在看起来仍然是非常有价值的一篇文章。在这个全民 LLM 的狂欢里，想测测你拿到的预算够训一个多大的模型吗？本文会给你一个答案，至少给你一个计算公式。在自然语言处理领域，有时候我们恍惚觉得大家是为了搏头条而在模型尺寸上不断进行军备竞赛。1750 亿参数 无疑是一个很抓眼球数字！为什么不考虑高效地去训一个小一点的模型？其实，这是因为深度学习
引言 命名实体识别(Named Entity Recognition, NER)在自然语言处理领域应用广泛，是关系抽取、问答系统、知识图谱等任务的基础。数据标注的质量与一致性问题、实体嵌套问题以及对新实体的识别等问题是目前该领域的一些挑战(Li et al., 2018)，这些也正是本次分享的三篇论文所关注的方向。 文章概览由粗到细的实体识别预训练模型(Coarse-to-Fine Pre-t
前言在众多NLP任务中，语义匹配已经是最为常见的工作之一。尤其在预训练模型大行其道的今天，基于向量检索来解决各种语义上的变化，自然是大家的首要选择。回顾我们专栏的第一篇文章「丁香园在语义匹配任务上的探索与实践」，当时我们总结了在BERT诞生之前，语义匹配的各种建模思路。时间已过去两年多，从围绕垂直领域的预训练模型改进，到如何更加适配语义匹配任务，学界都提出了不少新的思路。本期文章将在后BERT时代
2月初，人工智能领域的顶级会议AAAI 2020已在美国纽约召开，百度共有28篇论文入选。NLP预训练领域入选论文《ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding》被选为Oral展示。该论文提出了持续学习的语义理解框架，该框架可增量学习海量数据中的知识，持续提升语义理解效果，本文将对其展开解读。&nb
2月初，人工智能领域的顶级会议AAAI 2020已在美国纽约召开，百度共有28篇论文入选。NLP预训练领域入选论文《ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding》被选为Oral展示。该论文提出了持续学习的语义理解框架，该框架可增量学习海量数据中的知识，持续提升语义理解效果，本文将对其展开解读。&nb
如何用有限的数据做出最佳的效果？除了一个优秀的模型以外，最有效的方法就是做数据增强了。自然语言处理(NLP)不同于图像，可以做裁剪，反转，缩放等操作来增强，而是有文本特别的处理方式。这篇论文《CODA: CONTRAST-ENHANCED AND DIVERSITYPROMOTING DATA AUGMENTATION FOR NATURAL LANGUAGE UNDERSTANDING》提出的C
Hierarchical Attention-based Framework简介 层次文本分类(Hierarchical Text Classification, HTC)，就是一个给定的层次标签体系（典型的是树状的结构或者有向无环图结构），预测文本的标签路径（路径中父节点标签对子节点标签存在包含关系），一般是每层都至少有一个标签，所以是一个带路径的多标签分类任务。▲树状层次标签
作者：JayJay引言：信息抽取终于走到了这一步：迈入大一统时代！今天为大家介绍一篇好基友 @陆博士 的ACL22论文《Unified Structure Generation for Universal Information Extraction》，这也是中科院和百度联合发布的1篇信息抽取统一建模工作UIE。本文的组织架构为：1.统一建模是IE发展的必然趋势众所周知，信息抽取（IE）是一个从文
【导读】ACL2019于7月27日到8月2日于意大利佛罗伦萨举行，本文整理了会议收录的若干篇关于文本摘要的文章,其中包括新数据、多模态文本摘要、抽取式摘要、概括式摘要等。新的数据集BIGPATENT: A Large-Scale Dataset for Abstractive and Coherent Summarizationhttp://arxiv.org/abs/1906.03741作者介绍
引言在文档中，粗粒度信息和细粒度信息对于不同的任务往往扮演不同的角色，细粒度信息（如词级、句子级表示）抓取了文档的局部信息，是句子级别命名实体识别、序列标注、意图识别等任务的基础；与之对应的，粗粒度信息通过对细粒度信息进行融合，抓取了较高级别（如段落级、文档级甚至语料级）的信息，可以提供局部观察不到的全局信息，辅助进行文档级问答、文档级关系抽取等任务。本文把重点放在粗粒度信息表示，通过三篇文章来介
论文题目：Differentiable Prompt Makes Pre-trained Language Models Better Few-shot Learners本文作者：张宁豫（浙江大学）、李泺秋（浙江大学）、陈想（浙江大学）、邓淑敏（浙江大学）、毕祯（浙江大学）、谭传奇（阿里巴巴）、黄非（阿里巴巴）、陈华钧（浙江大学）发表会议：ICLR 2022论文链接：https://arxiv.o
NLPIR多功能文本挖掘工具解决大数据处理难题 随着信息技术正以突飞猛进的速度向前进步，包括新传感器采集技术、移动互联网技术、社交网络技术的蓬勃发展，将带来大量的创新性应用。大数据是新时代的石油，通过研发分析各种多元结构化数据的高效技术，提高数据产品的易用性，让数据分析实现“开箱即用”，其蕴藏的巨大能量将使数据成为政府和企业建立核心竞争力的关键途径，甚至能够颠覆很多传统行业的运作方式，带领我
写在前面1. 事件抽取范畴、范式、技术栈领域范畴：厂商无论是在特定领域（如：法律、金融），还是通用领域，厂商做的都是限定类型的事件抽取。范式：除标准抽取外（即事件检测和事件论元识别），还有：仅抽取触发词和论元；仅抽取事件类型和论元。在论元抽取上也各不相同，有的仅抽取主体，有的抽取通用属性(如：时间/地点，或者时间/地点/主体/客体）等。技术栈：预训练语言模型+(BiLSTM)+CRF预训练语言模型
作者：哈工大SCIR 陆鑫，田一间介绍近年来，随着自然语言处理技术的快速发展，人机对话系统受到了很多关注，并逐渐成为了学术界和工业界的研究热点。人机对话系统不断发展进步，应用范围不断扩大，人们对它也有了更高的要求，希望机器在关注回复内容的基础上，可以与人进行更深入的交流。近期的一些工作表明[10, 13, 15,16, 18-21, 23]，在人机对话系统中，除了回复内容之外，机器与人的情感交流也
9月 21 日，2019“达观杯”文本智能信息抽取挑战赛在北京长峰假日酒店顺利举行。经过两个月的激烈角逐，实力卓群的 10 强决赛队伍从近3000名参赛选手中脱颖而出并在颁奖典礼上进行了方案汇报，最终由tonyxu战队赢得冠军，获得三万元现金大奖等丰厚奖励。本次比赛共吸引选手近3000人，组成1258支队伍参赛。参赛选手来自国内外各大高校、科研机构及企业，其中来自985、211的选手占报名人数的4
作者：张岳单位：西湖大学 工学院教授本文介绍实验室崔乐阳，杨森和我，在ACL 2022上对成分句法分析进行的探索。Challenges to Open-Domain Constituency ParsingInvestigating Non-local Features for Neural Constituency Parsing对于想要从头了解句法分析任务，以及其他自然语言处理任务和方法的同学