利用tensorflow2自带keras搭建BiLSTM+CRF的序列标注模型，完成中文的命名实体识别任务。这里使用数据集是提前处理过的，已经转成命名实体识别需要的“BIO”标注格式。详细代码和数据：https://github.com/huanghao128/zh-nlp-demo模型结构BiLSTM+CRF模型就是在双向LSTM模型的输出位置接上一个CRF层，这样可以学习到相邻输出之间的依赖关
转载
2023-07-25 07:09:24
231阅读
命名实体识别(NER)是什么？识别出文本中具有特定意义的实体字符串边界，并归类到预定义类别，传统识别时间、机构名、地点等，但随着应用发展为识别特殊预定义类别。命名实体识别发展历程早期使用基于规则和字典的方法进行命名实体识别，后来使用机器学习方法(如：HMM、CRF等)，后来使用深度学习的方法(如BILSTM-CRF、Lattice-LSTM-CRF、CNN-CRF等)，近期流行使用注意力学习机制、
转载
2024-06-22 09:48:51
140阅读
文章目录1、NER 简介2. 深度学习方法在NER中的应用2.1 BiLSTM-CRF2.2 IDCNN-CRF3. 实战应用3.1 语料准备3.2 数据增强3.3 实例4. 总结 近几年来，基于神经网络的深度学习方法在计算机视觉、语音识别等领域取得了巨大成功，另外在自然语言处理领域也取得了不少进展。在NLP的关键性基础任务—命名实体识别（Named Entity Recognition，NER
转载
2024-01-11 09:56:55
98阅读
作者：致Great1条件随机场-CRFCRF，英文全称为Conditional Random Field, 中文名为条件随机场，是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫（Markov）随机场。较为简单的条件随机场是定义在线性链上的条件随机场，称为线性链条件随机场（linear chain conditional random field
转载
2024-05-21 19:05:26
55阅读
写在前面最近在看命名实体识别相关的模型，实验室正好有中医典籍文本的命名实体标注数据集，拿来练练构建一个简单的CRF模型，顺便记录下来，代码可以作为一个参考，手中有标注数据集就可以使用这段代码来训练自己的CRF模型。本次实验用到了sklearn_crfsuite库，这是一个轻量级的CRF库，不仅提供了训练预测方法，还提供了评估方法。数据集的格式大致如下图所示：每行包含一个字和对应的标注，用空行来分隔
转载
2024-06-10 15:57:22
60阅读
条件随机场-CRFCRF，英文全称为Conditional Random Field, 中文名为条件随机场，是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫(Markov)随机场...
原创
2023-05-17 12:55:37
395阅读
一文读懂BiLSTM+CRF实现命名实体识别
原创
2023-05-17 10:31:52
385阅读
命名实体识别的常用方法是BiLSTM-CRF和BERT-CRF，可以完美的匹配该任务。综述摘要命名实体识别 (NER) 是从属于预定义语义类型（如人、位置、组织等）的文本中识别刚性指示符的任务。NER 一直是许多自然语言应用的基础，如问答、文本摘要和机器翻译。早期的 NER 系统在以设计特定领域的特征和规则的人工工程成本实现良好性能方面取得了巨大成功。近年来，深度学习通过非线性处理得到连续实值向量
BiLSTM上的CRF，用命名实体识别任务来解释CRF0 导读预备知识1.介绍1.1 开始之前1.2 BiLSTM-CRF模型1.3 如果没有CRF层会怎么样1.4 CRF层可以训练数据中学习约束2. CRF层2.1 Emission得分2.2 Transition得分2.3 损失函数2.4 实际路径得分2.5所有可能的路径的得分参考链接 0 导读看了很多的CRF的介绍和讲解，这个感觉是最清楚的
转载
2024-01-26 10:39:18
35阅读
1. 什么是命名实体识别？
命名实体识别（Named Entity Recognition，简称NER），又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。简单的讲，就是识别自然文本中的实体指称的边界和类别。2. 命名实体识别的发展历史 早期基于规则、字典的方法就不细说。目前使用最广泛的应该是基于统计的方法（对语料库的依赖比
转载
2023-10-13 12:19:21
338阅读
本文对自然语言基础技术之命名实体识别进行了相对全面的介绍，包括定义、发展历史、常见方法、以及相关数据集，最后推荐一大波 Python 实战利器，并且包括工具的用法。01定义先来看看维基百科上的定义：Named-entity recognition (NER) (also known as entity identification, entity chunking and entity extra
转载
2024-02-27 21:36:39
64阅读
命名实体识别（英语：Named Entity Recognition），简称NER，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等，以及时间、数量、货币、比例数值等文字。目前在NER上表现较好的模型都是基于深度学习或者是统计学习的方法的，这些方法共同的特点都是需要大量的数据来进行学习，本文使用的数据集是2018ACL论文中新浪财经收集的简历数据。数据集链接：https:/
转载
2023-07-07 01:01:22
309阅读
用深度学习做命名实体识别(附代码) 基于CRF做命名实体识别系列用CRF做命名实体识别(一)用CRF做命名实体识别(二)用CRF做命名实体识别(三)一. 摘要之前用CRF做了命名实体识别，效果还可以，最高达到0.9293，当然这是自己用sklearn写的计算F1值，后来用conlleval.pl对CRF测试结果进行评价，得到的F1值是0.9362。接下来基于BILSTM-CRF做命名实体
转载
2024-08-08 15:37:24
23阅读
一、概念1、实体一切具有特定属性集合的物体都可以称为实体。2、命名实体一般包括三大类（实体类、时间类、数字类），七小类（人名、机构名、地名、时间、日期、货币和百分比）。3、命名实体识别过程（1）确定实体的边界，即确定哪些词属于实体。 （2）确定实体的类别，即确定实体属于人名或者机构名等。4、命名实体识别难点（1）各类命名实体没有严格的命名规范 （2）中文命名实体没有类似英文明确的单词边界及标志
转载
2023-10-08 08:46:34
195阅读
NER是一种用于识别和分类文本中命名实体的信息提取技术。这些实体可以是预先定义的和通用的，比如位置名称、组织、时间等，或者它们可以非常具体，比如简历中的示例。NER在业务中有各种各样的应用。我认为，当你在写一封电子邮件，你在邮件中提到一个时间或者附加一个文件，gmail会提供设置一个日历通知，或者提醒你附加文件，以防你发送电子邮件时没有附加附件。NER的其他应用包括：从法律、金融和医疗文档中提取重
转载
2024-01-26 09:34:52
74阅读
一、NER简介 NER又称作专名识别，是自然语言处理中的一项基础任务，应用范围非常广泛。命名实体一般指的是文本中具有特定意义或者指代性强的实体，通常包括人名、地名、组织机构名、日期时间、专有名词等。NER包含以下model：3 class model : Location, Person, Organization4 clas
转载
2023-08-13 09:15:24
272阅读
# 实现命名实体识别的Python技术
在自然语言处理领域，命名实体识别（Named Entity Recognition，简称NER）是一项重要的任务。它的目标是识别文本中具有特定意义的实体，如人名、地名、组织机构名等。NER能够帮助计算机理解并提取文本中的重要信息，对于信息提取、问答系统等任务具有重要意义。
在Python中，有多种工具和库可以用来实现命名实体识别。本文将介绍一些常用的工具
原创
2024-02-23 06:48:42
286阅读
序列标注序列标注（Sequense Tagging）是NLP中最基础的任务，应用十分广泛，如分词、词性标注、命名实体识别、关键词提取、语义角色标注、槽位抽取（Slot Filling）等实质上都属于序列标注范围。命名实体识别命名实体识别（Named Entity Recognition，简称NER），是指识别文中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。命名实体识别的作用命名实体
转载
2024-01-27 22:57:41
89阅读
本文是对 《命名实体识别技术综述》的摘录和笔记。论文链接 文章目录1. 简介2. 研究难点3. 主要方法4. 研究热点5. 数据集和评价指标6. 参考文献 1. 简介命名实体识别(NER)的目的是识别文本中的命名实体（边界）并将其归纳到相应的实体类型中。一般的实体类型包括人名、地名、组织机构名、日期等。NER的主要难点在于领域命名实体识别的局限性(如军事领域命名实体识别等)、命名实体表述的多样性和
转载
2024-01-27 12:32:20
139阅读
最近比赛多得令人窒息，所以笔者也从中学到了不少的东西。为此，笔者想基于之前更新的命名实体识别的文章，再写一写最近看到的一些NER算法。笔者在这里就不对命名实体识别等基础知识进行赘述了，我们扣1直接开车。1. MRC实体分类+抽取输入格式：<CLS>某个分类的定义<SEP>文本段落<SEP>输出格式：该分类下的所有实体这种方式的关键在于数据构造这一块，相当于是把分
转载
2024-08-07 16:12:36
65阅读
