本文将会简单介绍自然语言处理（NLP）中的命名实体识别（NER）。 常见算法如下： 命名实体识别（Named Entity Recognition，简称NER）是信息提取、问答系统、句法分析、机器翻译等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要地位。一般来说，命名实体识别的任务就是识别出待处理文本中三大类（实体类、时间类和数字类）、七小类（人名、机构名、地名、时
转载
2024-10-09 19:34:22
16阅读
语音识别模型：语音识别模型主要分为两种，一种是基于seq2seq的，一种是基于HMM的。 seq2seq的模型主要有LAS，CTC，RNN-T，Neural Transducer，MoChA。本节讲最流行的LAS，就是Listen，Atten，and Spell，典型的seq2seq+attention的自编码模型。1. Listen：编码器会把输入的一串声学特征，转换为高维隐层嵌入。它的主要目标
转载
2023-10-07 15:51:45
149阅读
与计算机视觉中使用图像进行数据增强不同，NLP中文本数据增强是非常罕见的。这是因为图像的一些简单操作，如将图像旋转或将其转换为灰度，并不会改变其语义。语义不变变换的存在使增强成为计算机视觉研究中的一个重要工具。我很好奇是否有人尝试开发NLP的增强技术，并研究了现有的文献。在这篇文章中，我将分享我对当前用于增加文本数据的方法的发现。 方法 1. 词汇替换 这种方法试图在
数据读取与数据分析读取数据数据分析句子长度分析新闻类别分类字符分布统计统计出现频率最多的字符数据分析结论总结 读取数据赛题数据虽然是文本数据，每个新闻是不定长的，但任然使用csv格式进行存储。因此可以直接用Pandas完成数据读取的操作。import pandas as pd
train_df = pd.read_csv('train_set.csv', sep='\t', nrows=100)
转载
2023-12-19 13:47:42
24阅读
基于预训练模型的槽位填充和意图识别意图识别原来如此意图识别是指分析用户的核心需求，输出与查询输入最相关的信息，例如在搜索中要找电影、查快递、市政办公等需求，这些需求在底层的检索策略会有很大的不同，错误的识别几乎可以确定找不到能满足用户需求的内容，导致产生非常差的用户体验；在对话过程中要准确理解对方所想表达的意思，这是具有很大挑战性的任务。 例如用户输入查询“仙剑奇侠传”时，我们知道“仙剑奇侠传”既
转载
2023-11-01 17:29:27
221阅读
什么是NLP？答：利用机器学习技术来分析自然语言都属于NLP技术。（弱弱的说一句，NLP应该是语音、图像、文本这三种数据中，处理起来最难的数据！勿喷！）什么是自然语言？答：文本数据就是自然语言。语音数据并不是直接的自然语言，需要在经过语音识别之后，形成文本数据才能算作自然语言。NLP的价值体现在什么地方？答：大家想一想，我们是如何同这个世界进行交互的？比如：与人交流、浏览新闻，收集到的数据，我
转载
2024-01-17 22:48:49
19阅读
警句 多说无益，好自为之 人若有所成，必定有所执 不积跬步，无以至千里；不聚细流，不以成江河名言乔布斯 stay hungry, stay foolish加缪 正因为人生没有意义，才值得一过，如果你一直在找人生的意义，你永远不会生活。书籍《飘》 镜子碎了就是碎了，宁愿认清现实，也不愿重新拼凑然后终生看着那些裂痕。 ——白瑞德 心理学墨菲定律 原句： 如果有两种或两种以上
nlp领域里，语义理解仍然是难题！ 给你一篇文章或者一个句子，人们在理解这些句子时，头脑中会进行上下文的搜索和知识联想。通常情况下，人在理解语义时头脑中会搜寻与之相关的知识。知识图谱的创始人人为，构成这个世界的是实体，而不是字符串，这从根本上改变了过去搜索的体系。语义理解其实是基于知识，概念和这些概念间的关系。人们在解答问题时，往往会讲述与这个问题相关的知识，这是语义理解的过程。这种机制完全
转载
2023-09-02 22:19:13
162阅读
文章目录第一部分：文本分类一、文本预处理（解决特征空间高维性、语义相关性和特征分布稀疏）二、文本特征提取三、分类模型第二部分：情感分析一、概述二、基于情感词典的情感分类方法三、基于机器学习的情感分类方法第三部分：意图识别一、概述二、意图识别的基本方法三、意图识别的难点 第一部分：文本分类训练文本分类器过程见下图：文本分类问题： 给定文档p（可能含有标题t），将文档分类为n个类别中的一个或
转载
2023-08-31 18:21:49
329阅读
AI工程师必备的核心技能现实生活中问题--->数学优化问题--->通过合适的工具解决 什么是NLPNLP = NLU + NLGNLU(Natural Language Understanding)：语音/文本 -> 意思（meaning）NLG(Natural Language Generator)：意思 -> 文本/语音 NL
# Golang NLP 数据资产识别
在现代数据驱动的时代，数据资产识别是企业管理和利用其数据资产的重要过程。自然语言处理（NLP）作为一门使计算机理解和处理人类语言的技术，已经在这个过程中发挥了关键作用。在这篇文章中，我们将探讨如何在 Go（Golang）中实现数据资产识别，并提供相应的代码示例。
## 什么是数据资产识别？
数据资产识别是指识别和分类企业内部和外部的各种数据资源。数据资
# NLP如何检测标注数据的质量——项目方案
在自然语言处理（NLP）领域，数据的质量直接影响模型的表现。为了确保我们的标注数据能够可靠地用于训练和测试，我们需要建立一个有效的质量检测方案。本文将提出一个项目方案，涵盖方法、工具和示例代码，帮助开发者检测标注数据的质量。
## 项目目标
- 评估标注数据的准确性与一致性
- 检测数据中的噪声和偏倚
- 提供可视化报告，便于各方理解
## 方
原创
2024-10-17 14:14:22
286阅读
文本匹配和语义匹配1、什么是文本匹配？文本匹配是自然语言处理中一个重要的基础问题，可以应用于大量的NLP任务中，如信息检索、问答系统、复述问题、对话系统、机器翻译等，这些NLP任务在很大程度上可以抽象为文本匹配问题。例如网页搜索可抽象为网页同用户搜索Query的一个相关性匹配问题，自动问答可抽象为候选答案与问题的满足度匹配问题，文本去重可以抽象为文本与文本的相似度匹配问题。2、文本匹配方法概述2-
转载
2023-09-27 21:28:26
136阅读
坐落在北京西山凤凰岭山脚下的龙泉寺，可以称得上是全国甚至全球科研实力最强的佛教寺庙。寺内高僧们搞科研、写代码，将佛学与新技术相结合，成果不断，持续被外界关注着。在汉传佛教的两千多年里，历朝历代都对《大藏经》进行翻译、增补、修订，为了使人们阅读古文典籍更加便捷，同时提高学者的工作效率，龙泉寺在整理和校勘的《大藏经》时，运用了包括深度学习、OCR、NLP在内的现代技术来改变传统《大藏经》的解读方式。例
转载
2023-10-08 23:14:37
101阅读
一、内容概要Photo OCRProblem Decription and pipeline(问题描述和流程图)Sliding Windows(滑动窗口)Getting Lots of Data and Artificial DataCeiling Analysis（上限分析）:What part of the pipline to Work on Next二、重点&难点1. Proble
转载
2023-12-23 20:20:39
77阅读
与计算机视觉相比，自然语言处理 (NLP) 一直被认为是一个难以攻克的难题。本文寻找到了一种新的 NLP 处理方式，探索将 NLP 与计算机视觉处理结合，将文本绘制成图片。虽然目前的准确率还有待优化提高，但看起来很有应用前景。问题点长期以来，自然语言处理 (NLP) 一直被认为是一个难以攻克的难题，至少与计算机视觉相比是这样。NLP 模型需要更长的运行时间，通常更难实现，并且需要更多的计算资源。另
转载
2023-10-19 11:14:56
81阅读
BERT预训练模型在诸多NLP任务中都取得最优的结果。在处理文本分类问题时，即可以直接用BERT模型作为文本分类的模型，也可以将BERT模型的最后层输出的结果作为word embedding导入到我们定制的文本分类模型中（如text-CNN等）。总之现在只要你的计算资源能满足，一般问题都可以用BERT来处理，此次针对公司的一个实际项目——一个多类别（61类）的文本分类问题，其就取得了很好的结果
转载
2023-12-06 19:12:15
42阅读
最近在看Speech Representation预训练相关的论文，NLP的Bert模型大杀四方后，语音领域也开始涌现一些优秀的预训练模型，比如：Mockingjay，Wav2Vec，PASE，DeCoAR系列。《Probing acoustic representations for phonetic properties》对比了4种预训练语音表征模型的效果，包括mockingjay，wav2v
模式识别是什么？作为人工智能的一个重要方向，模式识别的主要任务是模拟人的感知能力，如通过视觉和听觉信息去识别理解环境，又被称为“机器感知”或“智能感知”。人们在观察事物或现象的时候，常常要寻找它与其他事物或现象的不同之处，并根据一定目的把相似、但又细节不同的事物或现象组成一类。字符识别就是一个典型的例子，如数字“4”可以有各种写法，但都属于同一类别。人脑具有很强的模式识别和推广能力，即使对于某种不
转载
2023-11-05 19:31:05
84阅读
语言识别的概念机器翻译用印刷文本作为输入，能清楚地区分单个单词和单词串 。 语音识别用语音作为输入，口语对话与语音信号中语言提取的不同： （1）上下文猜测 （2）肢体语言传达信息 fare | fair male | mail语音识别的主要过程语音识别流程分帧：把一段语音分成若干小段 状态：把每一帧识别作为一个状态 音素：把状态组合成音素，即声母亲和韵母。 声学模型（acoustic model）
转载
2023-12-21 11:58:49
78阅读
