今天看了一下HanLP框架的关键字提取的算法，总的来说很简单，就是互相计算词频的一个算法。谈起自动摘要算法，常见的并且最易实现的当属TF-IDF，但是感觉TF-IDF效果一般，不如TextRank好。TextRank是在Google的PageRank算法启发下，针对文本里的句子设计的权重算法，目标是自动摘要。它利用投票的原理，让每一个单词给它的邻居（术语称窗口）投赞成票，票的权重取决于自己的票数。
文章目录NO.1、文本关键词提取算法基于统计特征的关键词提取算法1、基于词`权重`的特征量化2、基于词的`文档位置`的特征量化3、基于词的`关联信息`的特征量化NO.2、文本关键词提取算法基于词图模型的关键词抽取算法1、综合特征法2、系统科学法3、随机游走法NO.3、文本关键词提取算法基于主题模型的关键词抽取NO.4、文本关键词提取算法阶段说明 有监督的文本关键词提取算法需要高昂的人工成本，因此
转载
2024-04-07 19:01:39
67阅读
关键词提取概述概念关键词是指能反映文本主题或者主要内容的词语。关键词提取是NLP领域的一个重要的子任务。在信息检索中，准确的关键词提取可以大幅提升效率；在对话系统中，机器可以通过关键词来理解用户意图；在自动文摘、文本分类中，关键词的发现也非常有帮助。关键词提取方法概述关于文本的关键词提取方法分为：有监督的关键词抽取算法半监督的关键词抽取算法无监督的关键词抽取算法有监督的关键词抽取算法有监督的关键词
转载
2024-03-05 08:30:10
82阅读
最近在看关键字提取的算法，之前看了hanlp的textrank算法，今天看了下tf-idf算法，这两个算法都比较简单，优缺点也很明显，主要都是通过词频来统计的。这个算法主要是参考了TF-IDF与余弦相似性的应用（一）：自动提取关键词有一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工干预，请问怎样才能正确做到？这个问题涉及到数
转载
2023-09-03 10:29:13
70阅读
特征词提取常见算法----------无监督----------1.TF-IDF重要性=每个单词的词频TF * 逆文档频率IDF。 思想：如果单词或短语在一篇文章中出现频率更高（TF值高）而在其他文章中出现少（DF值低，IDF值高），则认为该词或短语可以很好地代表文章，并可以用于分类。2.TextRank基于PageRank，该算法认为，如果在Page B中有指向Page A的链接，则Page B
转载
2023-09-14 12:27:52
299阅读
背景在研究和新闻文章中，关键词构成了一个重要的组成部分，因为它们提供了文章内容的简洁表示。关键词在从信息检索系统，书目数据库和搜索引擎优化中定位文章方面也起着至关重要的作用。关键词还有助于将文章分类为相关主题或学科。提取关键词的传统方法涉及基于文章内容和作者的判断手动分配关键词。这涉及大量时间和精力，并且在选择适当的关键字方面也可能不准确。随着自然语言处理（NLP）的出现，关键字提取已经发展为有效
转载
2023-07-31 21:12:37
190阅读
背景之前做问答机器人的时候需要一个定闹钟的场景，比如：明早7点半叫我起床 下午2点的闹钟 每天8点半叫我起床 …之类的，要根据该文字描述让后台创建一个定时任务来叫我起床，需要用到cron表达式，但是文本转换成cron是个头大的事情，竟然没找到合适的工具，尝试过提取时间，也最终被堆积的if else打败—是在下输了！整理了一下思路：我要做的是 输入一段文字 然后转换成cron表达式，可以理解为翻译，
转载
2024-09-02 14:53:54
20阅读
首先推荐一下在NLP方面比较好的一个博客，本文也是参考这位博主写的。]本文主要对TF-IDF代码重新改写了一下，几个函数顺序调用比原文较好理解一点，对于刚入NLP的我们来说用来学习是挺好的，如果掌握的就可以尝试用面向对象的思想来写。LSA/LSI/LDA这集中算法应为没有接触过，多以暂时不介绍如果有时间我再去理解修改。1、关键词提取技术概述： 相对于有监督的
转载
2023-10-05 13:44:06
14阅读
中文自然语言处理分析和拉丁语系不同，亚洲语言是不用空格分开每个有意义的词的。而当我们进行自然语言处理的时候，大部分情况下，词汇是我们对句子和文章理解的基础，因此需要一个额外的分词工具去把完整的文本中分解成粒度更细的词。1.1 关键词提取1.1.1 基于 TF-IDF 算法的关键词抽取import jieba.analysejieba.analyse.extract_tags(sentence, t
转载
2023-11-13 09:39:45
169阅读
【paddle- NLP】评论观点抽取和属性级情感分析点击Notebook，创建“NLP通用”填写任务信息下载数据集和相关依赖文件至本地下载链接：https://aistudio.baidu.com/aistudio/datasetdetail/1250821.找到创建的Notebook任务，点击配置 开发语言：Python3.7 AI框架：PaddlePaddle2.0.0 资源规格：GPU V
转载
2024-05-30 07:31:33
68阅读
文章目录关于关键词提取TF-IDF思想由来用处名词/概念解释缺点TextRankLDALSA/LSIRake特点 关于关键词提取关键词提取（Key Word Extraction）主要有以下方法：基于统计：tf-idf, TextRank基于词分布：
LDA：采用贝叶斯学派的方法对分布信息拟合LSA/LSI：采用SVD的方法暴力破解Rake、Topic-ModelTF-IDFTF-IDF（
转载
2023-12-05 21:09:36
59阅读
关键词提取什么叫关键词提取？关键词提取方法分类有监督无监督优缺点Jieba 关键词提取TF/IDF算法TF-IDF的主要思想如何训练关键词提取算法demoPageRank算法TextRank算法demo其他概念参考链接 什么叫关键词提取？为了方便用户快速了解文章的中心主题，会抽取文章的一些中心词来表达文章的中心思想。关键词抽取就是通过一定的方法抽取出能表达文章的中心主题的一系列方法。在信息爆炸的
转载
2023-08-30 07:18:35
24阅读
# NLP提取文本中的敏感信息
随着人工智能技术的不断发展，自然语言处理（NLP）在各个领域中得到了广泛的应用。其中，文本中的敏感信息提取是一个非常重要的应用场景。本文将介绍如何使用NLP技术提取文本中的敏感信息，并提供一些代码示例。
## 敏感信息的定义
敏感信息通常指那些涉及到个人隐私、商业机密、政治敏感等方面的信息。例如，个人信息（姓名、身份证号、电话号码等）、金融信息（银行账户、信用
原创
2024-07-27 03:40:19
711阅读
一，NLP中一些基本概念1，关键词抽取：就是从文本里面把跟这篇文档意义最相关的一些词抽取出来。这个可以追溯到文献检索初期，当时还不支持全文搜索的时候，关键词就可以作为搜索这篇论文的词语。因此，目前依然可以在论文中看到关键词这一项。 在jieba.analyse包里面有处理关键词抽取的函数，包括基于 TF-IDF 算法 以及 基于 TextRank 算法的。2，切词 切词即将一个句子或一段文字中的词
转载
2023-11-28 05:15:15
81阅读
人工智能 – NLP 关键词提取：TF-IDF算法 和 TextRank算法
1.基于TF-IDF算法进行关键词抽取 ---- analyse.extract_tags() 解压标签from jieba import analyse
# 引入TF-IDF关键词抽取接口
tfidf = analyse.extract_tags
# 原始文本
text = "\u3000\u30
转载
2024-08-12 14:56:38
57阅读
第2篇：三分钟热情学NLP-关键词提取TF-IDF一篇文章或1个文档中，哪些词对文章更重要？哪些词可以作为关键词？自动提取关键词可以快速地从海量的信息中提取和获取信息，下面简述下关键词提取技术。1、关键词提取的机器学习方法有监督的机器学习方法：构建1个丰富的词表，判断每个文档与词表中每个次的匹配程度，这种方法是准确高；缺点是维护词表和标注的成本高； 无监督的机器学习方法：2个常见算法是TF-IDF
转载
2023-09-02 06:17:08
181阅读
Capturing Global Informativeness in Open Domain Keyphrase ExtractionJointKPE简介这篇论文是清华大学2021年的论文，主要目的是在开放领域进行关键词/短语抽取。作者提出了一种模型叫做JointKPE，是建立在预训练语言模型上的开放领域关键词抽取模型，它能捕捉局部的短语和全局的信息。JointKPE通过评估关键短语在整个文档中
转载
2024-05-30 23:03:21
243阅读
1.文本关键词抽取的种类：关键词提取方法分为有监督、半监督和无监督三种，有监督和半监督的关键词抽取方法需要浪费人力资源，所以现在使用的大多是无监督的关键词提取方法。无监督的关键词提取方法又可以分为三类：基于统计特征的关键词抽取、基于词图模型的关键词抽取和基于主题模型的关键词抽取。2.基于统计特征的有个最简单的方法，利用TF-IDF效果不错对于未登录词其IDF值的常用计算以及TF-IDF的计算3、T
转载
2023-07-30 09:04:51
325阅读
PageRank 算法基于词图模型的关键词提取算法主要有 PageRank 和 TextRank。 PageRank 是 TextRank 算法的思想基础，TextRank 是 PageRank 在文本上的应用。来源： Google 创始人拉里·佩奇和谢尔盖·布林于 1997 年构建早期的搜索系统原型时提出的链接分析算法，通过计算网页链接的数量和质量来粗略估计网页的重要性。应用： 该算法创立之初即
转载
2023-09-21 11:28:18
113阅读
集成，在介绍TextRank的原理之前，必
转载
2024-06-05 06:20:50
40阅读
