jieba “结巴”中文分词：做最好的 Python 中文分词组件"Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentation module.Scroll down for English documentation.特点支
小白在Long Long ago研究过一段时间的结巴分词，当时是因为工作需要，很长时间过去了，有一点点生疏，现把之前学习的笔记整理一下，以便以后的使用，也分享一下~ 首先，需要先安装结巴分词包。使用Anaconda prompt进行安装pip install jiebaspyder安装第三方包可参考小白之前
转载
2024-02-02 11:44:40
45阅读
关于结巴分词 ElasticSearch 插件：https://github.com/huaban/elasticsearch-analysis-jieba该插件由huaban开发。支持Elastic Search 版本<=2.3.5。结巴分词分析器结巴分词插件提供3个分析器：jieba_index、jieba_search和jieba_other。jieba_index: 用于索引分词，分
转载
2024-01-10 12:25:26
91阅读
中文文本分类不像英文文本分类一样只需要将单词一个个分开就可以了，中文文本分类需要将文字组成的词语分出来构成一个个向量。所以，需要分词。 这里使用网上流行的开源分词工具结巴分词（jieba），它可以有效的将句子里的词语一个个的提取出来，关于结巴分词的原理此处不再赘述，关键是他的使用方法。1、安装 结巴分词是一个Python的工具函数库，在python环境下安装，安装方式如下： （1）python2.
转载
2017-07-10 10:25:00
74阅读
基于词表的中文分词算法正向最大匹配法对于输入的一段文本从左至右,以贪心的方式切分出当前位置上长度最大的词.正向最大匹配法是基于词典的分词方法,其分词原理是:单词的颗粒度越大,所能表示的含义越确切.该算法主要分两个步骤:一般从一个字符串的开始位置,选择一个最大长度的词长的片段,如果序列不足最大词长,则选择全部序列.首先看该片段是否在词典中,如果是,则算为一个分出来的词,如果不是,则从右边开始,减少一
如何通过关键词获取全网可访问网址和网站信息有些时候我们需要对自己的网站或者产品进行市场分析，这个时候我们就需要获取大量的数据进行对比，如果是通过手工的方式获取未免时间成本太大。于是就有了 Msray 全网URL采集工具。Msray的主要功能：1：根据关键词进行URL采集msray可根据提供的关键词，通过搜索引擎对关键词的结果进行整理。采集的内容有：域名，网址，IP地址，IP所属国家，标题，描述，访
转载
2023-07-04 14:04:29
308阅读
5.1 关键词提取技术概述 相对于有监督的方法而言，无监督的方法对数据的要求就低多了。既不需要一张人工生成、维护的词表，也不需要人工标准语料辅助进行训练。因此，这类算法在关键词提取领域的应用更受到大家的青睐。目前常用的算法有TF-IDF算法、TextRank算法和主题模型算法（包括LSA、LSI、LDA等）5.2 关键词提取算法TF/IDF算法
转载
2023-08-11 16:33:43
356阅读
加载模型HanLP的工作流程是先加载模型，模型的标示符存储在hanlp.pretrained这个包中，按照NLP任务归类。import hanlp
hanlp.pretrained.tok.ALL # 语种见名称最后一个字段或相应语料库调用hanlp.load进行加载，模型会自动下载到本地缓存。自然语言处理分为许多任务，分词只是最初级的一个。tok = hanlp.load(hanlp.pretr
转载
2023-07-21 15:17:44
591阅读
目录序言函数模块介绍对文件进行批量重命名将PDF转化为txt删除txt中的换行符添加自定义词语分词与词频统计主函数本地文件结构全部代码结果预览 序言做这个的背景是研究生导师要批量处理新三板文本数据，提取出一些自定义的关键词的词频代码能够运行，但效率不一定最优（我的配置能够实现2.5s一份），需要安装指定的第三方模块（jieba、pdfminer等）在我电脑里可以运行，里面涉及到一些路径（rena
转载
2024-03-31 07:58:02
113阅读
import os
import pandas as pd
import PyPDF2
import re
from concurrent.futures import ThreadPoolExecutor
import multiprocessing
# 定义一个函数，用于提取PDF文件中的内容
def extract_content(pdf_folder, pdf_filename, i):
转载
2023-10-09 14:59:06
136阅读
起因: 因为个人原因, 这些天了解了一下Python处理PDF的方法. 首先是PDF转txt, 这个方法比较多, 这里就不再赘述, 主要聊一下PDF中的图片获取. 这里用我自己的例子, 不过具体情况还得具体分析. 工具: pdfminer, pillow, fitz, re思路: 1. 使用pdfminer解析PDF, 通过当前页的LTpage对象, 获取
转载
2023-08-16 14:45:41
331阅读
TextRank4ZH
TextRank算法可以用来从文本中提取关键词和摘要（重要的句子）。TextRank4ZH是针对中文文本的TextRank算法的python算法实现。
安装
方式1：
$ python setup.py install --user
方式2：
$ sudo python setup.py install
方式3：
$ pip install textrank4zh --us
转载
2024-01-07 16:43:44
81阅读
TextRank4ZHTextRank算法可以用来从文本中提取关键词和摘要（重要的句子）。TextRank4ZH是针对中文文本的TextRank算法的python算法实现。安装方式1：
$ python setup.py install --user
方式2：
$ sudo python setup.py install
方式3：
$ pip install textrank4zh --user
转载
2023-06-16 10:39:36
274阅读
#!/usr/bin/python
# coding=utf-8
# TF-IDF提取文本关键词
# http://scikit-learn.org/stable/modules/feature_extraction.html#tfidf-term-weighting
import sys
import os
from config_ch import *
import chardet
impor
转载
2024-02-23 15:23:38
45阅读
关键词抽取就是从文本里面把跟这篇文档意义最相关的一些词抽取出来。这个可以追溯到文献检索初期，当时还不支持全文搜索的时候，关键词就可以作为搜索这篇论文的词语。因此，目前依然可以在论文中看到关键词这一项。除了这些，关键词还可以在文本聚类、分类、自动摘要等领域中有着重要的作用。比如在聚类时将关键词相似的几篇文档看成一个团簇，可以大大提高聚类算法的收敛速度；从某天所有的新闻中提取出这些新闻的关键词，就可以
转载
2023-08-03 23:20:20
156阅读
python怎么提取关键词import re f = open("D:/xiangmu/python/xiangmu/gjc.txt", "r", encodi欢迎来到四十五资源网， 那个r'.*?('+ lste +').*?‘ 会吧你这个关键字前面和后面的文字都匹配了，所以当你的那个关键字多次出现的时候，就会报那个重复出现的错了。 你直接 hh = re.findall(lste, gg)就可
转载
2024-08-23 20:43:43
38阅读
RAKE算法是由2010年的论文Automatic keyword extraction from individual documents提出的，比TextRank算法效果更好，原repository链接是 https://github.com/aneesha/RAKE，已经很久没有维护了，本文重新整理了代码，做了以下3个工作：使其支持python 3.0版本使其更灵活地用命令行调用代
转载
2023-11-29 17:26:13
216阅读
1.TF-IDF2.基于语义的统计语言模型文章关键词提取基础件能够在全面把握文章的中心思想的基础上，提取出若干个代表文章语义内容的词汇或短语，相关结果可用于精化阅读、语义查询和快速匹配等。采用基于语义的统计语言模型，所处理的文档不受行业领域限制，且能够识别出最新出现的新词语，所输出的词语可以配以权重。3.TF-IWF文档关键词自动提取算法针对现有TF-IWF的领域文档关键词快速提取算法.该算法使用
转载
2024-06-07 22:53:13
65阅读
定义：从文本中与这篇文章意义最相关的一些词语抽取出来。抽取的两种方法：关键词分配：给定一个已有的关键词库，对于新来的文档从该词库里面匹配几个词语作为这篇文档的关键词，有点类似抗战时期的密码本-以及密码破译过程；关键词提取：针对新文档，通过算法分析，提取文档中一些词语作为该文档的关键词。目前，第二种在实际应用中更准确，因而用的更多。我的参考资料基于TF-IDE算法进行关键词提取TF-ID
转载
2024-05-18 22:32:37
114阅读
TF-IDF与余弦相似性的应用（一）：自动提取关键词 这个标题看上去好像很复杂，其实我要谈的是一个很简单的问题。有一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工干预，请问怎样才能正确做到？这个问题涉及到数据挖掘、文本处理、信息检索等很多计算机前沿领域，但是出乎意料的是，有一个非常简单的经典算法，可以给出令人相当满意的结果。
转载
2023-09-11 13:36:14
220阅读
