文本知识提取目录1.安装jieba2.TF-IDF算法2.1算法的定义2.2算法的应用（1）词性标注（2）去停用词（3）关键词提取1.安装jiebaJieba分词官网：https://github.com/fxsjy/jieba解压到相应文件夹 ，打开控制台切换到setup所在的路径，然后 输入python setup.py install 进行安装测试安装成功 2.
# 如何使用 Python 的 Jieba 库获取词性
在自然语言处理中，词性标注是一个重要的步骤，它帮助我们理解文本中每个词的功能和用法。Jieba 是一个非常流行的中文分词工具，它也提供了词性标注的功能。在本文中，我们将详细介绍如何使用 Jieba 获取词性。
## 流程概述
本文将按照以下步骤来实现词性获取：
| 步骤 | 描述
原创
2024-08-01 06:49:50
122阅读
分词技术是NLP领域中十分关键的一部分，无论是使用机器学习还是深度学习，分词的效果好坏直接影响到最终结果。在中文领域中最常用的分词工具是结巴分词（jieba）,下面简单的介绍下分词的技术以及jieba的原理和代码分析，主要是添加了一些注释，仅供参考。中文分词目前中文分词技术主要分为两类，基于词典的分词方法，基于概率统计的分词方法。基于词典分词 顾名思义，根据已有词典进行分词，类似于查字典。基于词典
转载
2023-12-14 13:14:09
162阅读
不要把学习建模看成只是参加比赛获奖等，这样会让你心情杂乱，你要试着想建模就是解决实际生活问题。1什么是层次分析（评价类模型）引入例子：小明给大学打分时关心的东西。当然这里一个小技巧就是权重值之和为1.注意这里定义给权重时：1：首先给出选折时考虑的因素，并给出权重值，但是加起来要是1 &nb
结巴分词在SEO中可以应用于分析/提取文章关键词、关键词归类、标题重写、文章伪原创等等方面，用处非常多。具体结巴分词项目：https://github.com/fxsjy/jieba安装方法：以mac系统为例(因为自己用mac系统)：在终端输入：[Asm] 纯文本查看 复制代码pip3 install jieba -i http://pypi.douban.com/simple --trusted
转载
2024-08-14 15:35:28
31阅读
前提环境：kubernetesingress涉及参考文档：kubernetes 官方文档NGINX Ingress Controlle 官方手册kubernetes基于nginx-ingress进行蓝绿部署/金丝雀发布(canary)Kubernetes 使用Nginx-Ingress实现蓝绿发布/金丝雀发布/AB测试一、Ingress-Nginx-Annotation Canary 功能简介如果
中文分词jieba学习笔记一、分词模式二、自定义词典2.1 命令2.2 使用方式三、关键词抽取（基于TF－IDF算法）3.1 用jieba.analyse.extract_tags()3.2 用jieba.analyse.textrank(s)四、词性标注五、并行分词六、返回词语在原文的起止位置 一、分词模式二、自定义词典 注意：HMM模型（隐马尔可夫模型），可以识别新词2.1 命令 jie
本篇使用的平台为Ubuntu，Windows平台的请看Pytorch的C++端(libtorch)在Windows中的使用前言距离发布Pytorch-1.0-Preview版的发布已经有两个多月，Pytorch-1.0最瞩目的功能就是生产的大力支持，推出了C++版本的生态端(FB之前已经在Detectron进行了实验)，包括C++前端和C++模型编译工具。对于我们来说，之后如果想要部署深度学习应用
转载
2024-08-22 09:47:46
47阅读
从github上下载源代码后，打开 文件夹 jieba，找到__init__.py，结巴分词最主要的函数 cut 就定义在这个文件中。这个函数的前半部分主要是根据用户指定的模式 用 正则表达式 将输入的文本 分块(block)。然后针对每一块进行分词，默认情况(精确模式)下使用的 块的分词函数叫 __cut_DAG 。__cut_DAG 函数调用了 get_DAG(senten
转载
2024-03-20 14:52:38
110阅读
Sentence-BERT:Sentence Embeddings using Siamese BERT-Networks 使用连体BERT网络的句子嵌入BERT和RoBERTa在诸如语义文本相似性（STS）的句子对回归任务上创造了新的最优的性能。然而，它要求将两个句子都输入网络，这导致了巨大的运算开销：在10,000个句子的集合中寻找最相似的一对，使用BERT需要大约5000万次推理计算（约65
HTML的不同标签在SEO优化中的权重分数一、HTML标签权重分值排列内部链接文字：10分标题title：10分域名：7分H1，H2字号标题：5分每段首句：5分路径或文件名：4分相似度（关键词堆积）：4分每句开头：1.5分加粗或斜体：1分文本用法（内容）：1分title属性：1分 （注意不是<title>， 是title属性， 比如a href=… title=”）alt标记：0.5分
转载
2024-10-06 14:48:48
19阅读
# Python获取词典的大小
词典（Dictionary）是Python中一种非常重要的数据结构，它是无序的键值对集合。在实际的编程任务中，我们经常需要获取词典的大小，也就是词典中键值对的数量。本文将介绍如何使用Python获取词典的大小，并提供相应的代码示例。
## 词典的大小
Python中的词典是一种可变的、无序的映射类型，它由键（key）和值（value）组成的键值对集合。词典中的
原创
2023-11-09 15:36:47
95阅读
jieba分词主要是基于统计词典，构造一个前缀词典；然后利用前缀词典对输入句子进行切分，得到所有的切分可能，根据切分位置，构造一个有向无环图；通过动态规划算法，计算得到最大概率路径，也就得到了最终的切分形式。 1 特征： 支持三种分词模式： 精确模式，试图将句子最精确地切开，适合文本分析； 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义； 搜索引擎模式，在精确
转载
2024-03-27 07:53:23
41阅读
1. 前言2018年最火的论文要属google的BERT，不过今天我们不介绍BERT的模型，而是要介绍BERT中的一个小模块WordPiece。2. WordPiece原理现在基本性能好一些的NLP模型，例如OpenAI GPT，google的BERT，在数据预处理的时候都会有WordPiece的过程。WordPiece字面理解是把word拆成piece一片一片，其实就是这个意思。WordPiec
Hello，World！从去年开始学习Python，在长久的学习过程中，发现了许多有趣的知识，不断充实自己。今天我所写的内容也是极具趣味性，关于优秀的中文分词库——jieba库。?关于Jieba ?什么是jieba？1、jieba 是目前表现较为不错的 Python 中文分词组件，它主要有以下特性：中文文本需要通过分词获得单个的词语j
转载
2023-11-15 15:04:22
221阅读
# Java获取词语所在的下标
在Java编程中，有时我们需要获取一个词语在字符串中的位置，也就是所在的下标。这在处理字符串时是一个常见的需求，比如在搜索、替换等操作中会用到。本文将介绍如何在Java中获取词语所在的下标，以及如何使用代码来实现这一功能。
## 字符串和下标之间的关系
在Java中，字符串是由字符组成的序列，每个字符都有一个对应的下标，下标从0开始计数。例如，字符串"Hell
原创
2024-05-17 06:15:02
15阅读
# Java 获取词性标注的科普文章
词性标注是自然语言处理（NLP）中的一项重要任务，它的目的是给句子中的每一个词汇赋予一个表示词性的信息，例如名词、动词、形容词等。在 Java 中，有多种库可以实现词性标注的功能，最常用的库之一是 Stanford CoreNLP。本文将介绍如何在 Java 中使用 Stanford CoreNLP 进行词性标注，并提供相应的代码示例。
## 一、Stan
# 使用 Python 结巴库获取词性解析
在自然语言处理（NLP）中，获取词性的任务非常重要，尤其是在文本分析和信息提取等应用场景中。Python 中的结巴分词库是一个非常流行且强大的中文分词工具，它不仅支持精确的分词，还能获取每个词的词性。对于刚入行的小白，下面我们将详细介绍如何使用结巴分词库获取词性。
## 流程概述
首先，我们将整个任务拆分成几个主要步骤，具体流程如下表所示：
|
今天想和大家分享手机提词器哪个好用。在现代社会中，录制视频已经成为了越来越多人所必需的一种技能，随着视频内容的普及和需求的不断增加，许多人都开始通过手机来进行视频拍摄。然而，在拍摄视频的过程中，很多人经常会遇到忘词的尴尬情况，这不仅会影响到视频的质量，还会让自己感到尴尬和困惑。为了避免这种情况的发生，这种情况下，可以使用手机上的提词工具来帮助记忆。那么你知道手机提词器哪个好用吗？不知道的话，还不快
转载
2023-09-15 15:05:36
92阅读
一、前缀字典作者这个版本(0.37)中使用前缀字典实现了词库的存储(即dict.txt文件中的内容)，而弃用之前版本的trie树存储词库，python中实现的trie树是基于dict类型的数据结构而且dict中又嵌套dict 类型，这样嵌套很深，导致内存耗费严重，具体点这里，下面是@gumblex commit的内容:对于get_DAG()函数来说，用Trie数据结构，特别是在Python环境，内
转载
2024-06-11 05:09:30
90阅读
