前言 今天学习的内容很多很杂，所以我就分几个部分解析以下MVC软件结构设计 MVC(model view controller) Model:模型（业务逻辑层service/数据局访问层DAO/实体类entity） View：视图 Controller：控制器（servlet/strust/springmvc/EJB1-3）Model model分为三个部分：（业务逻辑层service/数据局访问
转载
2023-09-04 22:32:15
37阅读
主要知识点：
boolean model
IF/IDF
vector space model
一、boolean model
在es做各种搜索进行打分排序时，会先用boolean model 进行初步的筛选，boolean model类似and这种逻辑操作符，先过滤出包含指定term的doc。must/must not/should（
转载
2024-04-26 20:12:19
39阅读
1.含义在自然语言处理中非常重要的算法，用于计算一个词汇在文本中的重要性。 TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术。TF意思是词频(Term Frequency,简写为TF)，IDF意思是逆文本频率指数(Inverse Document Frequency)，它与一个词的常见程度成负相关。 注：
转载
2024-01-11 08:19:22
63阅读
# 如何实现"Java tfidf 库"
## 1. 简介
在开始教导你如何实现"Java tfidf 库"之前，我们需要了解一下tfidf是什么。tfidf（Term Frequency-Inverse Document Frequency）是一种用于度量文本中词语重要性的统计方法。它的基本思想是，一词在文档中出现的频率（Term Frequency）越高，且在其他文档中出现的频率越低（Inv
原创
2023-10-19 12:56:15
28阅读
# 如何在Java中实现TF-IDF
TF-IDF（词频-逆文档频率）是一种用于评估单词在文档集或语料库中的重要性的统计方法。它常用于文本挖掘和信息检索。本文将详细介绍如何在Java中实现TF-IDF，适合刚入行的小白们学习。
## 流程介绍
首先，我们需要对TF-IDF的实现流程有个清晰的了解，下面是一个流程图，展示了实现的各个步骤。
```mermaid
flowchart TD
转载自：http://xwrwc.blog.163.com/blog/static/46320003201010634132451/ 一、算法简介 TF-IDF（term fre
原创
2023-05-10 16:40:39
173阅读
概念：词频（Term Frequency）：指的是某一指定的词在该文档中出现的次数。 逆文档频率（Inverse DocumentFrequency）：IDF就是每个词的权重，它的大小与一个词的常见程度成反比。TF-IDF：衡量某个词是否关键词的指标，该值越大，是关键词的可能性就越大。计算公式：TF=该词在文档中出现的频率。IDF=log(文档总数/包含该词的文档数+1）TF-IDF=TF*IDF
转载
2024-01-16 15:50:51
60阅读
最近在拜读项亮博士的《推荐系统实践》，系统的学习一下推荐系统的相关知识。今天学习了其中的隐语义模型在Top-N推荐中的应用，在此做一个总结。
隐语义模型LFM和LSI，LDA，Topic
Model其实都属于隐含语义分析技术，是一类概念，他们在本质上是相通的，都是找出潜在的主题或分类。这些技术一开始都是在文本挖掘领域中提出来的，近
些年它们也被不断应用到其他领域中，并得到了不错的应用效果。比如，
文本分类tf：词的频率 idf：逆文档频率 代码实例： 运行结果：
原创
2021-07-15 10:40:24
320阅读
# 使用 HanLP 进行 TF-IDF 文本分析
随着大数据时代的到来，文本分析在自然语言处理中变得越来越重要。特别是 TF-IDF（Term Frequency-Inverse Document Frequency）算法，它是衡量一个词汇在文档中重要性的经典方法。今天，我们就来探讨如何使用 HanLP 这一中文自然语言处理工具来实现 TF-IDF 算法的分析。
## 什么是 TF-IDF？
原创
2024-08-07 11:18:05
97阅读
TF-IDF的向量表示的稀疏问题 之前在看tf-idf代码时候思考了一个问题，不知道对于初学的大部分同学有没有这样一个疑惑，用tf-idf值构成的向量，维度可能跟词表的大小有关，那么对于一句话来说，这样的向量表示是不是太稀疏了？
例如，对于下面的数据（文档），词表大小为32个词，那么我们每一句话（eg:['my', 'dog', 'has', 'fle
转载
2024-09-20 19:04:55
29阅读
之前用爬虫爬了三个源，共爬取了30w左右的博客，爬虫项目：itmap_spiders。接着对这些文本进行分析，要求是找出每篇文章的关键词。我对TF*IDF算法有一些了解，就选择了它。项目：itmap_data_analysis。业务架构由于数据量有点大，所以使用消息队列进行拆分，拆分标准是按照步骤来。具体的步骤如下图所示。技术栈：使用pika来与RabbitMQ连接。 使用click来编写命令行
转载
2024-06-18 20:58:57
51阅读
TF-IDF前言前段时间，又具体看了自己以前整理的TF-IDF，这里把它发布在博客上，知识就是需要不断的重复的，否则就感觉生疏了。TF-IDF理解TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术, TFIDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者
转载
2023-10-07 15:01:26
69阅读
TF-IDF定义TF-IDF(Term Frequency-Inverse DocumentFrequency, 词频-逆文件频率)，一种用于资讯检索和资讯探勘的常用加权技术。 TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜
转载
2024-10-28 15:13:21
14阅读
目录二、模型加载三、一些注意的情况1.保存加载用于推理的常规Checkpoint/或继续训练2.加载pytorch预训练模型3.保存多个模型到一个文件4.关于torch.nn.DataParallelpytorch有两种模型保存方式：1.保存整个神经网络的的结构信息和模型参数信息，save的对象是网络net# 保存和加载整个模型
torch.save(model_object, 'resnet.p
转载
2023-10-31 23:30:10
242阅读
我们在上线使用一个算法模型的时候，首先必须将已经训练好的模型保存下来。tensorflow提供了两种保存模型的方式，一种是使用tf.train.Saver函数来保存TensorFlow程序的参数和完整的模型结构，保存的文件后缀为 “.ckpt”；另一种方式是将计算图保存在一个 “.pb” 文件中。使用tf.train.saver()进行模型的保存保存 在创建Saver对象时，有一个参数我们经常会用
转载
2024-01-29 02:05:55
55阅读
文件构成由TensorFlow保存的训练模型文件由四个文件组成：.
├── checkpoint
├── v18.ckpt-2333.data-00000-of-00001
├── v18.ckpt-2333.index
└── v18.ckpt-2333.meta每个文件的内容为：文件描述checkpoint指示文件夹中多个不同训练结果的属性，即如果在训练过程中保存了多次相同模型，在checkp
转载
2023-10-01 12:03:36
191阅读
还存在的问题是，对于其中分词借助的库还存在问题具体代码部分：具体代码在老电脑linux系统中下面这个类：主要是，1列出某个目录下的所有文件名。2，读取某个特定文件package com.bobo.paper.util;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
impor
转载
2023-07-18 14:37:06
54阅读
算法介绍概念TF-IDF(term frequencyCinverse document frequency)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻引擎应用，作为文件与用
转载
2023-11-07 14:04:27
48阅读
1. TensorFlow中的模型首先，我们先来理解一下TensorFlow里面的持久化模型是什么。从TensorFlow 0.11版本（含）起，我们持久化保存训练模型后，在模型保存目录中一般会出现下面四个文件：.meta文件：保存了网络（模型）的计算图，包括所有的变量（variables）、操作（operations）、集合（collections）等信息.data-00000-of-00001
转载
2024-02-26 20:49:38
92阅读
