主题模型理解
目录LDA主题模型几个重要分布模型Unigram modelMixture of unigrams modelPLSA模型LDA怎么确定LDA的topic个数？如何用主题模型解决推荐系统中的冷启动问题？LDA这里简单的介绍一下LDA的另一种身份，概率主题模型隐含狄利克雷分布（Latent Dirichlet Allocation，简称LDA
转载
2024-03-14 18:44:40
108阅读
深度学习与自然语言处理第三次作业——LDA段落主题分布问题利用LDA模型解决段落主体分布问题 文章目录深度学习与自然语言处理第三次作业——LDA段落主题分布问题一、解题背景二、解题原理1、LDA描述2、LDA模型生成三、实验分析1、语料处理2、模型训练3、模型测试四、实验总结1、实验结果2、实验分析附录 一、解题背景从给定的语料库中均匀抽取200个段落（每个段落大于500个词）， 每个段落的标签就
转载
2024-03-31 07:53:02
123阅读
LDA(Latent dirichlet allocation)[1]是有Blei于2003年提出的三层贝叶斯主题模型，通过无监督的学习方法发现文本中隐含的主题信息，目的是要以无指导学习的方法从文本中发现隐含的语义维度-即“Topic”或者“Concept”。隐性语义分析的实质是要利用文本中词项(term)的共现特征来发现文本的Topic结构，这种方法不需要任何关于文本的背景知识。文本的隐性语义表
转载
2023-06-25 10:06:11
292阅读
数据探索流程步骤增加序号列 本实验的数据源是以单个新闻为单元，需要增加ID列来作为每篇新闻的唯一标识，方便下面算法的计算。分词及词频统计 这两步都是文本挖掘领域最常规的做法。 首先使用分词组件对content字段（新闻内容）进行分词。去除过滤词之后（过滤词一般是标点符号及助语），再对词频进行统计。停用词过滤 停用词过滤组件用于过滤输入的停用词词库，一般过滤标点符号以及对文章影响较小的助语等。文本主
一、LDA简介LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模
原创
2022-08-04 17:29:04
382阅读
做项目毕竟还是要和别人交流的，一应要有一个好的规范，最好是在做项目之前就达成共识，免得项目进行到一半才发现每个人代码风格千差万别，文档乱八七糟，难以阅读。最近做的一个项目，简直有点深似海的感觉。项目由很多人共同完成，由我来整合大家写的模块。项目的推进是边摸索边进行，期间还有人跑路，很是头疼。因此越发的认识到写好一个文档有多么重要。一方面是逻辑文档，介绍每个单独模块的逻辑功能，另一方面就是代码文档，
转载
2023-07-10 21:21:44
147阅读
这篇文章主要是讲述如何通过LDA处理文本内容TXT，并计算其文档主题分布。 在了解本篇内容之前，推荐先阅读相关的基础知识
原创
2022-08-04 17:30:57
146阅读
（一）LDA作用
传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。
举个例子，有两个句子分别如下：
转载
2024-01-16 11:27:39
61阅读
1、用途： 判断两个文档的关联程度使用的方法是查看两个文档中出现相同的单词的个数，就如TF-IDF，这种方法未能够找到隐藏到文本后面的主题关联（或者语义关联），可能两个文档包含的相同的单词不多，但是他们表达的主题却是一样或者相似的。正如：“乔布斯离我们而去了。”和“苹果价格会不会降”一样。 到底什么是主题模型。一个主题，可以简单的认
转载
2024-05-11 11:02:26
100阅读
1、安装pyinstaller2、pyinstaller参数-F 表示生成单个可执行文件 -D –onedir 创建一个目录，包含exe文件，但会依赖很多文件（默认选项） -w 表示去掉控制台窗口，这在GUI界面时非常有用。不过如果是命令行程序的话那就把这个选项删除吧 -c –console, –nowindowed 使用控制台，无界面(默认) -p 表示你自己自定义需要加载的类路径，一般情况下用
转载
2023-06-27 22:02:47
252阅读
Windows 10家庭中文版，Python 3.6.4， 上午看过了一篇讲Python生成器的博文：提高你的Python: 解释‘yield’和‘Generators（生成器）’ （英文原文） 这篇博文讲的挺好的，但在读完后，自己仍然对yield、send、yield返回值等概念不清楚，于是，做了两个小试验。 试验一：yield语句的返回值 1 def
转载
2024-08-13 15:56:32
34阅读
生成文档 在emacs中可以使用doxymacs来生成注释，再配合doxymacs就可以生成文档。要生成中文文档，在emacs中必须使用utf-8的中文字体。所以需要加入下面的代码到~/.emacs中。;; For my language code setting (UTF-8)(setq current-language-environment "UTF-8"
原创
2009-02-14 14:53:18
1028阅读
前言:本文用到的方法叫做主题建模（topic model)或主题抽取(topic extraction)，在机器学习的分类中，它属于非监督学习(unsupervised machine learning)。它是文本挖掘中常用的主题模型，用来从大量文档中提取出最能表达各个主题的一些关键词。 主题模型定义(维基百科)：在机器学习和自然语言处理等领域是用来在一系列文档中发现抽象主题的一种统计模型。主题
转载
2024-02-22 15:41:03
146阅读
# Python生成文档注释
在Python中，生成文档注释是一种良好的编程实践，它可以提供代码的可读性和可维护性。文档注释是对代码的说明和解释，可以帮助其他开发人员理解代码的功能、使用方法和注意事项。本文将介绍Python生成文档注释的方法，并提供相应的代码示例。
## 什么是文档注释
文档注释是在代码中以特定格式写入的注释，用于描述代码的功能、用法和相关信息。它可以包含函数、类、模块或者
原创
2023-08-27 08:16:41
374阅读
# 使用Python实现LDA主题建模：从新手到入门
在数据挖掘和自然语言处理的领域，主题建模是一种重要的技术，而LDA（Latent Dirichlet Allocation）是其中最常用的算法之一。本文将帮助你理解如何在Python中实现LDA主题建模。整个流程将分为几个步骤，每个步骤都将详细说明所需的代码及其含义。
## 流程步骤
下面是实现LDA主题建模的一般流程：
| 步骤 |
# Python 自动生成文档
在软件开发中，文档是非常重要的一部分，它可以帮助开发者更好地理解和使用代码。而自动生成文档可以大大减轻开发者的工作量，提高工作效率。Python作为一种灵活的编程语言，也提供了一些工具和库可以帮助我们自动生成文档。
## 自动文档生成工具
### Sphinx
[Sphinx](
### MkDocs
[MkDocs](
### Pycco
[Pyc
原创
2024-03-15 06:25:11
59阅读
@微信官方昨天朋友圈刷爆了@微信官方的梗，从起初的为头像添加国旗，到最后的各种Book思议的需求…而我呢?@了辣么辣么多的奥特曼，结果还是加班到12点多…最后想想，人还是得靠自己吧，@我自己吧…昨天最近每晚加班回家都凌晨了，昨晚因为太累没更新，今天再不更新感觉有点太对不起大家，所以想想今天就学着@微信官方，用Python给我们的微信头像添加国旗吧!说说上篇文章上篇文章如何把图片变得炫酷多彩，Pyt
转载
2024-09-20 09:06:45
25阅读
上个学期到现在陆陆续续研究了一下主题模型（topic model）这个东东。何谓“主题”呢？望文生义就知道是什么意思了，就是诸如一篇文章、一段话、一个句子所表达的中心思想。不过从统计模型的角度来说， 我们是用一个特定的词频分布来刻画主题的，并认为一篇文章、一段话、一个句子是从一个概率模型中生成的。D. M. Blei在2003年（准确地说应该是2002年）提出的LDA（Latent Dirichl
转载
2023-06-02 16:28:26
384阅读
LDA全称为Latent Dirichlet Allocation，是现在文本分析中经常用到的也特别受欢迎的一种概率性主题模型。目前主要文本分类，同时在NLP领域也有十分重要的应用。LDA模型的常见用途LDA的作用就是根据每个文档的用词用句规律，找出文档背后隐藏的多个主题。简单来说，我们人类写文章都是根据主题来创作，而LDA就是根据已写好的文章来反推出主题。通过LDA可以摒弃其他信息，然后提取出重
转载
2023-05-23 15:14:57
1169阅读
主题模型 LDA 入门（附 Python 代码）
一、主题模型在文本挖掘领域，大量的数据都是非结构化的，很难从信息中直接获取相关和期望的信息，一种文本挖掘的方法：主题模型（Topic Model）能够识别在文档里的主题，并且挖掘语料里隐藏信息，并且在主题聚合、从非结构化文本中提取信息、特征选择等场景有广泛的用途。 主题可以被定义为“语料库中
转载
2023-10-24 22:38:14
322阅读
