1.直观理解主题模型 听名字应该就知道他讲的是什么？假如有一篇文章text，通过里面的词，来确定他是什么类型的文章，如果文章中出现很多体育类的词，比如，篮球，足球之类的，那么主题模型就会把它划分为体育类的文章。因为主题模型涉及比较多的数学推导，所以我们先用一个小栗子，理解它要做的事。假设有这么一个场景：一个资深HR收到一份应聘算法工程师的简历，他想仅仅通过简历来看一下这个人是大牛，还是彩笔，他是怎
转载
2024-06-03 10:13:00
23阅读
from pyspark import SparkContextfrom pyspark.sql import SQLContextfrom pyspark.sql import SparkSessionfrom pyspark.sql import Rowimport reimport numpy as npfrom time import timefrom sklearn.d...
转载
2023-01-13 00:21:39
81阅读
://blog.csdn.net/huagong_adu/article/details/7937616 LDA浅析 ://.slideshare.net/aurora1625/topic-model-lda-and-all-that Topic model, LDA and
转载
2017-01-16 20:31:00
258阅读
2评论
topic model 是一种应用十分广泛的产生式模型(generative model)，在IR， NLP，ML都有
转载
2023-06-29 10:02:01
93阅读
1.Tang, Jian, et al. "Understanding the Limiting Factors of Topic Modeling via Posterior Contraction Analysis." ICML. 2014. This is the best paper of
原创
2022-07-15 21:25:06
19阅读
# Python 主题模型简介
在自然语言处理（NLP）领域，主题建模是一种无监督学习的技术，用于探索文档集合中潜在的主题。主题模型可以帮助我们发现大量文本数据的内在结构，广泛应用于信息检索、文本分类、情感分析等任务。本文将介绍如何使用Python进行主题建模，并通过代码示例进行演示。
## 主题模型的基本原理
主题模型的核心思想是将文档表示为主题的组合，同时将主题表示为单词的组合。常见的主
ARM指令集中，LDR通常都是作加载指令（ARM指令），但是它也可以作伪指令。（1）LDR r0,=name,像这种带等号的是伪指令,而不是ARM指令,LDR 伪指令用于加载立即数或一个地址值到指定寄存器. *如果name是立即数的话：LDR R0,=0X123;//将0X123存入R0 &n
1. del punctuation2. lower case3. del stopword4. len(s)>15. del infrequent word
原创
2023-06-29 10:04:40
13阅读
1 模块库使用说明1.1 requests库requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。1.2 urllib库urllib的request模块可以非常方便地抓取URL内容，也就是发送一个GET请求到指定的页面，然后返回HTTP的响
1. difference between hidden variables and hyperparameter2. procudrestep 1: the complete-data likelihood, given hyperp observed data
原创
2023-06-29 10:07:44
24阅读
topic model的介绍性文章已经很多，在此仅做粗略介绍，本文假设读者已经较为熟悉Topic
转载
2023-06-29 10:02:09
50阅读
Topic Model的分类和设计原则http://blog.csdn.net/xianlingmao/article/details/7065318topic model的介绍性文章已经很多，在此仅做粗略介绍，本文假设读者已经较为熟悉Topic Medel。Topic Model （LDA）认为一...
转载
2014-06-16 22:53:00
111阅读
2评论
最近这段时间学习了机器学习中的线性模型，用自己定义的最小二乘法函数和sklearn中的linear_model方法完成了几个小实例，具体就是通过我们班同学的各科成绩来预测最后的平均绩点模型，但不清楚sklearn库中的源码就直接调用都有点不好意思了~~在这里主要还是想记录一下我对于LinearRegre
转载
2024-03-20 07:09:58
67阅读
论文地址：https://www.aclweb.org/anthology/Q19-1011/ 已有研究工作： 之前的研究工作没有将文本分割和文档分类在整个文档级别上联合进行过；在数据集方面，缺少主题漂移情况的数据。 本文的工作和创新点： 1、提出了一个端到端的模型SECTOR，它可以将文档分割为连
转载
2020-04-20 23:56:00
203阅读
2评论
在topic model中有parameter 和 hyper parameter, 首先我们不要consider hyper parameter，只对parameter与observation 进行model，即log-likelihood 是 ln p(x|theta) = sigma_ln p(x_i|theta) = sigma_ln sigma_i {p(x_i|z_i
原创
2023-06-29 10:03:28
40阅读
sklearn.model_selection.learning_curveSee examples/model_selection/plot_learning_curve.py 用学习曲线 learning curve 来判别过拟合问题 本文结构：学习曲线是什么？怎么解读？怎么画？ 学习曲线是什么？ 学习曲线就是通过画出不同训练集大小时训练集和交叉验证的准确率，可以看到模型
转载
2024-08-13 13:15:55
56阅读
这段时间对LDA比較感兴趣，尝试在工作中使用它。平时做想法的高速验证，都用的是“GibbsLDA++-0.2”，一个c实现版本号的LDA。这两天用c++ stl自己写了一个单机版的LDA，初衷例如以下： 1. “GibbsLDA++-0.2”虽说号称是最popular的LDA工具包。只是依旧有明显的
转载
2017-05-27 18:50:00
192阅读
2评论
目录
1.sklearn中LDA的简单使用方法
2.维度不一致问题
1.sklearn中LDA的简单使用方法
最近在对数据进行预处理的过程中，使用了有监督的降维方式——线性判别分析（LDA）。直接能通过调用sklearn提供的接口就能实现。具体导入方式如下：
from sklearn.discriminant_analysis impo
转载
2024-04-05 00:00:48
56阅读
建议的程序员学习LDA算法的步骤
这一阵为了工作上的关系，花了点时间学习了一下LDA算法，说实话，对于我这个学CS而非学数学的人来说，除了集体智慧编程这本书之外基本没怎么看过机器学习的人来说，一开始还真是摸不太到门道，前前后后快要四个月了，算是基本了解了这个算法的实现，记录一下，也供后来人快速入门做个参考。 一开始直接就下了Blei的原始的那篇论文来看，但是看了个开头就被Dirichl
转载
2024-08-12 17:21:15
92阅读
Latent Dirichlet Allocation
David.M.Blei
Andrew.Y.Ng
Michael.I.Jordan
JMLR2003
（可google到）
有两种方法设计分类器：
1. discriminative model，就是由样本直接设计判别函数，例如SVM；
2. generative model，就是
转载
2024-05-22 20:45:50
34阅读
