一、机器学习模型上线两种方式机器学习模型上线主要分为两种方式，一种是基于HTTP服务方式，这种方式需要在生产环境上部署相应的python环境以及相应的python机器学习包，这种方式好处在于将数据预处理部分和模型部分（保存成pkl文件）都能一起部署在HTTP服务中，缺点则是需要在生产上部署相应的python环境；而另一种方式则是通过PMML方式将机器学习模型打包给java环境使用，这种方法好处在于
转载
2024-03-17 15:33:01
29阅读
提纲1 简介2 模型架构3 实验设计 3.1 损失函数 3.2 预训练任务 3.3 Efficient retriever fine-tuning4 实验结论5 分析 5.1 可解释性  
这篇文章主要是讲述如何通过LDA处理文本内容TXT，并计算其文档主题分布。 在了解本篇内容之前，推荐先阅读相关的基础知识
原创
2022-08-04 17:30:57
146阅读
前言:本文用到的方法叫做主题建模（topic model)或主题抽取(topic extraction)，在机器学习的分类中，它属于非监督学习(unsupervised machine learning)。它是文本挖掘中常用的主题模型，用来从大量文档中提取出最能表达各个主题的一些关键词。 主题模型定义(维基百科)：在机器学习和自然语言处理等领域是用来在一系列文档中发现抽象主题的一种统计模型。主题
转载
2024-02-22 15:41:03
146阅读
深度学习与自然语言处理第三次作业——LDA段落主题分布问题利用LDA模型解决段落主体分布问题 文章目录深度学习与自然语言处理第三次作业——LDA段落主题分布问题一、解题背景二、解题原理1、LDA描述2、LDA模型生成三、实验分析1、语料处理2、模型训练3、模型测试四、实验总结1、实验结果2、实验分析附录 一、解题背景从给定的语料库中均匀抽取200个段落（每个段落大于500个词）， 每个段落的标签就
转载
2024-03-31 07:53:02
123阅读
最近在搞文本主题相关的东西，所以花了很多时间研究LDA主题模型。个人感觉这个模型应用广泛，但是数学原理相对复杂，涉及到的数学公式比较多。下面总结一下。传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。相对于文本相似，文本相似主要是根据字符串的匹配程度进行判断的，
转载
2024-04-25 18:43:44
102阅读
LDA 主题模型LDA的应用方向信息提取和搜索文档分类/聚类、文章摘要、社区挖掘基于内容的图像聚类、目标识别生物信息数据的应用基础函数LDA基本函数LDA涉及的问题共轭先验分布Dirichlet分布LDA模型：Gibbs采样算法学习参数共轭先验分布在贝叶斯概率理论中，如果后验概率p(θ|x)和后验概率p(θ)满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时先验分布叫做似然函数的共轭先
转载
2024-05-07 23:34:07
32阅读
Spark上实现LDA原理LDA主题模型算法Spark实现LDA的GraphX基础在Spark 1.3中，MLlib现在支持最成功的主题模型之一，隐含狄利克雷分布（LDA）。LDA也是基于GraphX上构建的第一个MLlib算法，GraphX是实现它最自然的方式。有许多算法可以训练一个LDA模型。我们选择EM算法，因为它简单并且快速收敛。因为用EM训练LDA有一个潜在的图结构，在GraphX之上构
转载
2024-04-07 14:21:47
66阅读
目录LDA主题模型1.LDA主题模型原理2.LDA主题模型推演过程3.sklearn实现LDA主题模型（实战）3.1数据集介绍3.2导入数据3.3分词处理 3.4
原创
2024-05-24 10:33:18
0阅读
LDA主题模型LDA是一种非监督机器学习技术，可以用来识别大规模文档集（document
collection）或语料库（corpus）中潜藏的主题信息。它采用了词袋
（bag of words）的方法，这种方法将每一篇文档视为一个词频向量，从而
将文本信息转化为了易于建模的数字信息。但是词袋方法没有考虑词与词之间
的顺序，这简化了问题的复杂性，同时也为模型的改进提供了契机。每一篇文
档
转载
2023-12-07 23:40:37
122阅读
1 关于主题模型使用LDA做推荐已经有一段时间了，LDA的推导过程反复看过很多遍，今天有点理顺的感觉，就先写一版。隐含狄利克雷分布简称LDA（latent dirichlet allocation），是主题模型(topic model)的一种，由Blei, David M.、Ng, Andrew Y.、Jordan于2003年提出。 主题模型属于聚类方法，是一种无监督的学习方法。与通常的tf-id
转载
2024-03-06 20:36:38
111阅读
作者：Kung-Hsiang, Huang编译：ronghuaiyang导读LDA是文档分类上的经典算法，如何应用到推荐系统上，大家可以看看。 Latent Dirichlet Allocation(LDA)是一种无监督发现语料库底层主题的主题建模算法。它已被广泛应用于各种领域，特别是在自然语言处理和推荐系统中。这篇博文将带你从LDA的概况介绍到详细的技术说明，最后我们将讨论LDA在推
转载
2024-08-23 16:21:52
37阅读
# Autor cf
#!/usr/bin/env Python
# coding=utf-8
'''
1、从csv或xlsx中读数据
2、使用sklearn库
'''
import pyLDAvis.sklearn
import pyLDAvis
import numpy as np
from sklearn.feature_extraction.text import TfidfVect
转载
2024-05-07 15:59:30
59阅读
随着互联网的发展，文本分析越来越受到重视。由于文本格式的复杂性，人们往往很难直接利用文本进行分析。因此一些将文本数值化的方法就出现了。LDA就是其中一种很NB的方法。 LDA有着很完美的理论支撑，而且有着维度小等一系列优点。本文对LDA算法进行介绍，欢迎批评指正。 本文目录：1、Gamma函数2、Dirichlet分布3、LDA文本建模4、吉普斯抽样概率公式推导5、使用LDA
转载
2023-10-16 02:50:07
122阅读
（一）LDA作用
传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。
举个例子，有两个句子分别如下：
转载
2024-01-16 11:27:39
61阅读
不讨论数学推导，只讨论调用一些封装好的类库，简单应用。什么是主题 因为LDA是一种主题模型，那么首先必须明确知道LDA是怎么看待主题的。对于一篇新闻报道，我们看到里面讲了昨天NBA篮球比赛，那么用大腿想都知道它的主题是关于体育的。为什么我们大腿会那么聪明呢？这时大腿会回答因为里面出现了“科比”、“湖人”等等关键词。那么好了，我们可以定义主题是一种关键词集合，如果另外一篇文章出现这些关键词
转载
2024-06-07 22:54:13
45阅读
1. LDA模型是什么LDA可以分为以下5个步骤：一个函数：gamma函数。四个分布：二项分布、多项分布、beta分布、Dirichlet分布。一个概念和一个理念：共轭先验和贝叶斯框架。两个模型：pLSA、LDA。一个采样：Gibbs采样关于LDA有两种含义，一种是线性判别分析（Linear Discriminant Analysis），一种是概率主题模型：隐含狄利克雷分布（Latent Diri
隐含狄利克雷分配（LDA，Latent Dirichlet Allocation）是一种主题模型(Topic Model，即从所收集的文档中推测主题)。 甚至可以说LDA模型现在已经成为了主题建模中的一个标准，是实践中最成功的主题模型之一。那么何谓“主题”呢？，就是诸如一篇文章、一段话、一个句子所表达的中心思想。不过从统计模型的角度来说， 我们是用一个特定的词频分布来刻画主题的，并认
转载
2024-04-29 17:37:15
163阅读
一、什么是主题模型假如有一篇文章text，通过里面的词，来确定他是什么类型的文章，如果文章中出现很多算法类的词，比如，“SVM”、“贝叶斯分类”之类的，那么主题模型就会把它划分为算法类的文章。假如该文章的主题并不单一，文中80%在讲算法，20%稍微讲了下在分词中的应用。因为涉及到中文分词，又被归入了分词类的文章。传统的文本分类器，比如贝叶斯、kNN和SVM，只能将其分到一个确定的类别中。假设给出3
转载
2024-07-29 15:33:06
37阅读
摘自百度百科LDA（LDA文档主题生成模型）
LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，也称为一个三层
贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到词服
转载
2024-03-24 10:07:48
224阅读
