本来玩这些都是满足自己的爱好，然而嘛，，同学突然建议我写一些blog，我才突然想到，是哦，现在怎么投简历都是已读不回，索性把自己的项目都搬上来做个博客吧hhh，说不定也能为简历加点分，毕竟宜家揾食艰难哦~前情提要：有同学找我让我帮忙写一个情感打分的东东，于是嘛我给写出来了，从爬取数据开始写，一直到打分完成。分都打了，那不得来个词语统计？于是就又有了这篇文章。首先看到打完分的语句 &nbs
本教程通过自包含的示例介绍PyTorch的基本概念。在其核心，PyTorch提供了两个主要特性：一个n维张量，类似于numpy，但可以在gpu上运行自动区分建立和训练神经网络我们将使用一个全连接的ReLU网络作为运行示例。网络将有一个单独的隐藏层，并通过梯度下降训练来匹配随机数据，使网络输出与真实输出之间的欧氏距离最小化。TensorsWarm-up: numpy在介绍PyTorch之前，我们将首
转载
2023-12-07 07:24:03
74阅读
# 使用PyTorch实现LDA降维
在数据科学和机器学习领域，降维是一个重要的过程，可以帮助我们更好地理解和处理数据。在各种降维技术中，线性判别分析（LDA）是一种流行的方法，特别是在处理分类问题时。本文将介绍如何使用PyTorch实现LDA降维，并提供一个实际的示例，以帮助您更好地理解这一技术的应用。
## 什么是LDA？
LDA（Linear Discriminant Analysis
Hello 大家好，我是一名新来的金融领域打工人，日常分享一些python知识，都是自己在学习生活中遇到的一些问题，分享给大家，希望对大家有一定的帮助！让机器帮助我们在海量的文本中快速找到关键信息，这种技术称为——话题建模(topic modeling)。话题建模的方法有许多种，潜在语义索引(LSI)，概率潜在语义分析(pLSA)，潜狄利克雷分布(LDA)等等方法。在我们进行话题建模之前先准备好一
转载
2023-10-03 07:25:31
77阅读
这段时间对LDA比較感兴趣，尝试在工作中使用它。平时做想法的高速验证，都用的是“GibbsLDA++-0.2”，一个c实现版本号的LDA。这两天用c++ stl自己写了一个单机版的LDA，初衷例如以下： 1. “GibbsLDA++-0.2”虽说号称是最popular的LDA工具包。只是依旧有明显的
转载
2017-05-27 18:50:00
192阅读
2评论
# 如何在PyTorch中实现LDA降维
## 一、整体流程
下面是在PyTorch中实现LDA降维的步骤：
```mermaid
journey
title PyTorch中实现LDA降维步骤
section 准备数据
section 计算类内散度矩阵和类间散度矩阵
section 计算特征值和特征向量
section 选择前k个特征向量构建投影矩阵
原创
2024-06-27 05:53:42
51阅读
梯度下降算法1. 梯度2. 梯度下降与梯度上升3. 梯度下降法算法详解3.1 梯度下降算法的具象解释3.2 需了解的相关概念3.3 算法缺点4. 梯度下降算法应用4.1 应用一：拟合直线4.1.1 场景分析4.1.2 解题步骤4.1.3 步骤总结4.2 应用二：MNIST数据集训练4.2.1 MNIST数据集介绍4.2.2 相关转换 1. 梯度梯度的概念在微积分里面，对多元函数的参数求∂偏导数，
转载
2023-10-14 02:00:48
78阅读
我最近在研究如何利用 Python 实现LDA（Latent Dirichlet Allocation）模型。这是一种用于主题建模的强大算法，能够从大量文本中发现潜在主题。令人兴奋的是，我想记录下整个实现过程，同时也包含一些可视化的内容，帮助我更好地理解这个算法。
## 背景描述
在大数据时代，如何从文本中提取有意义的信息是一项重要的任务。LDA模型正是为了解决这个问题而提出的。它可以将文本集中
# Python实现LDA: 主题建模的利器
主题建模（Topic Modeling）是文本挖掘领域中一种常见的技术，它可以帮助我们从大量文本数据中发现隐藏的主题结构。其中，Latent Dirichlet Allocation（LDA）是一种被广泛应用的主题建模算法之一。本文将介绍如何使用Python实现LDA算法，并通过一个简单的示例来演示其应用。
## 什么是LDA算法？
LDA是一种
原创
2024-06-22 04:34:16
33阅读
## 使用Python实现LDA（Latent Dirichlet Allocation）
Latent Dirichlet Allocation （LDA）是一种主题建模算法，常用于从文本数据中提取潜在主题。今天我们将通过一个简单的案例来学习如何实现LDA。作为一名刚入行的小白，下面是你实现LDA的完整流程以及每一步的详细说明。
### 流程概述
在实现LDA之前，我们首先需要了解整个流程
原创
2024-09-07 05:52:58
37阅读
1）从狄利克雷分布α中抽样，生成文档d的主题分布θ2）从主题的多项式分布θ中抽样，生成文档d的第i个词的主题zi3）从狄利克雷分布β中抽样，生成主题zi对应的词语分布φi4）从词语的多项式分布φi中采样，最终生成词语wi 这个模型图的解释如下：1.：这个过程表示生成第n个词对应的topic。在生成第m篇文档的时候，先从topic骰子中抽了一个骰子，然后投掷这个骰子，得到文档中第n个词的t
转载
2024-07-29 18:12:30
51阅读
LDA（Latent Dirichlet Allocation）是由Blei等人在2003年提出来的。LDA是在pLSI的基础上增加了贝叶斯框架，是pLSI变成了贝叶斯主题模型的LDA。概率模型求参数，当然需要进行参数估计，LDA参数估计的方法有：变分贝叶斯推断（VB）；期望传播（EP）；Collapsed Gibbs Sampling；Collapsed Variational B
转载
2024-03-28 22:02:38
63阅读
论文看了前三个section, 然后搜资料发现了些不错的。------------------------------------------------------------------------------------------------------------------------------------------一、预备知识：  
一，函数文件在matlab中，M文件分为脚本文件和函数文件。如果M文件的第一个可执行语句以function开头，那这个M文件就是函数文件。函数文件内定义的变量为局部变量，只在函数文件内部起作用，当函数文件执行完后，这些内部变量将被清除。本文介绍如何规范地编写一个函数文件。通常，函数文件由函数声明行、H1行、在线帮助文本区、编写和修改记录、函数主体等几个部分组成。格式如下：function 输出形参
转载
2024-04-28 14:37:13
35阅读
LDA：
LDA的全称是Linear Discriminant Analysis（线性判别分析），是一种supervised learning。有些资料上也称为是Fisher’s Linear Discriminant，因为它被Ronald Fisher发明自1936年，Discriminant这次词我个人的理解是，一个模型，
转载
2024-05-21 11:22:46
83阅读
主题模型有两种：pLSA（ProbabilisticLatent Semantic Analysis）和LDA（Latent Dirichlet Allocation），下面主要介绍LDA。 （二）LDA介绍 如何生成M份包含N个单词的文档，LatentDirichlet Allocation这
# LDA模型及其Java实现
## 导论
主题模型是一种用来发现文本数据中隐藏主题的统计模型。其中，LDA（Latent Dirichlet Allocation）模型是一种常用的主题模型。本文将介绍LDA模型的原理，并给出其Java实现的示例代码。
## LDA模型原理
LDA模型是一种生成式模型，它假设每篇文档都是由多个主题构成的，并且每个主题又由多个词组成。模型的目标是通过给定文档
原创
2023-08-09 10:09:19
44阅读
在机器学习领域，主题建模是一项重要的技术，而潜在狄利克雷分配（LDA）则是实现主题建模的经典算法之一。本文将详细阐述“python 手动实现LDA”的过程，以帮助读者更好地理解LDA的原理和实现过程。
关于计算相关的数学公式，LDA是一种生成式模型，假设文档是由多个主题生成的，而主题又是由词汇生成的。通过挖掘这些主题，能帮助我们提取文档的语义关键信息。
### 背景描述
在文本挖掘中，主题建
今天学习SVD原理，查看一些博文与资料，为了方便复习，做一下学习笔记。SVD不仅是一个数学问题，在工程应用中的很多地方都有它的身影，比如前面讲的PCA，掌握了SVD原理后再去看PCA那是相当简单的，在推荐系统方面，SVD更是名声大噪，将它应用于推荐系统的是Netflix大奖的获得者Koren，可以在Google上找到他写的文章。满秩分解设，那么存在，使得A=BC，其中B为列满秩矩阵，C为行满秩矩阵
LDA模型应用：一眼看穿希拉里的邮件我们拿到希拉里泄露的邮件，跑一把LDA，看看她平时都在聊什么。希望通过这样一个LDA模型将她所有的邮件进行分类，从而只需要从这些类中取出。利用gensim中包含的LDA模型。首先，导入我们需要的一些库 import numpy as np
import pandas as pd
import re 然后，把希婆的邮件读取进来。这里我们用pandas。不熟悉p
转载
2024-05-13 09:28:57
116阅读
