文章目录特征工程什么是特征工程数据预处理缺失值的处理删除法填补法Pandas填充Sklearn填充数据归一化什么是归一化归一化原理为什么要用归一化什么算法需要进行归一化sklearn库归一化处理归一化存在的问题数据标准化什么是标准化标准化原理为什么要用标准化sklearn库标准化处理标准化和归一化对比特征抽取字典特征数据提取文本特征数据提取TF-IDF 做比赛或者做项目的时候，绞尽脑汁考虑到了
转载
2024-06-19 09:01:52
56阅读
纯粹的文本我们也叫作语料 文本数据特点： 非结构化 海量数据 高维稀疏性 语义/情感一句话里面有多少个词就有多少个维度 文本的分析就是他所包含的语义 往往都存在一个倾向性自然语言处理-NLP 机器翻译 自动摘要（当我们在做舆情分析的时候，找到一个文章，能不能自动生成一个文本的摘要） 文本分类（根据文本的关键词进行文本的分类，在自然语言中有一个实体命名，时间，地点等） 信息检索（通过词相互之间的练习
简述LDA什么是LDA主题模型主题分布与词分布两点分布二项分布多项式分布参数估计极大似然估计贝叶斯估计共轭先验分布形式化LDA简述LDALDA涉及的知识很多，对于作者这样的菜鸟来说想要弄清楚LDA要费一番功夫，想简单说清更是不易，写下此文，也是希望在行文的过程中，把握LDA主要脉络，理顺思路。也希望我理解的方式与顺序，能帮到一部分初学的朋友。如果有不对的地方，也欢迎作出指正。什么是LDA主题模型首
转载
2024-02-11 15:04:41
59阅读
一、前言学习huggingface tokenizers 库。首先介绍三大类分词算法：词级、字符级、子词级算法；然后介绍五种常用的子词级（subword ）算法：BPE、BBPE、WordPiece、Unigram、SentencePiece。二、常用分词算法大类：词级、字符级、子词级词表通常在模型预训练语料库上训练而成，包括不同的分词方式，例如对 “Don’t you love ? Transf
转载
2024-08-09 17:41:54
135阅读
Word2vec是目前最常用的词嵌入模型之一。是一种浅层的神经网络模型，他有2种网络结构，分别是CBOW(continues bag of words)和 skip-gram。Word2vec 其实是对”上下文-单词“矩阵进行学习，其中上下文由周围的几个单词组成，由此得到的词向量表示 更多的融入了上下文共现的特征。 也就是说，如果2个词所对应的Word2vec向量相似度较高，那么他们很可能经常
转载
2024-07-25 13:13:48
105阅读
LDA算法简介：LDA是一种基于贝叶斯思想的无监督的聚类算法，广泛用于文本聚类，文本分析，文本关键词等场景。具体的，算法 的输入是一个文档的集合D={d1, d2, d3, ... , dn}，同时还需要主题Topic的类别数量m；然后会算法会将每一篇文档 di 在 所有Topic上的一个概率值p；这样每篇文档都会得到一个概率的集合di=(dp1，dp2，..., dpm), 表示文档di在m个t
转载
2024-03-19 17:09:32
163阅读
这段时间对LDA比較感兴趣，尝试在工作中使用它。平时做想法的高速验证，都用的是“GibbsLDA++-0.2”，一个c实现版本号的LDA。这两天用c++ stl自己写了一个单机版的LDA，初衷例如以下： 1. “GibbsLDA++-0.2”虽说号称是最popular的LDA工具包。只是依旧有明显的
转载
2017-05-27 18:50:00
192阅读
2评论
目录
1.sklearn中LDA的简单使用方法
2.维度不一致问题
1.sklearn中LDA的简单使用方法
最近在对数据进行预处理的过程中，使用了有监督的降维方式——线性判别分析（LDA）。直接能通过调用sklearn提供的接口就能实现。具体导入方式如下：
from sklearn.discriminant_analysis impo
转载
2024-04-05 00:00:48
56阅读
建议的程序员学习LDA算法的步骤
这一阵为了工作上的关系，花了点时间学习了一下LDA算法，说实话，对于我这个学CS而非学数学的人来说，除了集体智慧编程这本书之外基本没怎么看过机器学习的人来说，一开始还真是摸不太到门道，前前后后快要四个月了，算是基本了解了这个算法的实现，记录一下，也供后来人快速入门做个参考。 一开始直接就下了Blei的原始的那篇论文来看，但是看了个开头就被Dirichl
转载
2024-08-12 17:21:15
92阅读
Latent Dirichlet Allocation
David.M.Blei
Andrew.Y.Ng
Michael.I.Jordan
JMLR2003
（可google到）
有两种方法设计分类器：
1. discriminative model，就是由样本直接设计判别函数，例如SVM；
2. generative model，就是
转载
2024-05-22 20:45:50
34阅读
对于SEOr每天面对的挑战来自于搜索引擎的排序算法，因为这个算法是对搜索词汇在结果页中排名到底的重要依据，并且搜索引擎通过构建一个可学习的模型来识别页面上的文本内容。LDA算法- 主题建模&分析 LDA算法公式： 为了便于理解这里有个简化的形式： 我们来尝试解释一下，主题词的机会= 该主题所在文档的出现频次X 改主题词使用的频次 ；&n
1.LDA主题模型困惑度 这部分参照：LDA主题模型评估方法–Perplexity，不过后面发现这篇文章Perplexity(困惑度)感觉写的更好一点，两篇都是翻译的维基百科。 perplexity是一种信息理论的测量方法，b的perplexity值定义为基于b的熵的能量（b可以是一个概率分布，或者概率模型），通常用于概率模型的比较 wiki上列举了三种perplex
转载
2023-12-28 11:11:10
143阅读
说明 ：本文为个人随笔记录，目的在于简单了解LDA的原理，为后面详细分析打下基础。 一、LDA的原理LDA的全称是Linear Discriminant Analysis（线性判别分析），是一种supervised learning。LDA的原理：将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类
转载
2023-06-12 17:46:24
140阅读
以前LDA是用来分类的，PCA是用来降维的。PCA的降维是为了减少后续计算量，本身对于区分不同的类的能力并没有提升。PCA是无监督的，而LDA是能把不同的类往一个最佳的方向去投影，从而使两类之间的距离最大，达到易于区分的目的，LDA是有监督。下面这篇博文很好的讲述了LDA的算法的原理，很值得一读。
==============================================
转载
2024-06-07 14:05:21
55阅读
（一）LDA作用 传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。 举个例子，有两个句子分别如下：  
转载
2024-05-04 19:03:09
84阅读
前言:本文用到的方法叫做主题建模（topic model)或主题抽取(topic extraction)，在机器学习的分类中，它属于非监督学习(unsupervised machine learning)。它是文本挖掘中常用的主题模型，用来从大量文档中提取出最能表达各个主题的一些关键词。 主题模型定义(维基百科)：在机器学习和自然语言处理等领域是用来在一系列文档中发现抽象主题的一种统计模型。主题
转载
2024-02-22 15:41:03
146阅读
1、铺垫 最开始听说“LDA”这个名词，是缘于rickjin在2013年3月写的一个LDA科普系列，叫LDA数学八卦，不知是因为这篇文档的前序铺垫太长，还是因为其中的数学推导细节太多，导致一直没有完整看完过。现在才意识到这些“铺垫”都是深刻理解LDA 的基础，如果没有人帮助初学者提纲挈领、把握主次、理清思路，则很容易陷入LDA的细枝末节之中，L
转载
2024-06-16 10:22:34
0阅读
学习《python machine learning》chapter5——Compressing data via dimensionality reduction主要内容如下：（1）主要成分分析 Principal Component Analysis (PCA) ——非监督学习（2）线性判别分析 Linear Discriminant Analysis (LDA) ——监督学习（3）核主成分分
转载
2024-04-22 10:22:55
78阅读
文章目录1.LDA原理1.1 概念1.2 公式推导2.LDA实现参考资料 1.LDA原理1.1 概念LDA全称为Linear Discriminant Analysis，中文为线性判别分析。与PCA的作用相同，LDA的作用是降维，但是区别是PCA是无监督降维，而LDA是有监督的降维，LDA可以利用训练数据的类别标签。PCA只需要将数据映射到方差最大的空间，LDA需要将类别相同的数据尽可能靠近，类
转载
2024-05-06 20:00:41
244阅读
---恢复内容开始--- 小项目：分析希拉里邮件主题 import numpy as npimport pandas as pdimport redf = pd.read_csv("HillaryEmails.csv")df.head(1)#发现df中有很多字段，最有用的还是 ExtractedBodyText内容，所以我们将提取该字段，并提出id,再dropna()
转载
2024-08-06 20:02:26
112阅读
