目录：1、使用场景2、优缺点3、算法原理3.1、传统向量空间模型的缺陷3.2、Latent Semantic Analysis (Latent Semantic Indexing)3.3、算法实例4、文档相似度的计算5、对应的实践Demo 目录：1、使用场景文本挖掘中，主题模型。聚类算法关注于从样本特征的相似度方面将数据聚类。比如通过数据样本之间的欧式距离，曼哈顿距离的大小聚类等。而主题模型，顾
转载
2024-08-11 15:20:31
113阅读
首先说明，由于本人水平有限，文章纰漏以及不妥之处还请指出，不胜感激；理解hanlp中用户自定义词典（java）什么是hanlp用户自定义字典？为什么要有用户自定义词典？ 在Hanlp分词中，不管是标准分词器、NLP分词器还是索引分词器都不可能每次都准确的将我们希望的结果词语分出来，尤其是我们平常用到的自定义名词或者流行语，比如：“印象笔记”、“奥利给”等，分析语句一长，分词准确性还会继续下降，这时
转载
2024-04-06 21:02:55
35阅读
hanlp的词典模式之前我们看了hanlp的词性标注，现在我们就要使用自定义词典与停用词功能了，首先关于HanLP的词性标注方式具体请看HanLP词性标注集。其核心词典形式如下：自定义词典自定义词典有多种添加模式，首先是展示的一个小例子，展示了词汇的动态增加与强行插入，删除等。更复杂的内容请参考后边的第二段代码。简单的例子from pyhanlp import *
text = "攻城狮逆袭单身
转载
2024-09-19 20:06:59
36阅读
# 如何实现一个简单的 "Feed 词典" 的 Python 程序
在本文中，我们将逐步实现一个简易的词典（通常被称为“Feed 词典”），这个词典将允许用户添加、查询、删除单词以及显示所有词汇。我们将使用 Python 语言实现此程序，并确保每一步都清晰明了。
## 流程概述
我们可以通过以下几个步骤来实现这个词典应用：
| 步骤 | 描述 |
|------|------|
| 1
【问题描述】或许你还没发现,山山有一本古老的词典。而且他说的每一个单词必然存在于这本字典中。可是由于听力问题,你听到的单词会夹杂着一些不该有的发音。例如听到的:somutchmoreaweare可能是:so much more aware山山的词典里有 n 个单词,你听到一句长度为 m 的话请你判断
转载
2017-10-18 17:10:00
464阅读
2评论
这段时间对LDA比較感兴趣，尝试在工作中使用它。平时做想法的高速验证，都用的是“GibbsLDA++-0.2”，一个c实现版本号的LDA。这两天用c++ stl自己写了一个单机版的LDA，初衷例如以下： 1. “GibbsLDA++-0.2”虽说号称是最popular的LDA工具包。只是依旧有明显的
转载
2017-05-27 18:50:00
192阅读
2评论
目录
1.sklearn中LDA的简单使用方法
2.维度不一致问题
1.sklearn中LDA的简单使用方法
最近在对数据进行预处理的过程中，使用了有监督的降维方式——线性判别分析（LDA）。直接能通过调用sklearn提供的接口就能实现。具体导入方式如下：
from sklearn.discriminant_analysis impo
转载
2024-04-05 00:00:48
56阅读
建议的程序员学习LDA算法的步骤
这一阵为了工作上的关系，花了点时间学习了一下LDA算法，说实话，对于我这个学CS而非学数学的人来说，除了集体智慧编程这本书之外基本没怎么看过机器学习的人来说，一开始还真是摸不太到门道，前前后后快要四个月了，算是基本了解了这个算法的实现，记录一下，也供后来人快速入门做个参考。 一开始直接就下了Blei的原始的那篇论文来看，但是看了个开头就被Dirichl
转载
2024-08-12 17:21:15
92阅读
Python字典（dict）的介绍Python是一种高级编程语言，它提供了许多常用的数据类型，其中字典（dict）是一种非常常用的数据类型。字典是一种可变的、无序的、键值对形式存储的数据类型。在Python中，字典的键必须是唯一的，因为它们用于查找相关的值。下面我们来详细介绍一下Python中的字典。字典的创建在Python中，字典可以使用大括号 {} 或者 dict() 函数创建。下面是一个使用
转载
2023-08-15 09:05:31
49阅读
小素典app是一款方便实用的字典app。本app集结了多部辞典于一身，在查阅古文字句方便有着卓越的方便和快捷，更有全新搜索查找古文字功能让您更方便地查阅，并不受输入法限制，想查就查，查了就可以查到，需要的用户们快来下载使用吧！小素典手机版介绍专业的辞典软件，使用软件可以帮助用户学习古文，集多部辞典于一身，提高用户的学习能力，帮助提升学习效率。用户可以使用小素典搜寻词典，方便搜寻，编码查字搜寻自己想
转载
2023-09-14 13:35:17
144阅读
1引用2成员方法也叫成员函数。3类变量即静态变量，是所有对象共享的，类和对象都可以调用，如：Child.total或者ch1.total4 所谓多态，就是一个指一个引用（类型）在不同情况下的多种状态。也可以理解为：多态是指通过指向父类的指针，来调用在不同子类中实现的方法。5抽象类,含有抽象方法的类必须在加上abstract修饰符，标识该类为抽象类，即含有抽象方法的类叫抽象类。为何需要抽象方法：只是
转载
2024-07-02 16:13:47
472阅读
以前LDA是用来分类的，PCA是用来降维的。PCA的降维是为了减少后续计算量，本身对于区分不同的类的能力并没有提升。PCA是无监督的，而LDA是能把不同的类往一个最佳的方向去投影，从而使两类之间的距离最大，达到易于区分的目的，LDA是有监督。下面这篇博文很好的讲述了LDA的算法的原理，很值得一读。
==============================================
转载
2024-06-07 14:05:21
55阅读
（一）LDA作用 传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。 举个例子，有两个句子分别如下：  
转载
2024-05-04 19:03:09
84阅读
前言:本文用到的方法叫做主题建模（topic model)或主题抽取(topic extraction)，在机器学习的分类中，它属于非监督学习(unsupervised machine learning)。它是文本挖掘中常用的主题模型，用来从大量文档中提取出最能表达各个主题的一些关键词。 主题模型定义(维基百科)：在机器学习和自然语言处理等领域是用来在一系列文档中发现抽象主题的一种统计模型。主题
转载
2024-02-22 15:41:03
146阅读
文章目录特征工程什么是特征工程数据预处理缺失值的处理删除法填补法Pandas填充Sklearn填充数据归一化什么是归一化归一化原理为什么要用归一化什么算法需要进行归一化sklearn库归一化处理归一化存在的问题数据标准化什么是标准化标准化原理为什么要用标准化sklearn库标准化处理标准化和归一化对比特征抽取字典特征数据提取文本特征数据提取TF-IDF 做比赛或者做项目的时候，绞尽脑汁考虑到了
转载
2024-06-19 09:01:52
56阅读
欧路词典是一款具有权威的英语词典软件，除了支持海量扩充词库、海量词库网络词典，网络百科，第三方格式词典库，还有各种专业领域的词库也是一应俱全，而且也考虑到学生的使用环境，哪怕在离线环境下，这离线词库查询起来也是超级速度的呀，让你随时随地都可以轻松学习英语。相较于其它同类词典软件来说，欧路词典应该是最为全面的，尤其是独特的light peek跨软件取词功能，能够在你用系统浏览器查看英文网页时用该软件
转载
2023-12-31 14:15:13
551阅读
Latent Dirichlet Allocation
David.M.Blei
Andrew.Y.Ng
Michael.I.Jordan
JMLR2003
（可google到）
有两种方法设计分类器：
1. discriminative model，就是由样本直接设计判别函数，例如SVM；
2. generative model，就是
转载
2024-05-22 20:45:50
34阅读
对于SEOr每天面对的挑战来自于搜索引擎的排序算法，因为这个算法是对搜索词汇在结果页中排名到底的重要依据，并且搜索引擎通过构建一个可学习的模型来识别页面上的文本内容。LDA算法- 主题建模&分析 LDA算法公式： 为了便于理解这里有个简化的形式： 我们来尝试解释一下，主题词的机会= 该主题所在文档的出现频次X 改主题词使用的频次 ；&n
说明 ：本文为个人随笔记录，目的在于简单了解LDA的原理，为后面详细分析打下基础。 一、LDA的原理LDA的全称是Linear Discriminant Analysis（线性判别分析），是一种supervised learning。LDA的原理：将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类
转载
2023-06-12 17:46:24
140阅读
1.LDA主题模型困惑度 这部分参照：LDA主题模型评估方法–Perplexity，不过后面发现这篇文章Perplexity(困惑度)感觉写的更好一点，两篇都是翻译的维基百科。 perplexity是一种信息理论的测量方法，b的perplexity值定义为基于b的熵的能量（b可以是一个概率分布，或者概率模型），通常用于概率模型的比较 wiki上列举了三种perplex
转载
2023-12-28 11:11:10
143阅读
