话题模型topic model是自然语言处理领域里面热门的一个技术，可以用来做很多的事情，例如相似度比较，关键词提取，分类，还有就是具体产品业务上的事了，总之可以干很多的事情。今天不会讲LDA模型的很多细节和原理，没有满屏的数学公式，只讲一讲LDA模型是个什么东西，简单的原理，用什么技术实现的LDA，以及LDA能做什么开发和LDA在实现中的一些问题。什么是主题对于一篇新闻报道，看到里面讲了昨天NB
转载
2024-08-28 20:22:54
56阅读
众所周知，个性化推荐系统能够根据用户的兴趣、偏好等信息向用户推荐相关内容，使得用户更感兴趣，从而提升用户体验，提高用户粘度，之前我们曾经使用协同过滤算法构建过个性化推荐系统，但基于显式反馈的算法就会有一定的局限性，本次我们使用无监督的Lda文本聚类方式来构建文本的个性化推荐系统。推荐算法:协同过滤/Lda聚类我们知道，协同过滤算法是一种基于用户的历史行为来推荐物品的算法。协同过滤算法利用用户之间的
转载
2024-05-24 11:29:17
50阅读
源代码下载：TDIDF_Demo.rar
声明：本文代码思路完全来自蛙蛙池塘的博客，只为技术交流用途，无其他目的 昨天有幸拜读了蛙蛙池塘的《蛙蛙推荐：蛙蛙教你文本聚类》这篇文章，受益匪浅，于是今天就动手尝试照着他的C#代码，用C++和STL标准
给出已经分好的英文数据集，数据集中没有重复的单词，进行文本聚类聚类就是先把英文单词转化为向量，根据要聚成多少类，随机选择点，用欧氏距离或者余弦距离进行计算，把随机选择的中心点附近的点跟他归为一类，所以要先计算tdidf的值，关于pycharm中kmeans包中的函数介绍n_clusters: 簇的个数，即你想聚成几类init: 初始簇中心的获取方法n_init: 获取初始簇中心的更迭次数，为了弥补
转载
2024-05-29 10:19:38
72阅读
文章目录精简2.0版精简1.0版选择主题个数困惑度、一致性网页可视化旧版本，啰嗦的代码以中文为例 精简2.0版参考文档：找不到了 只对分词和去除停用词的步骤进行精简。 需要注意的是，比如“女士包”ana.extract_tags只会识别除“女士”，没有“包”，这与分词和字典无关。所以比较严谨的场景建议使用jieba.lcut# 临时字典：把数字+单位算上。如2022年，3000w。
for i
转载
2023-10-13 17:08:42
267阅读
#-*- coding:utf-8 -*-
import logging
import logging.config
import ConfigParser
import numpy as np
import random
import codecs
import os
from collections import OrderedDict
#获取当前路径
path = os.getcwd()
#
转载
2024-07-06 08:50:12
52阅读
文章目录一、基于文本特征的方法1.K-Means算法2.均值漂移算法3.层次聚类4.谱聚类算法5.DBSCAN密度聚类算法sklearn代码二、潜在语义分析三、深度学习聚类 聚类的应用场景没有分类广泛，而由于无监督其算法效果也不足已运用到生产环境中去，不过其仍然是机器学习中的一个重要组成部分。文本聚类常见的应用场景就是文档标签生成，热点新闻发现等等，另外，在处理文本特征时，也可以使用聚类形成特
转载
2024-07-31 06:35:35
98阅读
Mahout LDA 聚类一、LDA简介 （一）主题模型在主题模型中，主题表示一个概念、一个方面，表现为一系列相关的单词，是这些单词的条件概率。形象来说，主题就是一个桶，里面装了出现概率较高的单词，这些单词与这个主题有很强的相关性。 怎样才能生成主题？对文章的主题应该怎么分析？这是主题模型要解决的问题。 首先，可以用生成模型来看文档和主题这两件事。所谓生成模型，就是
转载
2024-06-12 22:27:13
76阅读
项目原理概述
利用sqoop将数据从MySQL导入到HDFS中,利用mahout的LDA的cvb实现对输入数据进行聚类,并将结果更新到数据库中。数据流向图如下mahout算法分析输入数据格式 为<IntegerWritable, VectorWritable>的matrix矩阵,key为待聚类文本的数字编号，value为待聚类文本的单词向量V
转载
2024-03-17 14:53:45
92阅读
聚类分析什么是聚类分析？聚类 (Clustering) 就是将数据对象分组成为多个类或者簇 (Cluster)，它的目标是：在同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别较大。所以，在很多应用中，一个簇中的数据对象可以被作为一个整体来对待，从而减少计算量或者提高计算质量。其实聚类是一个人们日常生活的常见行为，即所谓“物以类聚，人以群分”，核心的思想也就是聚类。人们总是不断地改进下
继上两篇文章介绍聚类中基于划分思想的k-means算法和k-mediod算法本文将继续介绍另外一种基于划分思想的k-mediod算法-----clara算法clara算法可以说是对k-mediod算法的一种改进,就如同k-mediod算法对k-means算法的改进一样.clara(clustering large application)算法是应用于大规模数据的聚类.而其核心算法还是利用k-med
python 文本聚类分析案例说明摘要1、结巴分词2、去除停用词3、生成tfidf矩阵4、K-means聚类5、获取主题词 / 主题词团 说明实验要求：对若干条文本进行聚类分析，最终得到几个主题词团。实验思路：将数据进行预处理之后，先进行结巴分词、去除停用词，然后把文档生成tfidf矩阵，再通过K-means聚类，最后得到几个类的主题词。实验说明：如何用爬虫获取数据可以参考其他博客，这里我们直接
转载
2023-08-23 15:14:23
313阅读
项目原理概述利用sqoop将数据从MySQL导入到HDFS中,利用mahout的LDA的cvb实现对输入数据进行聚类,并将结果更新到数据库中。数据流向图如下mahout算法分析输入数据格式为<IntegerWritable, VectorWritable>的matrix矩阵,key为待聚类文本的数字编号，value为待聚类文本的单词向量Vector, Vector的index为单词在字
原创
2014-06-24 10:44:01
1811阅读
聚类算法相关：聚类算法（一）——DBSCAN聚类算法（二）—— 优缺点对比聚类算法（三）—— 评测方法1聚类算法（三）—— 评测方法2聚类算法（三）—— 评测方法3(代码）聚类算法（四）—— 基于词语相似度的聚类算法（含代码）聚类算法（五）——层次聚类 linkage （含代码）聚类算法（六）——谱聚类 （含代码） 写了那么多聚类文章，没写Kmeans感觉不太厚道， 
转载
2024-01-17 10:06:41
96阅读
1 实验环境部署1.1 主机环境 处理器 Intel(R) Core(TM)2 Duo CPU 2.80GHz内存 8.00GB操作系统 WIN7SP1 64bit1.2虚拟机环境VMware® Workstation 10.0.2 build-1744117处
转载
2023-12-15 15:38:31
140阅读
大家好，聚类分析是一类将数据所对应的研究对象进行分类的统计方法。这一类方法的共同特点是，事先不知道类别的个数与结构；进行分析的数据是表明对象之间的相似性或相异性的数据，将这些数据看成对对象“距离”远近的一种度量，将距离近的对象归入一类，不同类对象之间的距离较远。聚类分析根据对象的不同分为Q型聚类分析和R型聚类分析，其中，Q型聚类是指对样本的聚类，R型聚类是指对变量的聚类，今天我们主要介绍Q型聚类。
转载
2023-08-15 09:25:23
243阅读
# _*_ coding: utf-8 _*_
"""
python_lda.py by xianhu
"""
import os
import numpy
import logging
from collections import defaultdict
# 全局变量
MAX_ITER_NUM = 10000 # 最大迭代次数
VAR_NUM = 20 # 自动计算迭代次数时,计算方差的区间大
转载
2024-08-30 12:46:55
43阅读
CLARANS (A Clustering Algorithm based on Randomized Search，基于随机选择的聚类算法) 将采样技术（CLARA）和PAM结合起来。CLARA的主要思想是：不考虑整个数据集合，而是选择实际数据的一小部分作为数据的代表。然后用PAM方法从样本中选择中心点。如果样本是以非常随机的方式选取的，那么它应当接近代表原来的数据集。从中选出代表对象（中心点）
转载
2024-03-15 08:17:05
87阅读
# Python 文本聚类
在自然语言处理领域，文本聚类是一种将文本数据分成多个组或簇的方法。文本聚类可以帮助我们发现文本数据中的隐藏模式、主题和关联性。Python 提供了丰富的工具和库来实现文本聚类任务。
## 文本预处理
在进行文本聚类之前，首先需要对文本数据进行预处理。预处理步骤通常包括分词、去除停用词、词干提取和向量化等。
### 分词
分词是将文本数据划分为单个词或短语的过程
原创
2023-07-22 05:43:04
315阅读
简介一 切词二 去除停用词三 构建词袋空间VSMvector space model四 将单词出现的次数转化为权值TF-IDF五 用K-means算法进行聚类六 总结简介查看百度搜索中文文本聚类我失望的发现，网上竟然没有一个完整的关于Python实现的中文文本聚类（乃至搜索关键词python 中文文本聚类也是如此），网上大部分是关于文本聚类的Kmeans聚类的原理，Java实现，R语言实现，甚至都
