简介一 切词二 去除停用词三 构建词袋空间VSMvector space model四 将单词出现的次数转化为权值TF-IDF五 用K-means算法进行聚类六 总结简介查看百度搜索中文文本聚类我失望的发现，网上竟然没有一个完整的关于Python实现的中文文本聚类（乃至搜索关键词python 中文文本聚类也是如此），网上大部分是关于文本聚类的Kmeans聚类的原理，Java实现，R语言实现，甚至都
文章目录基本原理sklearn中的实现 基本原理AffinityPropagation按照字面意思就是亲和力传播，可见这个算法的关键就是亲和力与传播。说到传播，无外乎两件事，第一件事，传的是什么，暂且先不用管，因为名字里已经说了，传的是亲和度；第二件事，怎么传，为了解决这个问题，就必须造一条传递亲和力的通道。最直接的想法就是连接样本中所有的点，这样点与点之间就有了关联。 从而得到一个图。下面新建
转载
2023-12-21 02:33:08
79阅读
scikit-learn简称sklearn，支持包括分类，回归，降维和聚类四大机器学习算法。还包括了特征提取，数据处理和模型评估者三大模块。一，sklearn官方文档的内容和结构1.1 sklearn官方文档的内容 库的算法主要有四类：监督学习的：分类，回归，无监督学习的：聚类，降维。常用的回归：线性、决策树、SVM、KNN 集成回归：随机森林、Adaboost、GradientBoosting、
转载
2023-12-27 14:17:34
133阅读
引言最近在读西瓜书，查阅了多方资料，恶补了数值代数、统计概率和线代，总算是勉强看懂了西瓜书中的公式推导。但是知道了公式以后还是要学会应用的，几经摸索发现python下的sklearn包把机器学习中经典的算法都封装好了，因此，打算写几篇博客记录一下sklearn包下的常用学习算法的使用，防止自己以后忘了，嘿嘿。1.聚类西瓜书中197页对“聚类”做了详细的解释，以下为摘录：在无监督学习中，训练样本的标
转载
2023-08-24 13:39:28
221阅读
文章目录1 概述1.1 无监督学习与聚类算法1.2 sklearn中的聚类算法2 KMeans2.1 KMeans是如何工作的2.2 簇内误差平方和2.3 KMeans算法的时间复杂度3 sklearn.cluster.KMeans3.1 重要参数n_clusters3.1.1 聚类算法的模型评估指标3.1.1.1 当真实标签已知的时候3.1.1.2 当真实标签未知的时候：轮廓系数3.1.1.3
转载
2024-02-29 11:10:54
113阅读
背景：我们需要对多标签的问题，标签进行谱聚类，然后看相应的聚类结果。官方API描述：https://scikit-learn.org/stable/modules/generated/sklearn.cluster.SpectralClustering.html#sklearn.cluster.SpectralClustering目录一、安装sklearn1.1 scikit-learn概览1.2
在工程应用中，用python手写代码来从头实现一个算法的可能性非常低，这样不仅耗时耗力，还不一定能够写出构架清晰，稳定性强的模型。更多情况下，是分析采集到的数据，根据数据特征选择适合的算法，在工具包中调用算法，调整算法的参数，获取需要的信息，从而实现算法效率和效果之间的平衡。而sklearn，正是这样一个可以帮助我们高效实现算法应用的工具包。Scikit learn 也简称 sklearn,
转载
2024-08-13 08:52:54
25阅读
""" 聚类是在没有给定划分类别的情况下，根据数据相似度进行样本分组的一种方法，聚类模型可以将 无标记的数据聚类为多个簇，分别视为一类，是一种非监督的学习算法。在商业上，聚类可以帮助 市场分析人员从消费者库中区分出不同的消费群体，并概括出每一类消费者的消费模式或消费习惯。 同时，聚类也可以作为其它机器学习算法的一个预处理步骤，如异常值识别、连续型特征离散化等聚类的输入是一组未被标记的样本，聚类根
转载
2024-05-12 18:15:56
117阅读
1 实验环境部署1.1 主机环境 处理器 Intel(R) Core(TM)2 Duo CPU 2.80GHz内存 8.00GB操作系统 WIN7SP1 64bit1.2虚拟机环境VMware® Workstation 10.0.2 build-1744117处
转载
2023-12-15 15:38:31
148阅读
聚类算法相关：聚类算法（一）——DBSCAN聚类算法（二）—— 优缺点对比聚类算法（三）—— 评测方法1聚类算法（三）—— 评测方法2聚类算法（三）—— 评测方法3(代码）聚类算法（四）—— 基于词语相似度的聚类算法（含代码）聚类算法（五）——层次聚类 linkage （含代码）聚类算法（六）——谱聚类 （含代码） 写了那么多聚类文章，没写Kmeans感觉不太厚道， 
转载
2024-01-17 10:06:41
96阅读
话题模型topic model是自然语言处理领域里面热门的一个技术，可以用来做很多的事情，例如相似度比较，关键词提取，分类，还有就是具体产品业务上的事了，总之可以干很多的事情。今天不会讲LDA模型的很多细节和原理，没有满屏的数学公式，只讲一讲LDA模型是个什么东西，简单的原理，用什么技术实现的LDA，以及LDA能做什么开发和LDA在实现中的一些问题。什么是主题对于一篇新闻报道，看到里面讲了昨天NB
转载
2024-08-28 20:22:54
56阅读
python 文本聚类分析案例说明摘要1、结巴分词2、去除停用词3、生成tfidf矩阵4、K-means聚类5、获取主题词 / 主题词团 说明实验要求：对若干条文本进行聚类分析，最终得到几个主题词团。实验思路：将数据进行预处理之后，先进行结巴分词、去除停用词，然后把文档生成tfidf矩阵，再通过K-means聚类，最后得到几个类的主题词。实验说明：如何用爬虫获取数据可以参考其他博客，这里我们直接
转载
2023-08-23 15:14:23
313阅读
# 使用 PySpark 与 Scikit-Learn 进行聚类分析
聚类是数据挖掘和机器学习中的一种无监督学习技术，常用于将相似的数据点归为一组。在海量数据中，如何快速有效地进行聚类分析是许多数据科学家面临的一个重要问题。PySpark 和 Scikit-Learn 是两个流行的工具，它们能够完美结合，实现高效的聚类分析。本文将介绍如何在这些工具中实施聚类，并提供具体的代码示例。
## 1.
# 使用Python和Scikit-learn实现均值漂移聚类
均值漂移聚类是一种基于密度的聚类方法，它可以自动确定聚类的数量。Scikit-learn库提供了简单易用的工具来实现均值漂移聚类。对于刚入行的开发者，以下是实现该算法的完整流程和代码示例。
## 流程步骤
| 步骤 | 描述 |
|------|----------------
作者 | 泳鱼一、聚类简介Clustering (聚类)是常见的unsupervised learning (无监督学习)方法，简单地说就是把相似的数据样本分到一组（簇），聚类的过程，我们并不清楚某一类是什么（通常无标签信息），需要实现的目标只是把相似的样本聚到一起，即只是利用样本数据本身的分布规律。聚类算法可以大致分为传统聚类算法以及深度聚类算法：传统聚类算法主要是根据原特征+基于划分/密度/层
转载
2024-04-22 20:10:30
34阅读
LeetCode高频题互联网大厂笔试题：手撕k-means聚类算法：python代码实现 提示：本题是系列LeetCode的150道高频题，你未来遇到的互联网大厂的笔试和面试考题，基本都是从这上面改编而来的题目互联网大厂们在公司养了一大批ACM竞赛的大佬们，吃完饭就是设计考题，然后去考应聘人员，你要做的就是学基础树结构与算法，然后打通任督二脉，以应对波云诡谲的大厂笔试面试题！你要是不扎实学习数据结
'''
凝聚层次算法：首先假定每个样本都是一个独立的聚类，如果统计出来的聚类数大于期望的聚类数，则从每个样本出发寻找离自己最近的另一个样本，
与之聚集，形成更大的聚类，同时令总聚类数减少，不断重复以上过程，直到统计出来的聚类数达到期望值为止。
凝聚层次算法的特点：
1.聚类数k必须事先已知。借助某些评
转载
2023-05-24 17:30:16
209阅读
# Python文本聚类实现
## 概述
在本文中，我将为你介绍如何使用Python实现文本聚类。文本聚类是将相似的文本数据分组到一起的一种技术。通过文本聚类，我们可以更好地理解文本数据的结构和关系，从而为后续的文本分析和信息提取提供基础。
## 流程
下面是实现文本聚类的一般流程，我们将在接下来的步骤中详细介绍每一步。
| 步骤 | 描述 |
| --- | --- |
| 1. 数据预处
原创
2023-07-24 00:26:01
500阅读
# 文本聚类 Python 实现教程
## 整体流程
首先，我们需要明确文本聚类的整体流程，具体如下表：
| 步骤 | 描述 |
|------|---------------|
| 1 | 数据预处理 |
| 2 | 特征提取 |
| 3 | 文本聚类 |
| 4 | 结果可视化 |
## 代码示例
### 数据
原创
2024-04-23 07:03:02
39阅读
Python 文本相似度和聚类文本数据是非结构化的和高噪声的。在执行文本分类时，拥有标记合理的训练数据和有监督学习大有裨益。但是，文档聚类是一个无监督的学习过程，将尝试通过让机器学习各种各样的文本文档及其特征、相似度以及它们之间的差异，来讲文本 文档分割和分类为单独的类别。这使得文档聚类更具挑战性，也更有意思。考虑一个设计各种不同的概念和想法的文档语料库。人类以这样的方式将它们联系在一起，即使用过
转载
2023-07-24 20:17:28
72阅读
