上周实习工作中用到了聚类分析的相关内容，故又对聚类分析算法重温一遍，中间发现我前面所写博客有两个比较关键的步骤是缺失的：利用肘部法则估计参数数目利用轮廓系数评估聚类算法的优劣Python有现成的轮子，只需更改传入的数据集即可 由于我所有的数据、代码及结果均在公司所配电脑上，所以以下仅附上Python的实现。本文参考博客：成本(目标)函数其实在博文中已经提到过，我们要寻找的聚类是使得类内离差平方和
Ｋ线图分析法简介
Ｋ线图这种图表源处于日本，被当时日本米市的商人用来记录米市的行情与价格波动，后因其细腻独到的标画方式而被引入到股市及期货市场。目前，这种图表分析法在我国以至整个东南亚地区均尤为流行。由于用这种方法绘制出来的图表形状颇似一根根蜡烛，加上这些蜡烛有黑白之分，因而也叫阴阳线图表。通过Ｋ线图，我们能够把每日或某一周期的市况表现完全记录下来， 股价经过一段时间的盘档后，在图上即形成
转载
2024-07-30 13:40:12
19阅读
ROC曲线与AUCROC曲线下方的面积是AUC，AUC表示对于随机选择的正类别样本确实为正类别，以及随机选择的负类别样本为正类别，分类器更确信前者的概率。 分类问题的模型评估理论参考： Python机器学习库sklearn分类问题的模型评估API参考： import numpy as np
import matplotlib.pyplot as plt
from itertools impo
转载
2024-04-16 20:50:51
398阅读
在数据科学领域，评估模型性能的关键指标之一是KS（Kolmogorov-Smirnov）统计量和AUC（Area Under Curve）值。为了直观地展示这些指标，我将详细记录如何使用Python绘制KS和AUC图。接下来，我将逐步说明这一过程，涵盖背景、数据准备、实现步骤和性能优化等内容。
## 协议背景
在进行二分类模型评估时，我们常常需要用到KS和AUC这两个指标。KS统计量是两个概率
python实现KS曲线，相关使用方法请参考上篇博客-R语言实现KS曲线代码如下： ####################### PlotKS ##########################
def PlotKS(preds, labels, n, asc):
# preds is score: asc=1
# preds is prob: asc=0
转载
2023-06-15 19:55:33
293阅读
并发上传基于py自带模块concurrent.futures import ThreadPoolExecutor#!/usr/bin/env python3
# -*- coding:utf-8 -*-
# @Time: 2020/11/22 10:13
# @Author:zhangmingda
# @File: ks3_multi_thread_for_concurrent.future
转载
2023-12-28 11:31:51
42阅读
Kolmogorov-Smirnov是比较一个频率分布f(x)与理论分布g(x)或者两个观测值分布的检验方法。其原假设H0:两个数据分布一致或者数据符合理论分布。D=max| f(x)- g(x)|，当实际观测值D>D(n,α)则拒绝H0，否则则接受H0假设。
KS检验与t-检验之类的其他方法不同是KS检验不需要知道数据的分布情况，可以算是一种非参数检验方法。当然这样方便的代价就是当检验的数
转载
2023-09-14 14:51:25
193阅读
已经有10年的历史了，在国外十分盛行。Google搜索引擎的脚本，现在流行的BT(BiteTorrnet)，还有著名的应用服务器Zope都是用Python编写的。但在国内的使用还不是很多。她十分有自己的特色。语法简洁，但功能强大，可以跨平台使用，在Linux、Windows和Mac上都有很好支持。她的设计很出色。这里有两个Python的使用例子，都是对磁盘文件的操作，以次来看看Python的特色。
目录混淆矩阵KS曲线与ROC曲线KS曲线ROC曲线KS曲线与ROC曲线之间的关系洛伦兹曲线与Gini系数Lift曲线Gain曲线PSIPython代码参考混淆矩阵KS曲线与ROC曲线KS曲线KS检验：比较频率分布\(f(x)\)与理论分布\(g(x)\)或两个观测值分布的是否一致检验方法，原假设两个数据分布一致或数据符合理论分布，统计量\(D=max|f(x)-g(x)|\)KS值计算步骤：对变量
转载
2023-10-20 23:30:23
366阅读
KS检验及其在机器学习中的应用什么是KS检验Kolmogorov–Smirnov 检验，简称KS检验，是统计学中的一种非参数假设检验，用来检测单样本是否服从某一分布，或者两样本是否服从相同分布。在单样本的情况下，我们想检验这个样本是否服从某一分布函数
，记
是该样本的经验分布函数。我们构造KS统计量：
如下图，经验分布函数与目标分布的累积分布函数的最大差值就是我们要求
转载
2023-11-13 13:32:30
349阅读
1. 第八章 模块和包本章的主题就是模块和包。较大的Python程序基本上都使用模块和包进行组织，Python发行版也包括方方面面许许多多的模块...1.1. 模块你可以使用import语句将一个源代码文件作为模块导入.例如:# file : spam.pya = 37
转载
2023-11-13 17:06:14
92阅读
转载
2024-04-24 14:59:56
131阅读
在现代软件开发中，Python作为一种广泛应用的编程语言，拥有成熟的开发生态和丰富的库支持。然而，随着应用规模的扩大和用户需求的不断变化，Python的性能优化和故障检测变得至关重要。特别是在机器学习和数据分析领域，如何进行ks检测（Kolmogorov-Smirnov 检验）成为了数据理解的重要一环。
## 背景定位
在数据科学的业务场景中，ks检验通常用于比较两个样本的分布差异，以此来验证
# KS指标与Python的应用
KS指标（Kolmogorov-Smirnov Test）是一种用来比较两个分布之间差异的非参数检验方法。它在统计学中广泛应用，特别是在机器学习和数据分析中，用于评估模型的表现和数据分布的相似性。
## KS指标的基本原理
KS指标的基本思想是通过计算两个经验分布函数之间的最大差异，进而判断它们是否来自相同的分布。假设我们有两个样本数据集，分别为`X`和`Y
Kolmogorov-Smirnov是比较一个频率分布f(x)与理论分布g(x)或者两个观测值分布的检验方法。其原假设H0:两个数据分布一致或者数据符合理论分布。D=max| f(x)- g(x)|，当实际观测值D>D(n,α)则拒绝H0，否则则接受H0假设。KS检验与t-检验之类的其他方法不同是KS检验不需要知道数据的分布情况，可以算是一种非参数检验方法
转载
2023-10-18 22:06:34
327阅读
Python中可以使用ks-test（Kolmogorov-Smirnov检验）来计算两个样本之间的距离。下面是一个教程，用于指导刚入行的开发者实现“python ks 计算”。
# Python KS 计算教程
## 步骤概览
下面是一份流程表格，展示了实现“python ks 计算”的步骤：
| 步骤 | 描述 |
|---|---|
| 1 | 导入所需的库 |
| 2 | 载入样本
原创
2024-01-06 06:36:07
233阅读
# 使用Python计算Kolmogorov-Smirnov检验
Kolmogorov-Smirnov（KS）检验是一种非参数统计检验，用于比较两个样本的分布，或者一个样本分布与一个已知分布的差异。它的主要目的是判断两个样本是否来自相同的分布。本文将介绍如何在Python中进行KS检验，并提供相应的代码示例。
## KS检验的基本原理
KS检验的核心思想是计算样本的经验分布函数（ECDF），
原创
2024-09-13 05:41:07
89阅读
# KS检验：理解与实现
在数据分析的世界中，我们常常需要判断两个样本是否来自相同的分布。Kolmogorov-Smirnov检验（简称KS检验）便是一种常用且有效的非参数统计方法。本文将为您介绍KS检验的基本概念、其在Python中的实现，并结合示例来帮助理解。
## 什么是KS检验？
KS检验主要用于比较两个样本的分布，能够帮助我们判断这些样本是否来自同一分布。与其他检验方法不同，KS检
2022年数学建模美赛B题数据爬取背景2022年的美赛刚刚落下帷幕，该题的一个主要难点在于数据的获取。很多人无法找到有效的数据，或者是无法获取数据。比如找到了如下米德湖的水文数据，但是发现并没有提供直接下载数据的功能Lake Mead Water Database (water-data.com)这种情况就需要实现一个简单爬虫去获取数据准备Python可以实现多种爬虫方法，如selenium,关于
## 计算KS值的Python实现
### 概述
在金融领域的风控模型评估中，KS值常常被用来评估模型的区分度。KS值是一种常见的评估指标，用于衡量模型在正负样本之间的区分度。本文将介绍如何使用Python计算KS值。
### 流程
下面是计算KS值的整体流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 准备数据：包括预测概率和真实标签 |
| 2 | 根据预测概率和真
原创
2023-07-23 08:03:13
1245阅读
