聚类系列：--------------------------------不管是GMM，还是k-means，都面临一个问题，就是k的个数如何选取？比如在bag-of-words模型中，用k-means训练码书，那么应该选取多少个码字呢？为了不在这个参数的选取上花费太多时间，可以考虑层次聚类。假设有N个待聚类的样本，对于层次聚类来说，基本步骤就是：1、(初始化)把每个样本归为一类，计算每两个类之间的
转载
2023-09-13 13:21:00
70阅读
抽样方法主要包括：随机抽样、分层抽样、整体抽样、系统抽样。(1) 随机抽样就是按等概率原则直接从含有N个元素的总体中抽取n个元素组成样本（N>n）。这种方法简便易学，常用的办法就是抽签了。不过，这适合总体单位较少时使用。(2) 分层抽样是指在抽样时，将总体分成互不相交的层，然后按照一定的比例，从各层独立地抽取一定数量的个体，将各层取出的个体合在一起作为样本的方法。(3)
转载
2023-09-02 13:31:57
106阅读
今天由优秀的萝卜同学给大家分享一篇AB测试干货~本文会将原理知识穿插于代码段中，相关代码和数据集空降文末可以获取。前言在电商网站 AB 测试非常常见，是将统计学与程序代码结合的经典案例之一。尽管如此，里面还是有许多值得学习和注意的地方。A/B 测试用于测试网页的修改效果(浏览量，注册率等)，测试需进行一场实验，实验中控制组为网页旧版本，实验组为网页新版本，实验还需选出一个指标 来衡量每组用户的参与
转载
2023-12-14 02:50:49
92阅读
一、基本了解（一）分层抽样与分层随机抽样1、分层抽样在抽样前，将总体划分成L个互不重复的子总体（层），每个子总体独立地进行抽样。2、分层随机抽样如果每层都是按照简单随机抽样进行抽取，则是分层随机抽样。大多数情况下都是分层随机抽样。3、分层抽样的优点①因为分层抽样估计量的方差只与层内方差有关，与层间方差无关，因此分层抽样估计精度高，抽样效率高；②不仅能对总体指标进行推算，还能对各层指标进行推算；③层
分层随机抽样一、数据描述二、分层随机抽样1. 抽样要求：以“region”为分层变量，每层简单随机抽取75个样本单元。（1）定义分层抽样涉及的一些变量。（2）调用分层抽样函数“strata”,其中第一个参数为总体的数据集（此处按分层变量进行了排序处理），第二个变量为分层变量，第三个参数为各层的样本单元数量，第四个参数为各层的抽样方法（可选择的方法有“srswor”, “srswr”, “pois
转载
2023-10-08 11:01:09
193阅读
Stratified sampling1. 基本概念统计学理论中，分层抽样针对的是对一个总体（population）进行抽样的方法。尤其适用于当总体内部，子总体（subpopulations）间差异较大时。每一个 subpopulation，也称为层（stratum）。LL 表示层的数量，其中 分别指的是层 h 的样本数量，采样的数量，采样得到的样本均值和标
转载
2023-06-03 15:17:30
173阅读
文章目录抽样方法集中趋势的度量补充：左偏和右偏分布离散程度的度量补充：数据标准化；经验法则分布形状的度量 复习统计学的时候记了一些笔记。抽样方法简单随机抽样(Simple Random Sampling)分层抽样(Stratified Sampling)：把总体划分为相互独立的不同层，在不同个体里分别进行随机抽样。可以提高样本的代表性，因为确保从不同特征的层里都抽取了样本。比如以性别，地域，年段
转载
2024-01-13 03:59:29
204阅读
# Python 分层抽样实现
## 1. 简介
在数据挖掘和机器学习领域，分层抽样是一种常用的抽样方法，用于从一个大的数据集中获取具有代表性的样本数据。分层抽样可以确保样本数据集能够充分代表原始数据集中的各个子集。
本文将教会你如何使用 Python 实现分层抽样。首先，我们将介绍分层抽样的流程，并使用表格展示每个步骤。然后，我们将详细说明每个步骤需要进行的操作，并提供相应的代码示例。
原创
2023-09-22 02:03:28
275阅读
### 分层抽样在 Python 中的应用
在统计学中，分层抽样是一种常见的抽样方法，它通过将总体按照某种特定的特征分成若干层，然后从每一层中随机抽取样本，以保证样本的代表性和准确性。分层抽样可以有效降低抽样误差，提高研究结论的可靠性。
在 Python 中，我们可以使用一些库来进行分层抽样。本文将介绍如何使用 Python 中的 pandas 和 random 库进行分层抽样。
### 分
原创
2024-03-21 07:00:21
135阅读
概念总体：研究对象的全体个体：组成总体的每一个基本元素样本：总体中抽若干个体所组成的集合样本容量：样本中所含个体的数量抽样方法简单随机抽样：简单随机抽样也称为单纯随机抽样、纯随机抽样、SRS抽样 ，是指从总体N个单位中任意抽取n个单位作为样本，使每个可能的样本被抽中的概率相等的一种抽样方式。分层抽样：分层抽样法也叫类型抽样法。它是从一个可以分成不同子总体（或称为层）的总体中，按规定的比例从不同层中
转载
2024-08-22 11:09:27
52阅读
统计推断 从数据得到关于现实世界的结论的过程就叫做 统计推断(statistical inference) 就是根据你拥有的信息来
原创
2023-11-29 10:33:20
256阅读
分层随机分割交叉验证器可以将数据分割为训练集和测试集，不过它只提供训练集/测试集数据在原始数据集中的位置索引。由该类生成的交叉验证对象融合了StratifiedKFold和ShuffleSplit两个函数的功能，该对象返回分层随机折，对像通过对每一类保留一定比例的样本生成折。注意：同随机分割一样，分层随机分割不保证所有折都是不同的，即使对于大数据集也不例外。原型为：class sklearn.mo
转载
2024-02-12 13:41:38
83阅读
文章目录一、基本统计分析二、分组分析三、分布分析四、交叉分析综合练习 代码环境基于Jupyter Notebook 一、基本统计分析参数一览： size：注意不需要括号 count()：计数 sum()：求和 mean()：求均值 var()：求方差 std()：求标准差 max()：求最大值 min()：求最小值 median()：中位数 mode()：众数 decribe( )：默认会自动
转载
2023-06-20 21:43:37
199阅读
模块为我们提供了非常多的描述性统计分析的指标函数，如总和、均值、最小值、最大值等，我们来具体看看这些函数：1、随机生成三组数据import numpy as np
import pandas as pd
np.random.seed(1234)
d1 = pd.Series(2*np.random.normal(size = 100)+3)
d2 = np.random.f(2,4,size =
转载
2023-08-24 16:54:13
127阅读
目录一、前言1.1 关于描述性统计分析1.2 本篇目的1.3 提示二、程序内容的编写2.1 导入数据与前期处理 2.2 描述性统计分析所要计算的数据2.3 数据可视化2.3.1 概述2.3.2 思路2.3.3 编写代码 2.4 补充内容三、完整代码与总结一、前言1.1 关于描述性统计分析概括地来说，描述性统计分析就是在收集到的数据的基础上，运用制表和分类，图形以及计算概括性数据
转载
2023-08-10 19:59:32
149阅读
描述性统计偏度和峰度累计值假设检验和区间估计示例1假设检验置信区间示例2假设检验置信区间描述性统计# 导入相关的包
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt均值，标准差，分位数，最大，最小值df.count() count统计非Na值的数量df.min() min统计最小值
转载
2023-07-31 23:10:51
187阅读
一、在SAS中进行随机抽样：
1、 在实际数据处理中常常需要进行样本抽样，在实践中主要有两种情况：
（1）简单无重复抽样
（2）分层抽样 a.等比例分层抽样 b. 不等比例分层抽样；
转载
2023-05-30 07:21:47
833阅读
（作者：陈玓玏）一、为什么要进行抽样？在实际的数据挖掘应用中，我们往往会从各方收集很多的数据，这些数据每分每秒都在增加，但我们如果用所有的这些数据并无益处。一是数据量过大，处理起来难度会大非常多，要求你的基础计算平台性能很好，甚至需要用到并行计算，有时是没有必要的；二是数据都是基于人及人的行为所产生的影响的，而人是会发生变化的，所以久远的数据我们可能用不到；三是建模的过程并不一定都是在内部进行，可
转载
2023-11-28 15:02:14
128阅读
# Python随机分层抽样
在数据分析和机器学习中，我们经常需要从一个数据集中抽取样本进行分析和建模。而在实际应用中，我们通常需要将数据集按照一定的规则进行分层抽样，以保证抽样结果的代表性。本文将介绍如何使用Python进行随机分层抽样，并提供相应的代码示例。
## 什么是分层抽样？
分层抽样是一种抽样方法，它将总体划分为若干个不相交的层，然后从每个层中随机抽取样本。分层抽样的目的是保证样
原创
2023-08-23 12:45:26
242阅读
# Python分层抽样sklearn实现流程
## 1. 概述
本文将介绍如何使用Python和sklearn库来实现分层抽样（stratified sampling）的方法。分层抽样是一种在样本中保持各个类别或分层的比例的抽样方法，可以用于解决样本不平衡的问题。
## 2. 分层抽样的步骤
以下是实现分层抽样的步骤概述，我们将在后续的章节中详细介绍每个步骤需要做什么。
| 步骤 | 描
原创
2023-08-25 17:20:29
1101阅读
