作者：JunLiang0x00 前言数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。那特征工程是什么？特征工程是利用数据领域的相关知识来创建能够使机器学习算法达到最佳性能的特征的过程。特征工程又包含了Feature Selection（特征选择）、Feature Extracti
转载
2024-07-31 18:19:19
52阅读
# 使用Python进行不平衡样本的卡方检验
在数据分析中，不平衡样本意味着某一类别的数据量远大于其他类别。这在分类问题中比较常见，比如在疾病预测中，阳性样本通常少于阴性样本。进行卡方检验是衡量观察到的频率与期望频率之间差异的一种统计方法。本文将指导你如何使用Python进行不平衡样本的卡方检验。
## 流程概述
在进行卡方检验之前，我们需要了解基本的流程。以下是我们将要执行的步骤：
``
原创
2024-08-05 05:01:56
144阅读
方差分析与两样本T检验。1。首先可以看到方差分析（ANOVA）包含两样本T检验，把两样本T检验作为自己的特例。因为ANOVA可以比较多个总体的均值，当然包含两个总体作为特例。实际上，T的平方就是F统计量（m个自由度的T分布之平方恰为自由度为（1，m）的F 分布。因此，这时候二者检验效果完全相同。T 检验和 ANOVA 检验对于所要求的条件也相同：1）各个组的
转载
2024-04-13 11:59:07
35阅读
上文可知：显著性检验的核心是，基于正态分布下，计算随机误差概率 P 值：先计算两组数据的均值差异程度→进而计算概率 P 值判断随机误差概率 P 值：设置P值界限（即规定显著性水平 α）→进而比较 P 值与 α，判断差异的显著性 P值<α：差异显著，认为是变量导致的本质差异 P值≥α：差异不显著，无法判断差异是什么原因（既有可能随机产生，也有可能变量导致本质差异）了解显著性检验基本原理后，开始
# Python中两个骰子卡方检验的实现
在数据分析中，卡方检验是一种常见的统计方法，主要用于检验两个分类变量之间的独立性。本文将教你如何在 Python 中实现对两个骰子投掷结果的卡方检验。在开始之前，我们首先概述一下实现的整个流程。
## 整体流程
以下是实现功能的步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 导入所需的库 |
| 2 | 生成
作者：王江源一、概述 Mann-Whitney U 检验是用得最广泛的两独立样本秩和检验方法。简单的说，该检验是与独立样本t检验相对应的方法，当正态分布、方差齐性等不能达到t检验的要求时，可以使用该检验。其假设基础是：若两个样本有差异，则他们的中心位置将不同。二、问题 为了研究某项犯罪的季节性差异，警察记录
转载
2023-11-14 17:15:34
96阅读
一：背景这几天重新复习了一下以前经典的假设检验方法。包括之前使用excel来做一些简单的统计分析。假设检验(hypothesis test)亦称显著性检验(significant test)，是统计推断的另一重要内容，其目的是比较总体参数之间有无差别。假设检验的实质是判断观察到的“差别”是由抽样误差引起还是总体上的不同，目的是评价两种不同处理引起效应不同的证据有多强，这种证据的强度用概率P来度量和
转载
2023-11-15 14:42:14
483阅读
在统计分析中，“Python两个样本之间的显著性检验”是一种用于比较两个独立样本均值差异的常用方法。通常，使用t检验来判断样本均值的差异是否显著。本文将详细介绍如何在Python中进行两个样本间的显著性检验，涵盖背景定位、参数解析、调试步骤、性能调优、排错指南及生态扩展的内容。
## 背景定位
在市场研究或临床试验中，经常需要统计学地比较两个样本的均值。例如，我们想知道一种新药是否对病人的恢复
简介两独立样本检验可以判断两个独立的样本是否来自相同分布的总体。这种检验过程是通过分析两个独立样本的均值、中位数、离散趋势、偏度等描述性统计量之间的差异来实现的检验类型Mann-Whitney U检验法 检验两个样本的总体在某些位置上是否相同，其基于对平均秩的分析实现推断。 其检验思路是，首先对两个样本合并并按升序排列得出每个数据的秩，然后对这两个样本求平均秩并计算第一组样本的平均秩优于第二组
转载
2023-11-03 12:23:54
437阅读
1写在前面上次介绍了两组发生率的样本量计算方法，通过pwr包进行计算非常简单，可以有效地减少我们的工作量。? 有时候我们想比较两组之间的均值，如何计算样本量又一次成了老大难问题。? 本期我们还是基于pwr包，试一下通过两组的均值进行样本量的估算。?2用到的包rm(list = ls())
library(pwr)
library(tidyverse)3研究假设还是假设我们正在进行一项RCT研究，旨
转载
2024-06-13 18:50:02
103阅读
# 两个独立连续型样本资料的统计检验：秩和检验
在统计学中，秩和检验（也称为Mann-Whitney U检验）是一种用于比较两个独立样本的非参数检验方法，特别适用于当样本不满足正态分布假设时。本文将介绍秩和检验的基本概念，并通过R语言的代码示例演示具体的实现步骤。
## 什么是秩和检验？
秩和检验是一种非参数统计检验方法，主要用于比较两组独立样本的分布是否存在显著差异。与传统的t检验不同，秩
原创
2024-10-18 09:01:31
249阅读
在机器学习中，特征选择主要有两个目的：1. 减少特征数量，提高训练速度2. 减少噪声特征从而提高模型在测试集上的准确率。一些噪声特征会导致模型出现错误的泛化，容易产生overfitting。常用的特征选择算法有很多，这里着重介绍其中两个：卡方检验和互信息 一、卡方检验1. 卡方分布在说卡方检验之前，首先介绍卡方分布。设 是来自总体 N(0,1) 的独立样本，那么统计量 &nb
转载
2024-08-19 19:02:46
85阅读
# 如何用R语言画直方图
作为一名经验丰富的开发者，我很乐意教你如何使用R语言画直方图。直方图是一种常用的数据可视化方式，可以帮助我们了解数据的分布情况。下面是整个过程的步骤和所需代码的详细说明。
## 步骤概述
首先，让我们来看一下整个流程的概述。
```mermaid
gantt
title 画直方图的步骤
section 数据准备
准备数据 :a1, 2
原创
2024-01-02 09:32:44
74阅读
One Sample t-test单样本t检验用于检测一个总体的均值\(\mu\)是否等于某个特定值。通常该总体均值\(\mu\)，未知不易测量，我们通过抽样得到样本均数\(\bar{X}\)来代表总体均数\(\mu\)。通常抽样存在一定误差，不太可能等于总体均数\(\mu\)，所以我们需要关注样本均数\(\bar{X}\)与特定值之间的差异是否存在统计学意义。案例若我们想知道某地乌龟的平均重量是
转载
2023-10-15 22:57:39
100阅读
一、简单介绍A/B测试A/B测试为同一个目标制定两个版本，一部分用户使用A版本，另一部分用户使用B版本，记录用户使用数据，比较各个版本对于改进目标的转化效果，选择更好的版本。二、数据集介绍有两种键盘的布局A版和B版，给随机抽取的用户A组和B组使用，这是独立的双样本。两组人数均为25人，记录各组实验者在规定时间内记录打错字的数量。三、描述统计分析#A/B测试
import numpy as np
i
转载
2023-10-16 17:06:00
206阅读
1. 项目背景特鲁普效应是著名的心理学现象，展示了人们对事物的认知过程已是一个自动化的历程。当有一个新的刺激出现时，如果它的特征和原先的刺激相似或符合一致，便会加速人们的认知；反之，若新的刺激特征与原先的刺激不相同，则会干扰人们的认知，使人们的所需的反映数据变长。 斯特鲁普效应实验例子：读出书写上述词2组所用的颜色的单词用时一样吗？
简单来说，斯特鲁普效应是当有与原有认知不同
转载
2023-12-06 19:12:22
48阅读
标题：Python实现检验两个分布是否存在差异的方法
摘要：本文将介绍如何使用Python检验两个分布是否存在差异的方法。我们将通过以下步骤来实现这个目标：加载数据、数据预处理、选择合适的假设检验方法、计算假设检验统计量、进行假设检验、解读结果。
# 1. 数据加载
首先，我们需要加载两个分布的数据。可以使用pandas库中的read_csv()函数来读取数据，并将其存储为两个DataFram
原创
2024-01-27 09:05:57
163阅读
# Python两列数据卡方检验
## 引言
在数据分析领域，卡方检验常用于检验两个分类变量之间是否存在关联。在Python中，我们可以使用`scipy`库的`chi2_contingency`函数来实现卡方检验。本文将介绍如何使用Python进行两列数据的卡方检验。
## 流程概述
下面是实现Python两列数据卡方检验的步骤概述：
| 步骤 | 描述 |
| --- | --- |
原创
2023-08-29 03:29:02
546阅读
本文通过一个实际案例介绍假设检验的一种类型：双独立样本检验。一、案例测试背景：两款布局不一样的手机键盘(A版本，B版本)，想知道哪种键盘布局的用户体验更好。衡量目标：用户打错字的数量。数据采集：随机抽取实验者并将其分成2组，每组25人，A组使用键盘布局A，B组使用键盘布局B。让他们在30秒内打出标准的20个单词文字消息，然后记录打错字的数量。数据集说明：数据记录在CSV文件中，A列是使
转载
2023-12-18 14:11:47
195阅读
T检验，方差分析，非参数检验，卡方检验一.T检验1.T检验分类2.T检验的使用前提3.T检验的适用类型二.非参数检验1.非参数检验介绍2.非参数检验适用类型三.卡方检验1.卡方检验介绍2.卡方检验的分类3.卡方检验的的适用类型四.单因素方差分析1.单因素方差分析介绍2.单因素方差分析的使用前提3.单因素方差分析的适用类型 一.T检验1.T检验分类T检验是通过比较不同数据的均值，研究两组数据之间是
转载
2024-08-02 19:57:06
217阅读
