统计学第七周一.知识回顾上周已经学习过正态分布/卡方分布/T分布等知识，但是如何选择那？?正态分布?卡方分布?T分布二.实践1.场景：泰坦尼克号数据，主要是age年龄，Fare价格即船票价格，Embark登船的港口，需要验证数据是否服从正态分布，T分布，卡方分布？具体数据如下：IDAgeFareEmbarked1227.25S23871.2833C3267.925S43553.1S5358.05S
转载
2024-08-27 14:40:08
108阅读
<此部分理论内容结合统计学教材学习>列联分析1. 收集样本数据产生二维或多维交叉列联表； 2. 对两个分类变量的相关性进行检验（假设检验）pandas.crosstab(index,columns,margins,normalize) - margins默认为False不带合计数据 - normalize=True频率列联表 salary_reform.
转载
2023-10-10 22:40:08
320阅读
卡方检验是一种用途很广的计数资料的假设检验方法。它属于非参数检验的范畴，主要是比较两个及两个以上样本率( 构成比）以及两个分类变量的关联性分析。其根本思想就是在于比较理论频数和实际频数的吻合程度或拟合优度问题。（更多参考：卡方检验、卡方分布） 不讲过多理论，主要使用 python 实现卡方验证。之前对于元素/特征/属性 异常值的选择情况，可以使用直方图、箱型图、Z分数法等筛选。如&nbs
# 均方 Python 科普文章
均方（Mean Squared Error，MSE）是统计学和机器学习中一个非常重要的指标，常用来评估模型的预测性能。它的意义在于通过计算预测值与实际值之间的差异来衡量模型的准确性。本文将对均方进行详细解析，并展示如何在 Python 中使用相关工具进行计算，同时通过一些可视化工具帮助理解。
## 一、均方的定义
均方指的是预测值与真实值之间的差异的平方的平
原创
2024-10-23 06:35:46
24阅读
## Python卡方实现流程
### 1. 数据准备
首先需要准备好用来计算卡方的数据。卡方检验是用来检验两个分类变量之间的关联性的方法，因此需要两个分类变量的数据。
### 2. 数据整理
对于卡方检验，需要将数据整理成一个频数表。频数表是一个二维表格，行表示变量A的各个类别，列表示变量B的各个类别，每个单元格中记录了变量A和变量B同时出现的频数。
### 3. 计算期望频数
计算期望频
原创
2023-12-29 09:50:24
41阅读
# Python输出一个数及其平方
Python是一种高效、简洁的编程语言，广泛应用于数据分析、人工智能、网页开发等多个领域。在这篇文章中，我们将探讨如何使用Python输出一个数及其平方的值；并通过示例来加深理解。同时，我们还会展示代码执行的时间进程甘特图和状态图，以形象化展示程序的执行流程。
## Python代码示例
首先，我们来编写一个简单的Python程序，该程序能够接收一个数字，
5、使用lambda函数5.1、Python支持一种有趣的语法，它允许你快速订阅单行的最小函数。这些叫做lambda的函数，是从Lisp借用来的，可以在任何需要函数的地方。5.2、真实世界的lambda函数：processFunc = collapse and (lambda s: " ".join(s.split())) or (lambda s: s)这句话的意思是：processFunc 现
什么是卡方检验卡方检验是一种用途很广的基于卡方分布的假设检验方法，其根本思想就是在于比较理论频数和实际频数的吻合程度或拟合优度问题。其主要应用于分类变量，根据样本数据推断总体分布与期望分布是否有显著差异或推断两个分类变量是否相关或相互独立。卡方检验分类 卡方检验步骤卡方检验可以参照一般假设检验步骤：设置原假设与备择假设设置显著性水平根据问题选择具体的假设检验方式计算统计量
转载
2023-08-10 12:52:15
709阅读
转自：概率分布之间的距离，顾名思义，度量两组样本分布之间的距离 。1、卡方检验统计学上的χ2统计量，由于它最初是由英国统计学家Karl Pearson在1900年首次提出的，因此也称之为Pearson χ2，其计算公式为 (i=1，2，3，…，k)Ai为i水平的观察频数，Ei为i水平的期望频数，n为总频数，pi为i水平的期望频率。i水平的期望频数Ei等于总频数n×i水平的期望概率pi。
转载
2024-04-23 13:36:15
62阅读
Last updated on 2020-3-12…本篇是上一篇《python特征工程篇》的一个子集，由于内容较多而单独出一篇。(»原文链接)特征选择特征选择是特征工程里的一个重要问题，其目标是寻找最优特征子集。多维特征一方面可能会导致维数灾难，另一方面很容易导致过拟合，因此需要做降维处理，常见的降维方法有 PCA，t-SNE(计算复杂度很高)。比赛中使用PCA效果通常并不好，因为大多数特征含有缺
转载
2023-10-11 16:40:40
72阅读
约万字长文预警，如果你没时间，就不用看了，这就是一个梳理的文章，方便我后来找资料。因为工作的关系，近期需要梳理一些 Python 的知识(可能有小伙伴知道了，LI-6800 搞了个大动作，支持 Python 编程了)，首先要认真系统的梳理的是关于时间和日期的处理，但本着一次也是做工作，两次也是做工作，反正都同样是知识，二者也是密切相关，所幸把 R 相关的知识也一并梳理了。时间日期的基础知识先把经常
卡方检验（chi square test）能够是一种假设性检验的方法，它能够检验两个分类变量之间是否是独立无关的。它通过观察实际值和理论值的偏差来确定原假设是否成立，它按照以下步骤来检验两个分类变量是否是独立的。无关性假设假如，有了一些新闻文章，这些新闻的文章已经标好了类别，所以可以得到以下统计的信息。通过下面的表格的第一行和第二行可以得出，文章的内容是否包含“篮球”的确对文章是否是体育类别的有统
转载
2024-01-24 11:32:54
53阅读
# -*- coding: utf-8 -*-
#利用numpy模块构造幻方
import numpy as np
#列表循环向左移offset位
def shift_left(lst, offset):
return [lst[(i+offset)%len(lst)] for i in range(len(lst))]
#列表循环向右移offset位
def shift_right(
转载
2023-06-05 12:01:28
171阅读
《用十年学编程》(Teach Yourself Programming in Ten Years by Peter Norvig) 里说学习编程的最好方法就是实践，以任务为导向的学习往往更为高效。本文就是这样一个笔记，算不上教程，只不过是菜鸟在记录自己的脚步。如果你恰好不知道怎么做卡方分析，不妨来看一看。什么是卡方分析卡方分析有两个常见的应用——适合度分析和独立性分析。这个笔记着重于适合度分析。从
转载
2023-12-08 12:59:46
31阅读
统计学，风控建模经常遇到卡方分箱算法ChiMerge。卡方分箱在金融信贷风控领域是逻辑回归评分卡的核心，让分箱具有统计学意义（单调性）。卡方分箱在生物医药领域可以比较两种药物或两组病人是否具有显著区别。但很多建模人员搞不清楚卡方分箱原理。先给大家介绍一下经常被提到的卡方分布和卡方检验是什么。分类变量检验方法 卡方分布绘图 如果多个符合正态分布
转载
2023-11-08 18:08:04
52阅读
卡方检验，或称x2检验。无关性假设： 假设我们有一堆新闻或者评论，需要判断内容中包含某个词（比如6得很）是否与该条新闻的情感归属（比如正向）是否有关，我们只需要简单统计就可以获得这样的一个四格表：组别 属于正向 不属于正向 合计
不包含6得很 19 24 43
包含6得很 34 10 44
合计 53 34 87通过这个四格表我们得到的第一个信息是：内容是否包含某
转载
2023-08-18 09:00:05
199阅读
统计里面的卡方检验卡方检验主要是用来进行 分类变量（离散变量）的关联性、相关性分析，其根本思想就是在于比较理论频数和实际频数的吻合程度或拟合优度问题。在统计学里面最经典就是四方格检验，下面列举一个例子，让大家对卡方检验有一个真实的认识： 现在我们有一些样本，每个人是否喝牛奶，以及是否感冒，形式如下（只截图了一部分），现在我们想知道，是否喝牛奶 对 是否感冒有影响，根据我们的常识判断，喝牛奶可以增强
转载
2023-08-04 13:47:06
138阅读
一、算法思想1、特征选择特征选择是去除无关紧要或庸余的特征，仍然还保留其他原始特征，从而获得特征子集，从而以最小的性能损失更好地描述给出的问题。特征选择方法可以分为三个系列：过滤式选择、包裹式选择和嵌入式选择的方法 。本文介绍的卡方检验即为过滤式的特征选择算法。关于过滤式的特征算法系列，可参考我的其他文章。特征选择之互信息特征选择之Fisher Score2、卡方检验卡方检验介绍卡方是由英语"Ch
转载
2023-08-17 17:07:03
41阅读
Numerical Recipes 3rd Edition: The Art of Scientific Computing, By William H. Press, Saul A. Teukolsky, William T. Vetterling, Brian P. Flannery 毕竟根据我所瞎理解的大数定理，只要你试足够多的次数，整体来看平均水平就是接近真实值的。所以要想
转载
2024-02-27 10:13:43
78阅读
有小伙伴曾经提出过这样的疑问，从下图中SPSS菜单的两个入口进去，都是做卡方检验吗？两者有啥区别？点击Analyze → Descriptive Statistics → Crosstabs点击Analyze → Nonparametric Tests → Legacy Dialogs → Chi-square经常看医咖会文章的小伙伴应该会注意到，上面第一张图在卡方检验的教程中多次出现，详见：那第
转载
2023-09-13 18:01:53
150阅读
