文章目录一、数据质量分析① 缺失值分析② 异常值分析③ 一致性分析二、数据特征分析1. 分布分析2. 对比分析3. 统计量分析① 集中趋势度量② 离中趋势度量4. 周期性分析5. 贡献度分析6.相关性分析① 散点图② 散点图矩阵③ 计算相关系数（1）Pearson相关系数（2）Spearman相关系数（3）判定系数三、Python主要数据探索函数1. 基本统计特征函数2. 拓展统计特征函数3.
转载
2024-01-10 11:49:33
58阅读
Full Table Scan当查询条件无法命中任何索引、或者扫描索引的代价大于全表扫描代价的某一比例时(由参数optimizer_index_cost_adj设定)，Oracle会采用全表扫描的方式查找数据。当发生全表扫描时，Oracle会自下向上一次读取一定数量（由参数db_file_multiblock_read_ count设定）的数据块，一直读取到高水位标志（HWM，High Water
转载
2024-06-28 14:14:29
24阅读
# Python 数据探查：入门与实践
在数据科学与机器学习的领域中，数据是我们的基础。数据探查（Data Exploration）是指对数据进行初步的分析和理解，以便识别数据中的模式、趋势和异常。在本文中，我们将使用 Python 作为工具，展示数据探查的基本手段和方法，并给出相应的代码示例。
## 数据探查的基本步骤
数据探查通常包括以下几个步骤：
1. **加载数据**：将数据加载到
第三章 数据探索 数据探索就是通过检验数据集的数据质量、绘制图表、计算某些特征量等手段，对样本数据的结构和规律进行分析的过程。数据探索有助于选择合适的数据预处理和建模方法。数据探索包括数据质量分析和数据特征分析。3.1 数据质量分析 数据质量分析的主要任务是检查原始数据中是否存在脏数据。脏数据一般指不符合要求以及不能直接进行分析的数据，常见有：缺失值、异常值、不一致值、重复
转载
2023-12-10 11:30:48
123阅读
阅读Java源码的前提条件：1、技术基础在阅读源码之前，我们要有一定程度的技术基础的支持。假如你从来都没有学过Java，也没有其它编程语言的基础，上来就啃《Core Java》，那样是很难有收获的，尤其是《深入Java虚拟机》这类书，或许别人觉得好，但是未必适合现在的你。比如设计模式，许多Java源码当中都会涉及到。再比如阅读Spring源码的时候，势必要先对IOC，AOP，Java动态代理等知识
Python编程学习圈 2020-06-28工作中你是否遇见这样的问题：接手新业务时需要了解数十上百张的数据库表结构；表中的数据量级均是百万级以上；希望可以批量快速生成如下表格。数据探查结果表如果你遇到了以上的问题，恭喜你，本文可以帮助你解决！1、解决思路但有人会有疑问，Python进行数据探查不是非常简单的事吗，一个函数分分钟搞定，还有必要专门介绍吗。如果你这样想就too yong too si
转载
2021-04-05 14:45:32
353阅读
# 特征探查的魅力：用 Python 深入理解数据
特征探查（Feature Exploration）是数据科学和机器学习中关键的一步。它帮助我们理解数据的特征，从而为模型选择和特征工程奠定基础。通过对数据集的细致分析，我们可以发现潜在的模式、异常值和重要的特征。这篇文章将介绍如何利用 Python 进行特征探查，并提供一些实用的代码示例。
## 1. 什么是特征探查？
特征探查是指对数据集
Python数据探索性分析和预处理讲在前面一.探索性分析1.数据质量分析1.缺失值查看缺失情况缺失值处理2.异常值异常值检测（查看）异常值处理2.数据特征分析1.分布定量数据定性数据2.对比3.统计量分析4.周期性分析5.贡献度分析6.相关性定量数据相关性定性数据相关性二.预处理1.数据取样2.数据清洗3.数据变换1.简单函数变换2.数据规范化3.数据离散化4.属性构造 讲在前面 开始讲解之前
转载
2023-10-09 21:16:16
203阅读
简历模板、PPT模板、知识体系、面试题库、技术互助。直接去文末领取
原创
2022-09-05 14:05:18
100阅读
1、编写连接数据库函数# -*- coding: utf-8 -*-"""@ARSET):
原创
2022-10-18 16:28:31
84阅读
1、编写连接数据库函数# -*- coding: utf-8 -*-"""@author: lucas@Function: 连接数据库表
原创
2022-10-18 16:28:31
141阅读
数据探索大致流程目录数据探索大致流程1.什么是EDAEDA流程1.载入数据并简略观察数据2.总览数据概况3.通过`describe`和`matplotlib`可视化查看数据的相关统计量(柱状图)4.缺失值处理5.查看目标数据的分布6.特征分布7.查看特征与特征之间的相关性(热力图)8.查看数据和目标的相关性，正负相关性越强则特征对结果影响的权重越高，特征越重要1.什么是EDA在拿到数据后，首先要进
1.装饰器功能装饰器实质上是一个Python函数，主要功能是为已经原函数和对象添加额外的功能。 经常用于日志操作、用户登录、用户权限、数据读写操作前打开事务等之类需求。 能装饰函数和类，实现大量代码的重用，使代码更加简洁。、2.装饰器使用Python一切皆对象，函数也是一个function对象，所以能在函数中作为参数传递，例如def info(func):
print("info")
转载
2023-08-02 10:25:02
195阅读
python基础学习1——python对象模型整体介绍对象类型类型名称示例说明数字int（整型）,float（浮点型，也就是小数）,complex(复数)123，3.14，1.3e3,3+4j数字大小没有限制范围字符串str‘asf’,“sds as”,‘’‘Pthn’‘’,r’abc’,R’dds’使用单引号、双引号、三引号作为界定符，或者以r或R引导，表示字符串字节串bytesb’hello
转载
2023-08-08 06:47:18
286阅读
第 2 章 函数（下）第 18 条：用数量可变的位置参数减少视觉杂讯令函数接受可选的位置参数（由于这种参数习惯上写为 *args，所以又称为 star args，星号参数），能够使代码更加清晰，并能减少视觉杂讯（visual noise）。例如，要定义 log 函数。以便把某些调试信息打印出来。加入该函数的参数个数固定不变，那它就必须接受一段信息及一份有待打印值的列表。def log(messag
转载
2023-11-02 07:34:46
113阅读
写了2个脚本，分别是v1版本和v2版本都是python调用mediainfo工具提取视频元数据信息v1版本是使用pycharm中测试运行的，指定了视频路径v2版本是最终交付给运营运行的，会把v2版本打成exe运行 先看v1版本 import os,subprocess,json,re,locale,sys
import xlwt,time,shutil
#获取当前文件所在绝对目录路径
转载
2023-11-20 06:08:14
75阅读
一、函数定义：一系列python语句组合，可以在程序中运行一次或多次，具有独立功能为甚使用函数：代码的复用最大化，最小化冗余代码结构：def 函数名（参数列表）：0-n个 代码块def printInfo():
'''
这个函数是用来打印个人信息的，是对小张信息显示的组合
:return:
'''
print('小张的
转载
2024-04-11 20:10:27
75阅读
本文实例讲述了python字典get()方法用法。分享给大家供大家参考。具体分析如下：如果我们需要获取字典值的话，我们有两种方法，一个是通过dict['key'],另外一个就是dict.get()方法。这里给大家分享的就是字典的get()方法。这里我们可以用字典做一个小游戏，假设用户在终端输入字符串："1"或者是"2"或者是"3"，返回对应的内容，如果是输入其他的，则返回"error">&g
转载
2023-07-03 05:17:01
45阅读
现在找工作最怕的就是遇到坑，特别是一些中介介绍的工作，起先说得这个工作有多好，什么都不错，后来干了之后才发现被骗了，和他说的相差太大了。特别是刚出社会的着急找工作的小白，不要急不要急！一定要三思而后行！多听听家人的意见，多问，多查资料，不要报任何一丝侥幸心理！！不要非要去试水后才知道后悔！这些中介首先就是要收取费用，然后各种面试演戏的都有，最后你肯定是退不到钱的，反正很多都是骗子。而且现在每个城市
原创
2021-12-22 15:35:14
23阅读
文前提要特征工程概述特征选择的一般步骤特征工程的主要包含的内容框架特征选择的主要方法和python与R的比较实现目录1.特征工程概述2.特征工程知识框架3.特征工程的一般步骤4.特征选择的python与R实现比较4.1 导入数据4.2 数据预处理4.2.1 标准化4.2.2 区间放缩法4.2.3 归一化4.2.4 对定量特征二值化4.2.5 对定性特征哑编码4.2.6 缺失值填补4.2.7 数据变
转载
2023-10-05 14:58:56
69阅读
