作者：黄天元，复旦大学博士在读，热爱数据科学与开源工具（R），致力于利用数据科学迅速积累行业经验优势和科学知识发现，涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等，著有《R语言数据高效处理指南》 之前的文章（HopeR：R语言高效数据框操作：tidyfst）中介绍了新的数据操作包tidyfst，目前已经升级到0.7.7版本。这个版本的促成，是我尝试断奶tid
转载
2023-06-21 19:09:50
288阅读
标准化1。离差标准化是对原始数据的线性变换，使结果映射到[0,1]区间。方便数据的处理。消除单位影响及变异大小因素影响。 基本公式为：x’=（x-min）/（max-min）代码：#！／user/bin/env python
#-*- coding:utf-8 -*-
#author:M10
import numpy as np
import pandas as pd
import matplo
转载
2023-09-23 09:17:57
166阅读
## Python如何用距离区间法对数据进行离散化处理
在数据分析与处理的过程中，离散化是一个常见的需求，尤其是在特征工程阶段。距离区间法通过将连续数据划分为多个区间，从而将其转化为离散数据，便于后续的模型训练和分析。
- 用户场景还原：
- 数仓数据分析师正在处理用户行为日志，想要识别不同用户的行为模式。
- 由于数据包含多个连续特征，如访问时长、访问频率等，如何有效地将这些特征离散
数据集的训练集和测试集划分from sklearn.model_selection import train_test_splitpatientdata为数据集traindata, testdata = train_test_split(patientdata, test_size = 0.1)数据标准化减小量纲的影响import numpy as nparr_mean = np....
原创
2021-06-09 17:20:15
1103阅读
高效处理数据R包 dplyr提取数据到底有哪些方法使用 $ 提取数据模糊匹配数据框提取数据时，有时候得到的是数据框，有时候是向量，这种数据自动降维是怎么回事管道操作函数在使用R做数据分析的一个完整的过程包括数据的获取，数据的前期处理，之后才是使用“整齐”的数据来套用模型得出结论。本专题旨在系统地讲述使用R语言完成前期的数据处理，英文叫tidy data，将“脏”数据洗干净。比如处理掉一些
转载
2023-06-25 09:19:49
129阅读
# Python对数据进行原子化处理
在数据科学和数据分析的领域，数据原子化是一种对数据进行细分和处理的技巧。通过将复杂的数据拆分成更小、更有意义的部分，我们能够更好地理解、分析和利用数据。在这篇文章中，我们将探讨什么是数据原子化，以及如何使用Python进行原子化处理。
## 什么是数据原子化？
数据原子化是指将某个整体数据集合拆分为多个具有独立意义的较小数据单元。可以把原子化看作是数据的
前言自然语言处理(4)之中文文本挖掘流程详解（小白入门必读）干货 | 自然语言处理(3)之词频-逆文本词频（TF-IDF）详解干货 | 自然语言处理(2)之浅谈向量化与Hash-Trick干货 | 自然语言处理(1)之聊一聊分词原理干货 | 自然语言处理入门资料推荐原文链接：在中文文本挖掘预处理流程总结中，我们总结了中文文本挖掘的预处理流程，这里我们再对英文文本挖掘（English text mi
数据标准化，是数据清洗的重要环节之一。主要目的是消除“量纲”和“不同规模”的影响，使其所放到相同的数据区间和范围，以减少规模、特征、分布差异等对数据模型的影响。应用场景：如某人欲购买一处房产，主要考虑：价格，面积，学区，交通等4个因素。价格：10000元/平米；面积：100平方；学区：有学区，无学区，以及学区好坏；交通：距离公交或者地铁站距离等。在考虑买房的过程中，每个指标的表述方式不同，不具有直
转载
2023-06-30 22:54:39
247阅读
1、离散化方法——等宽法将数据的值域分成具有相同宽度的区间，区间的个数由数据本身的特点决定或者用户指定，与制作频率分布表类似。pandas 提供了 cut 函数，可以进行连续型数据的等宽离散化，其基础语法格式如下。pandas.cut(x,bins,right=True,labels=None,retbins=False,precision=3,include_lowest=False)使用等宽法
转载
2023-08-30 11:17:17
52阅读
什么是离散化呢？比如有这么一道题：题目描述小鱼有 n 名优秀的粉丝。粉丝们得知小鱼将会在一
原创
2020-10-02 21:25:49
142阅读
“做好准备，用R创建出高品质的程序，迅速提高你的水平吧！ ” ——Patrick Breen，罗杰斯通信公司
任何数据分析的第一步，是按照需求的格式来创建含有研究信息的数据集，本节描述了向量、矩阵、数组、数据框以及列表的用法。熟悉这些数据结构以及访问其中元素的表述方法，十分有助于了解R的工作方式，但是也需要耐心来
转载
2023-06-21 19:09:30
1774阅读
何为标准化：在数据分析之前，我们通常需要先将数据标准化（normalization），利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题，对不同性质指标直接加总不能正确反映不同作用力的综合结果，须先考虑改变逆指标数据性质，使所有指标对测评方案的作用力同趋化，再加总才能得出正确结果。数据
转载
2023-07-29 13:27:00
131阅读
归一化1、把数据编程（0,1）之间的小数 主要是为了数据处理方便提出来的，把数据映射到0-1范围内处理，更加便捷快速2、把有量纲表达式变为无量纲表达式 归一化是一种简化计算方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量归一化算法有： 1、线性变换 y=(x-MinValue)/(MaxValue-MinValue) 2、对数函数转换 y = log10(x) 3、反余切函数转换
# 项目方案：Python数据归一化处理
## 1. 项目背景
在数据科学和机器学习中，数据归一化是一个至关重要的预处理步骤。归一化可以将不同范围和分布的数据转换为相同的标准，有助于提升模型的收敛速度和性能。特别是在许多基于距离的算法（如k近邻、支持向量机等）中，特征的量纲和范围会直接影响模型的精度。因此，本项目旨在通过Python实现数据归一化处理的方案，以帮助用户更好地处理和应用数据。
# Python实现数据归一化处理的流程
## 1. 数据归一化的定义
数据归一化是一种数据预处理技术，用于将不同取值范围的数据转化为相同的统一尺度，使得数据之间具有可比性。常用的数据归一化方法有最小-最大归一化、Z-score归一化等。
## 2. 数据归一化的步骤
下面是数据归一化的步骤表格：
| 步骤 | 描述 |
|-----|-----|
| 1. | 导入所需的库 |
| 2.
原创
2023-12-05 10:18:47
123阅读
1. 获取数据 （1）R获取数据的三种途径 - 利用键盘来输入数据； - 通过读取存储在外部文件上的数据； - 通过访问数据库系统来获取数据。例如有以下数据： （2）键盘输入数据： 此外，还可以通过edit来输入数据： data2 <- data.frame(patientID=character(),admdate=character(),age=numeric(),diabetes=ch
转载
2023-08-31 13:57:00
0阅读
R语言-数据类型|数据结构|对象类型目录 1. 数据类型 2. 数据结构 3. 对象类型1. 数据类型 向量的类型：mode()返回的结果logical（逻辑型）
numeric（数值型）
complex（复数型）
character（字符型） 其中integer 和 double 在mode() 时返回的都是 numeric
factor 在 mode() 时返回的也是 numeri
转载
2023-06-21 16:41:46
810阅读
数据预处理数据中不同特征的量纲可能不一致，数值间的差别可能很大，不进行处理可能会影响到数据分析的结果，因此，需要对数据按照一定比例进行缩放，使之落在一个特定的区域，便于进行综合分析。常用的方法有两种：最大 - 最小规范化：对原始数据进行线性变换，将数据映射到[0,1]区间Z-@R_502_182@标准化：将原始数据映射到均值为0、标准差为1的分布上为什么要标准化/归一化？提升模型精度：标准化/归一
转载
2023-08-09 22:05:06
241阅读
我们在文章 数据挖掘 | 快速实现生存分析森林图 中讲到，可以将原数据中对于性别的0/1标识转换为female/male以方便在森林图中的展示，其中提到的方法如下： sex = factor(sex, levels = c(0,1), labels = c("female", "male")) 是在将sex变量转化为因子型的同时，将其0和1分别标识为female和male
第二章 了解数据基础目录2-1 数据基础2-2 数值变量的特征和可视化2-3 分类变量的特征和可视化2-4 小结2-1 数据基础数据的基础知识：观测（observation）变量（variable）数据矩阵（data matrix）以下是一个“数据矩阵”：变量的类型：数值型（quantitative）：通常对应于定量分析，数值型变量可以进行加减乘除求平均等运算。连续型：可以在给定的区间取任意的数值
转载
2023-06-21 11:18:45
679阅读
