数据分析的完整流程（个人学习）课程学习 数据集：UCI的wine quality数据集 首先用pandas的read_csv获得wine quailty数据一.大致了解数据，并作必要的预处理 1.wine.info()来了解每一列数据的类型 必要时用astype（）函数转换数据类型 2.wine数据中很可能有很多重复的数据，因此需要去重 wine.duplicated().sum()可以获得重复的
转载
2024-02-02 07:37:46
195阅读
Linux下的数字图片查看器"eog"（Eye of GNOME）是一个功能强大的工具，它提供了快速、简单的方式来查看图片。无论是查看图片文件，还是在幻灯片模式下浏览图片，eog都能够轻松完成。
“eog”实用程序的设计简单而直观，用户可以通过菜单栏或快捷键来查看图片。用户可以缩放、旋转、裁剪图片，还可以在图片上添加标签、注释等。此外，“eog”还支持多种图片格式，包括JPEG、PNG、BMP等
原创
2024-02-26 10:35:34
85阅读
当我们谈论IT服务管理（ITSM）世界中的大数据时，这里有两个非常不同的概念： • IT为业务提供的大数据工具/服务：对关键的业务运营数据进行数据索引。 • IT运营中的大数据：处理和利用复杂的IT运营数据。大数据中的业务运营服务在竞争日益激烈，数据驱动的世界中，企业管理者都在寻找能够有效管理和解释业务数据（尤其是大数据）的方法。数字化的业务操作，如：电子商务网站和银行移动APP，它们产生了大量的
转载
2023-10-03 08:52:17
206阅读
1.数据分析方法分类业务数据分析师（对数学建模的要求较低）、数据挖掘（对业务与数学建模的要求较高）、大数据分析（需要一定的编程能力）。层层进阶2.职位进阶3.数据分析结果数据可视化4.数据分析的流程在业务理解中要多问问题，了解需求，知道问题的核心。可以看书籍《学会提问》。5. 围绕数据分析师的三大类工作内容
原创
2022-04-15 21:35:17
1588阅读
不用任何公开参考资料，估算今年新生儿出生数量 解答：1）采用两层模型（人群画像人群转化）：新生儿出生数=Σ各年龄层育龄女性数量各年龄层生育比率 2）从数字到数字：如果有前几年新生儿出生数量数据，建立时间序列模型（需要考虑到二胎放开的突变事件）进行预测 3）找先兆指标，如婴儿类用品的新增活跃用户数量X表示新生儿家庭用户。Xn/新生儿n为该年新生儿家庭用户的转化率，如X2007/新生儿2007位为20
转载
2023-08-21 09:13:32
633阅读
大数据技术和数据分析有什么关系大数据经过多年发展形成了一个完整的产业链和技术链，大数据的产业链是围绕技术链来打造的，而大数据的技术链则围绕数据价值化这个中心来展开，涉及到数据的采集、存储、安全、分析、呈现和应用，那么大数据技术和数据分析有什么关系呢?1、从大数据的技术链来看：数据分析是其中的重要一环，也是目前大数据价值化的核心环节，所以很多人也把大数据就理解为数据分析了。虽然数据分析比较重要，但是
转载
2024-01-13 20:01:43
252阅读
数据分析认知课（四）：数据分析——缺失值处理详解（理论篇）我的学习心得数据处理是数据分析最为重要的一部分，需要花费大量时间在这上面。完全变量：指数据集不含缺失值的变量 不完全变量:指数据集中含有缺失值的变量缺失数据的类型 1.随机丢失 2.完全随机丢失 3.非随机丢失数据缺失的原因 1.信息暂时无法获取。 2.数据因人为因素没有被记录、遗漏或丢失，这个是数据缺失的主要原因。 3.数据采集设备的故障
转载
2024-01-14 16:27:13
132阅读
一、什么是数据分析 专业的解释：有针对性的收集、加工、整理数据，并采用统计、挖掘技术分析和解释数据的科学与艺术。 从行业的角度：数据分析是基于某种行业目的，有目的地进行收集、整理、加工和分析数据，提炼有价值信息的一个过程。 数据
转载
2023-09-18 15:55:23
358阅读
数据分析准备介绍章节内容数据分析前关于数据的收集、存储以及预处理等准备工作考试内容数据收集 （1） ⼆⼿资料数据的收集 （2） 样本数据的收集 （3） ⼤数据的收集数据存储 （1） 数据规模的度量 （2） 数据存储系统 （3） 数据存储与管理 （4） ⼤数据存储数据预处理 （1） 数据预处理的含义 （2） 数据预处理的基本原则 （3） 数据预处理的基本流程 （4） 数据预处理的⽅法 （5） 常⽤的
转载
2023-08-13 10:47:30
273阅读
Datawhale 零基础入门数据挖掘-Task 2 数据分析EDA分析EDA步骤其他工作 EDA分析探索性数据分析（Exploratory Data Analysis，简称EDA）是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。特别是党我们对面对大数据时代到来的时候，各种杂乱的“脏
转载
2024-06-16 12:10:48
85阅读
摘要Numpy是利用python来进行数据分析中必须要掌握的基础。是高性能科学计算和数据分析的基础包。利用numpy能对整组数据无需循环就能进行快速的标准数学函数计算，同时能进行线性代数，随机数，以及傅里叶变换等等功能，而对于数据分析来说，比较重要的用途就是数据的清理，过滤，子集构造，转换，排序，描述统计等等。创建多维数组1.利用array来生成基本数组，如：>>> import
转载
2023-11-03 19:14:05
124阅读
intraclass correlation coefficient (ICC)中文叫做同类相关系数。为什么要做icc呢。比如在标注的过程中，我们要衡量这个人标注的怎么样，我们可以这样做： 1.从总体样本中选择N个样本。每一个样本都由两个人标注，然后检查两个人标注的差别有多大。 2.还是N个样本，一个人标注完了，第二天再让他标注一次，检查两次标注的差别有多大。 上面1过程就是组间差异性，2就是组内
转载
2023-09-17 22:18:58
390阅读
序言SPL是Splunk Search Language的简称，但不仅仅是一种搜索语言，是非关系数据分析的事实标准。SPL 提供 140 多种命令，可让搜索、关联、分析和可视化任何数据 — 一种可在 5 个重要领域概括的强大语言。使用SPL语言，能够实现从数据获取、分析、可视化整个过程的描述。其中分析包括常见的统计分析、人工智能算法等。SPL以linux管道形式的表达数据分析的过程，更加简单容易理
什么是数据分析？数据分析是用适当的方法对收集来的大量数据进行分析，帮助人们做出判断，以便采取适当行动。数据分析的流程：matplotlib :能将数据进行可视化，更直观的呈现使数据更加客观、更具说服力matplotlib：最流行的Python底层绘图库，主要做数据可视化图表，名字取材于MATLAB，模仿MATLAB构建。一、matplotlib折线图示例：from matplotlib impor
转载
2023-09-22 12:52:49
345阅读
数据包裹着我们每一个人，推攘着向前，向前，向前；我们也不断的需要在数据中发现知识，快速成长。怎么更好的完成数据分析呢？发现问题，认识问题，解决问题。看过万卷书，走过万里的路。发现数据分析也是一件有门有道，有章有法的事。简单而言六个字：“构成，对比，趋势”构成是数据内部的组合分布，主要描述“我”是谁？知道“我”是谁是最为关键的一步，正如一句古语：“知己知彼，百战不殆”。对比是组成部分的对比知道我最重
转载
2023-10-24 10:06:48
210阅读
一、TiDB介绍TiDB是一款定位于在线事务处理/在线分析处理的融合型数据库产品，实现了一键水平伸缩，分布式事务与基于Raft协议保证强一致的多副本数据安全，具有实时OLAP等重要特性。同时兼容MYSQL协议和生态，迁移便捷，运维成本低。二、TiDB架构 TiDB架构分为三部分:TiDB Server: 负责接收 SQL 请求，处理 SQL 相关的逻辑，并通过 PD
转载
2024-07-08 22:59:46
265阅读
一、概述
随着互联网快速发展，数据量增长快，达到TB、PB，以交通车流量为例，如湖南省每月的车辆流量至少达到4亿，这个数据量远不止如此。数据量如此大，如何满足后期分析，传统面向OLTP型数据库（ORACLE、MYSQL等）无法要求，渐渐开始转向OLAP，如GreenPlum等，虽然很多OLAP数据库吸收分布式计算思想，数据达到20亿以上后，进行Co
转载
2024-01-13 20:25:40
122阅读
键盘和屏幕可分离的变形本出货量是唯一一个呈上升趋势的品类。
今日，市场研究公司IDC发布报告全球平板电脑出货情况报告，数据显示，2017年第四季度，全球平板电脑总出货量仅有4960万台，比2016年同期下降了7.9%。这已经是全球平板电脑连续第13个季度下滑了。
第四季度，苹果平板电脑出货量位居全球第一，与同期基本持平。IDC方面表示，
转载
2023-12-17 14:10:23
102阅读
pandas数据分析基本数据结构对象类型含义用途DataFrame二维数据对象按列组织的表格数据Series一维数据对象单一（时间）数据序列 Series相当于是特殊的DataFrame数据DataFrame类import pandas as pd #导入pandas
df = pd.DataFrame([10,20,30,40],
columns=['numbers'],index=['a
转载
2024-01-13 06:53:55
151阅读
数据分析生涯规划与等级从表中可以看出，专家级的数据分析在分析方法的要求方面与资深数据分析师是相同的，层级2与层级1的能力差别主要体现在业务分析能力、管理能力和影响力等方面。要从“使命必达”的助理数据分析师，成长为“独挡一面”的数据分析专家，其中必然需要学习很多知识、积累很多经验、提升很多技能，这对从事数据分析的人有一定的指导意义，在做职业规划时可以参考。按照不同分析方法所能给人带来的智能程度，可以
转载
2024-01-16 22:10:02
146阅读
