信息可视化(也叫绘图)是数据分析中最重要的工作之一。它可能是探索过程的一部分，例如，帮助我们找出异常值、必要的数据转换、得出有关模型的idea等。另外，做一个可交互的数据可视化也许是工作的最终目标。Python有许多库进行静态或动态的数据可视化，但我这里重要关注于matplotlib(http://matplotlib.org/)和基于它的库。matplotlib是一个用于创建出版质量图表的桌面绘
转载
2023-07-02 16:16:08
180阅读
在当下这个数据驱动的时代，毫不夸张的说各行各业的商业决策和运营管理都离不开数据分析，因此数据分析已经成为当前每个人的必备技能和加分项。对于许多初学者来讲，想要入门Python数据分析常常不知道从何下手。本文将为大家推荐一些适合零基础学习者阅读的Python数据分析入门书籍，感兴趣的话就接着看下去吧！1、《笨方法学python》推荐理由：本书用诙谐有趣的讲述方式为大家介绍了python的基本语法，非
转载
2023-08-09 16:25:22
37阅读
csv文件格式csv文件格式的本质是一种以文本存储的表格数据(使用excel可以读写csv文件)。import csv
filename = 'guangzhou-2017.csv'
# 打开文件
with open(filename) as f:
# 创建cvs文件读取器
reader = csv.reader(f)
# 读取第一行，这行是表头数据。
heade
转载
2023-07-03 22:05:55
39阅读
数据类书籍推荐《Python科学计算》我的科学计算类入门书籍。当年自己毕业论文涉及到数据处理的部分，都是用的在这本书里学到的东西。从发行版的安装开始，这本书将科学计算及可视化的常见函数库，如numpy、scipy、sympy、matplotlib、traits、tvtk、mayavi、opencv等等，都进行了较为详细地介绍。由于涉及面太广，可能对于单个函数库来说还不够深入，但是这本书能够让人快速
转载
2023-06-01 15:50:59
55阅读
在当下这个数据驱动的时代，毫不夸张的说各行各业的商业决策和运营管理都离不开数据分析，因此数据分析已经成为当前每个人的必备技能和加分项。对于许多初学者来讲，想要入门Python数据分析常常不知道从何下手。本文将为大家推荐一些适合零基础学习者阅读的Python数据分析入门书籍，感兴趣的话就接着看下去吧！1、《笨方法学Python》推荐理由：本书用诙谐有趣的讲述方式为大家介绍了Python的基本语法，非
转载
2023-08-09 16:23:58
44阅读
阅读文本大概需要 5 分钟。前言基础写了八篇，以后会继续学，一定会完成零基础机器学习计划，从今天开始柠檬会跟着一起写Python进阶，用小项目来带着大家一起学习Python。读取Excel中的数据因为导师最近需要我完成一个任务就是将十多个Excel中的十多个矩阵表用函数把AHP(层次分析法)权重矩阵算出来，所以需要用Python实现读取Excel中数据和将数据（权重矩阵）存到Excel中的两个功能
从今天(2018-3-13)到3月26号本目录下会更新《Python数据分析基础》这本书的一些读书笔记和思考。书目信息：原书名: Foundations for Analysis with Python中文翻译版: Python数据分析基础原作：Clinton W。Brownley人民邮电出版社出版，2017年8月第一版。foundationsForAnalyWithPyBookCover.png
转载
2023-11-06 13:01:06
23阅读
Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high through
转载
2023-07-20 17:49:42
71阅读
概述Excel固然功能强大，也有许多函数实现数据处理功能，但是Excel仍需大量人工操作，虽然能嵌入VB脚本宏，但也容易染上宏病毒。python作为解释性语言，在数据处理方面拥有强大的函数库以及第三方库，excel作为主要基础数据源之一，在利用数据进行分析前往往需要预先对数据进行整理。因此，本文就python处理excel数据进行了学习，主要分为python对excel数据处理的常用数据类型以及常
转载
2023-08-09 10:53:15
242阅读
Python是数据科学家十分喜爱的编程语言，其内置了很多由C语言编写的库，操作起来更加方便，Python在网络爬虫的传统应用领域，在大数据的抓取方面具有先天优势，目前，最流行的爬虫框架Scrapy、HTTP工具包urlib2、HTML解析工具、XML解析器lxml等，都是能够独当一面的Python类库。Python十分适合数据抓取工作，对于大数据的处理，Python在大数据处理方面的优势有：1、异
转载
2023-06-28 15:50:52
392阅读
Metpy 是应用于气象领域的开源Python包，可以进行气象数据的处理，可视化以及气象要素的计算等。在气象数据处理方面，可以读取并处理很多格式的数据，比如：WSR-88D，NEXRAD及GINI卫星数据，而且提供了接口可以直接获取 uwyo 提供的探空数据。在可视化方面，其提供了绘制 Skewt 和 站点图的函数，可以非常方便的创建图形。绘制 Skewt 时提供了不少高级绘制方法，可
转载
2023-08-05 13:16:09
337阅读
通过实现SQL类似的功能，处理收集数据，数据预处理，数据计算汇总等流程，了解相应的数据处理流程和技术手段。
目的：从数据收集，数据预处理，数据简单的汇总统计，以及后续的数据说明做一个简单的示例
本分析不涉及具体姓名的数据，做相应的匿名化处理，所有数据来源都是网络公开数据。通过对公开数据的收集，数据预处理，汇总，描述性统计等方式
熟悉相应的技术应用，一些分
转载
2023-08-24 14:59:16
254阅读
pandas 是基于NumPY 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。习惯上，我们会按下面格式引入所需要的包：一、 &nbs
一、基本函数篇1）python strip()函数介绍函数原型声明：s为字符串，rm为要删除的字符序列s.strip(rm) 删除s字符串中开头、结尾处，位于 rm删除序列的字符
s.lstrip(rm) 删除s字符串中开头处，位于 rm删除序列的字符
s.rstrip(rm) 删除s字符串中结尾处，位于 rm删除序列的字符注意： 当rm为空时，默认删除空白符（包括'\n', '\r',
转载
2023-08-14 14:04:31
168阅读
目前Python可以说是非常流行，在目前的编程语言中，Python的抽象程度是最高的，是最接近自然语言的，很容易上手。你可以用它来完成很多任务，比如数据科学、机器学习、Web开发、脚本编写、自动化等。▍1、for循环中的else条件这是一个for-else方法，循环遍历列表时使用else语句。下面举个例子，比如我们想检查一个列表中是否包含奇数。那么可以通过for循环，遍历查找。 numbers&
转载
2023-09-14 16:26:18
81阅读
本文仅供交流学习，部分代码根据练习题需求未采用函数进行直接转换。有错误或更好的方法欢迎提出。1.三个数排序输入三个整数x,y,z,将这三个数由小到大排序输出。输入：1 4 3输出：1 3 4a,b,c=input().split()
n=[]
n.append(int(a))
n.append(int(b))
n.append(int(c))
n.sort()
print(n[0],n[1],n[
转载
2023-10-14 14:32:09
282阅读
题记：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。无论，数据分析，数据挖掘，还是算法工程师，工作中80%的时间都用来处理数据，给数据打标签了。而工作中拿到的数据脏的厉害，必须经过处理才能放入模型中。以下是一脏数据表：（表格放在最后供看官下载练习）这张表格有多少处数据问题？大家对数据问题是如何定义的？不妨带着疑问阅读下文；数据处理四性“完全合一”。完整性：单条数据是否存在空值，
转载
2023-07-07 13:45:39
173阅读
一、Spark大数据技术基础大数据的特点：4V大数据关键技术大数据计算模式代表性大数据技术Hadoop 海量数据的存储与计算SparkSpark与Hadoop的对比Hadoop和Spark的统一部署Flink习题 大数据的特点：4V数据量大 Volume
大数据摩尔定律数据类型繁多 Variety
结构化数据非结构化数据 占90%处理速度快 Velocity
数据处理和分析的速
6.数据处理实例6.1.数据如图: 6.2.需求: 6.3.处理数据: 我个人拿到数据，直接想着转换成DataFrame,然后着手算总分，然后直接数据分组,还是太年轻了...self.df["total"] = self.df.英语 + self.df.体育 + self.df.军训
转载
2023-09-12 15:19:41
8阅读
1、选择建模数据 我们的数据集有太多的变量，很难处理，我们需要将这些海量的数据减少到我们能理解的程度。 我们肯定要选择变量的一列来进行分析，故我们需要查看数据集中所有列的列表名，这是通过数据框架的Columns属性完成的。 以之前的墨尔本房价为例import pandas as pd
# 将文件路径保存到变量以便于访问
melbourne_file_path = '
转载
2023-05-28 21:07:45
262阅读
