PyOdps正式发布DataFrame框架（此处应掌声经久不息），DTer的福音！有了它，就像卷福有了花生，比翼双飞，哦不，如虎添翼。快过年了，大家一定没心情看长篇大论的分析文章。作为介绍PyOdps DataFrame的开篇文章，我只说说其用起来爽的地方。其余的部分，从使用、问题到实现原理，我会分文章细说。如果不知道是DataFrame什么，它是存在于pandas和R里的数据结构，你可以把它当做
转载
2024-01-01 11:59:07
125阅读
1. SeriesSeries 是一个类数组的数据结构，同时带有标签（lable）或者说索引（index）。1.1 下边生成一个最简单的Series对象，因为没有给Series指定索引，所以此时会使用默认索引(从0到N-1)。# 引入Series和DataFrameIn [16]: from pandas import Series,DataFrame
In [17]: import pandas
神奇的Altair介绍本期主角之前，先给大家一张GIF是不是很炫酷？更神奇的是，完成这么一幅可交互的图表，仅需不到20行代码。这幅图是用Python的可视化库Altair绘制的，Altair可以使用强大而简洁的可视化语法快速开发各种统计可视化图表。用户只需要提供数据列与编码通道之间的链接，例如x轴，y轴，颜色等，其余的绘图细节它会自动处理。事实上，Altair能做的还有很多，大家可以
转载
2023-12-09 20:25:32
69阅读
1. DataFrame本片将介绍Spark RDD的限制以及DataFrame（DF）如何克服这些限制，从如何创建DataFrame，到DF的各种特性，以及如何优化执行计划。最后还会介绍DF有哪些限制。2. 什么是 Spark SQL DataFrame?从Spark1.3.0版本开始，DF开始被定义为指定到列的数据集（Dataset）。DFS类似于关系型数据库中的表或者像R/Pyt
转载
2024-04-08 21:34:34
33阅读
pandas.set_option() 可以设置pandas相关的参数，从而改变默认参数。 打印pandas数据事，默认是输出100行，多的话会输出….省略号。那么可以添加：pandas.set_option('display.max_rows',None)这样就可以显示全部数据同样，某一列比如url太长 显示省略号 也可以设置。pd.set_option('display.max_colwidt
转载
2023-06-27 15:53:45
147阅读
# 用Python循环处理DataFrame并创建新DataFrame
在数据分析的过程中，经常需要进行数据的处理和转换。Pandas库是Python中进行数据处理和分析的重要工具之一。在这篇文章中，我们将探讨如何使用循环来处理DataFrame，并将结果存储在一个新的DataFrame中。
## 1. 什么是DataFrame？
DataFrame是Pandas中最基础的数据结构之一，它类
Python将hive的table表转成dataframe一步到位，代码如下：from pyhive import hive
import pandas as pd
def hive_read_sql(sql_code):
connection = hive.Connection(host='10.111.3.61', port=10000, username='account')
转载
2023-05-30 19:21:00
137阅读
场景在编写spark程序代码的时候，如果涉及大数据运算的时候，一次计算可能得几十分钟甚至一个小时以上，更极端的情况则是，一个较大的对象被多次使用，导致重复计算了很多次。这种做法就会消耗资源，也会浪费我们的时间。那么，针对这种情况，我们有什么方法来避免吗？嗯，很显然是有的，那就是将这个多次计算的对象进行缓存，第一次缓存之后，下次就不使用就可以调用，节省重复计算的时间。当然，这个要分情况，对于计算时间
转载
2024-04-21 18:39:18
50阅读
前言大家好，我是潜心。上篇文章提到了Groupby，但其中举例的代码有点问题，在提取序列时用到了for循环，效率很慢，后来查找了官方文档，才明白apply的重要性，再次对Groupby进行深入并总结。Groupby: split-apply-combinePandas中Groupby定义如下：def groupby(by=None, axis=0, level=None, as_index=Tru
转载
2024-07-02 09:48:16
191阅读
一、介绍 DataFrame是一个表格型的数据结构，含有一组有序的列。DataFrame可以被看做是Series组成的字典，并且共用一个索引 二、案例 1、创建方式 import pandas as pd print("创建方式：") print("方法一：通过字典的方式进行创建：") sr=pd. ...
转载
2021-07-17 18:04:00
127阅读
1、DataFrame的创建DataFrame是一种表格型数据结构，它含有一组有序的列，每列可以是不同的值。DataFrame既有行索引，也有列索引，它可以看作是由Series组成的字典，不过这些Series公用一个索引。 DataFrame的创建有多种方式，不过最重要的还是根据dict进行创建，以及读取csv或者txt文件来创建。这里主要介绍这两种方式。根据字典创建data = {
's
转载
2023-11-02 08:53:00
162阅读
简述 RDD、DataFrame和DataSet是容易产生混淆的概念，必须对其相互之间对比，才可以知道其中异同：DataFrame多了数据的结构信息，即schema。RDD是分布式的 Java对象的集合。DataFrame是分布式的Row对象的集合。作者：jacksu RDD、DataFrame和DataSet是容易产生混淆的概念，必须对其相互之间对比，才可以知道其
转载
2024-06-01 09:23:28
28阅读
1. nunique() DataFrame.nunique（axis = 0，dropna = True ） 功能：计算请求轴上的不同观察结果 参数： axis ： {0或'index'，1或'columns'}，默认为0。0或'index'用于行方式，1或'列'用于列方式。 dropna ： b
转载
2019-03-26 13:40:00
175阅读
2评论
为了方便自己使用以免忘记而写的。 jupyter notebook取消缩进快捷键(取消缩进代码块)：选中，然后Ctrl+[ jupyter notebook用清华源安装库（直接换库名就行）：# 安装导入execl库，注意：使用外网连不上清华源
# !pip install xlwings -i https://pypi.tuna.tsinghua.edu.cn/si
1、DataFrame算术运算加：add 或 +减：sub 或 -2、DataFrame与标
原创
2022-08-02 17:13:05
614阅读
# 使用 Python 将 Spark DataFrame 转换为 Pandas DataFrame
在数据科学的工作流程中，Spark 和 Pandas 是最常用的两个数据处理工具。Spark 特别适用于处理大规模的数据集，而 Pandas 则非常适合处理小至中等量的数据，具有更强的灵活性和易用性。在某些情况下，我们需要将 Spark DataFrame 转换为 Pandas DataFram
原创
2024-08-30 07:28:19
243阅读
Pandas是为了解决数据分析任务而创建的，纳入了大量的库和标准数据模型，提供了高效地操作大型数据集所需的工具。 对于Pandas包，在Python中常见的导入方法如下：from pandas import Series,DataFrame
import pandas as pd首先，我们需要对于Series和DataFrame有个基本的了解：Series：一维数组，类似于Python中的基
转载
2023-07-21 12:31:06
91阅读
当我们使用Spark加载数据源并进行一些列转换时，Spark会将数据拆分为多个分区Partition，并在分区上并行执行计算。所以理解Spark是如何对数据进行分区的以及何时需要手动调整Spark的分区，可以帮助我们提升Spark程序的运行效率。什么是分区关于什么是分区，其实没有什么神秘的。我们可以通过创建一个DataFrame来说明如何对数据进行分区： scala> val
转载
2023-09-01 09:00:27
182阅读
spark—map与flatmap的区别之用flatmap代替map.filter/filter.map组合spark RDD与DStream API支持很多好用的算子，最常用的莫过于map和filter了，顾名思义可知：map： 返回一个新的分布式数据集，其中每个元素都是由源RDD中一个元素经func转换得到的；filter： 返回一个新的数据集，其中包含的元素来自源RDD中元素经func过滤后
转载
2023-07-13 20:21:10
166阅读
dtypes怎么用DataFrame允许你指定不同的列有不同的数据类型，默然当你创建时，pandas会自动根据你的值生成对应的数据类型，float类型在pandas中计算效率是最高的，当然也是用的最多的，如：求和、求平均、最大、最小、分组汇总等。下面咱们通过几行代码，去真正了解一下dtypes以下代码截图来自Jupyter中文集成版工具 通过上面的代码，可以看到，pandas会自动识别，
转载
2023-09-11 09:46:58
84阅读
