# coding=utf-8 import pandas as pd import numpy as np import uuid from hashlib import sha256 # batch_size of each time write rows to id_sha256.csv bat
原创
2022-09-20 11:33:26
112阅读
大文本数据的读写有时候我们会拿到一些很大的文本文件，完整读入内存，读入的过程会很慢，甚至可能无法读入内存，或者可以读入内存，但是没法进行进一步的计算，这个时候如果我们不是要进行很复杂的运算，可以使用read_csv提供的chunksize或者iterator参数，来部分读入文件，处理完之后再通过to_csv的mode='a'，将每部分结果逐步写入文件。to_csv,to_excel
原创
2018-07-05 09:53:35
10000+阅读
###join ###DataFrame参数 ###date_range参数 date_range 生成一个DatetimeIndex对象  2、参数说明： labels：要删除的行/列的名字，用列表给出 axis：默认为0，即删除行，删除列时指定为1 index：直接指定要删 ...
转载
2021-09-07 15:22:00
157阅读
2评论
文本数据是指不能参与算术运算的任何字符，也称为字符型数据。如英文字母、汉字、不作为数值使用的数字(以单引号开头)和其他可输入的字符。文本数据具有数据维度高、数据量大且语义复杂等特点，是一种较为复杂的数据类型。今天，我们就来一起看看如何使用Pandas对文本数据进行数据处理。 本文目录 1. string类型的性质 1.1. string与object的区别 1.2
原创
2021-02-04 20:50:53
686阅读
@
一、常用方法通过str访问，且自动排除丢失/ NA值s = pd.Series(['A','b','C','bbhello','123',np.nan,'hj'])df = pd.DataFrame({'key1':list('abcdef'),'key2':['hee','fv','w','hija','123',np.nan]})# 直接通过.str调用字符串方法# 可以对Series、D
转载
2020-06-18 17:36:00
157阅读
2评论
文本数据具有数据维度高、数据量大且语义复杂等特点，是一种较为复杂的数据类型。
原创
2023-08-04 15:29:20
0阅读
如果可以使用向量化，那么任何操作都应该优先使用它。对于迭代操作可以优先使用itertuples、apply或map等方法。还有一些单
原创
2024-05-15 11:05:24
72阅读
数据准备先放在pandas的dataframe数据结构内， 然后遇到效率问题 （处理慢）和 空间问题（数据量过大oom），表现为：数据存储慢，数据加载到内存困难。 这里就记录下处理超大数据集用到的方法，以供大家参考。
一般数据读取，加载和保存在现有的dataframe上没有太好的解决办法，但是可以充分利用现在服务器的高性能多核的特性（利用所有IDLE CPU内核），当然这里有有点也有缺点。
原创
精选
2023-01-19 17:31:31
5000阅读
1.先说下常规思路： 写追加模式，第一次写入头header,第二次开始：header =None 2.后来想了下，还是不够灵敏：id列不够随意，就用生成器来yield，不断批量batch_size 内存生成就返回，避免Memory Error: d分两步： 第一步： 唯一id列：10w，sha256
原创
2022-09-20 11:33:38
105阅读
Pandas灵活强大，是数据分析必备工具库！但处理大型数据集时，需过渡到PySpark才可以发挥并行计算的优势。本文总结了Pandas与PySpark的核心功能代码段，掌握即可丝滑切换。
原创
精选
2022-11-24 13:31:39
517阅读
内容目录 1. 为什么要用str属性 2. 替换和分割 3. 提取子串 3.1 提取第一个匹配的子串 3.2 匹配所有子串 3.3 测试是否包含子串 3.4 生成哑变量 3.5 方法摘要 3.1 提取第一个匹配的子串 3.2 匹配所有子串 3.3 测试是否包含子串 3.4 生成哑变量 3.5 方法摘
原创
2021-07-21 15:00:11
354阅读
在本章中，我们将使用基本系列/索引来讨论字符串操作。在随后的章节中，将学习如何将这些字符串函数应用于数据帧(DataFrame)。 Pandas提供了一组字符串函数，可以方便地对字符串数据进行操作。 最重要的是，这些函数忽略(或排除)丢失/NaN值。 几乎这些方法都使用Python字符串函数(请参阅
原创
2018-09-13 15:58:00
145阅读
「摘要」在以互联网为核心，信息不断发展的今天，文本信息作为最重要的网络资源，其中隐含着大量的模式与知识亟待发现与利用。虽然在广泛的数据资源中充斥着大量非结构化或者半结构化的数据资源，但是通过信息标注技术处理后，大部分数据均可结构化，形成文本资源。文本挖掘作为数据挖掘的分支，就是指从文本数据中抽取有价值的，事先未知的、可理解、最终可用的信息和知识的过程，即数据挖掘的对象全部由文本信息组
转载
2023-10-04 22:37:46
171阅读
不愧是清华大佬！把Python数据分析讲得如此简单明了！从入门到精通保姆级教程（建议收藏）_哔哩哔哩_bilibili 课堂笔记 一、 二、索引的对象是不可变的 这样就不行 三、 ...
转载
2021-11-03 21:34:00
153阅读
2评论
引言 在数据分析领域，Pandas 是一个非常强大的 Python 库，它提供了灵活的数据结构和丰富的数据操作方法。然而，当我们面对大规模数据集时，使用 Pandas 进行数据处理可能会遇到性能瓶颈、
