目录碎碎念1、使用python内置函数open1.1 对于txt1.1.1 按行读入，每行作为列表的一个元素碎碎念读入数据，都是最基本的东西了，但是我发现老是不会用，而且都没有对各种数据类型进行一个总结，以至于每次读入数据，都需要再去网上搜集代码，浪费时间。因此作为一个初学python的人，我决定自己给自己总结一篇读入数据的文章。1、使用python内置函数open1.1 对于txt一般来说，tx
转载
2023-05-23 16:50:30
477阅读
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np##读取数据
url = r'C:/Users/asus/Desktop/catering_fish_congee(1).xls'
data = pd.read_excel(url,names=['date','sale'])plt.rcParams['fon
转载
2023-06-16 14:11:54
200阅读
目录导入各种需要的模块读取数据数据预处理和描述统计数据可视化（以V1列为例）划分构建训练集和测试集建模：提供几种简单方法，都在sklearn这个库里 最近因为工作需要在学python，只要求能够读取、预处理、可视化数据然后扔进现成的机器学习模型里面输出结果，但个人目前接触到的python书要么太过详细读了一周还在学几个数据类型的用法，要么就只专注于机器学习而过份忽略Python基础（尤其是一些
转载
2023-08-11 08:46:09
182阅读
不论是数据分析，数据可视化，还是数据挖掘，一切的一切全都是以数据作为最基础的元素。利用Python进行数据分析，同样最重要的一步就是如何将数据导入到Python中，然后才可以实现后面的数据分析、数据可视化、数据挖掘等。在本期的Python学习中，我们将针对Python如何获取外部数据做一个详细的介绍：读取文本文件的数据大家都知道，Python中pandas模块是专门用来数据分析的一个强大工具，下面
转载
2023-09-07 22:44:42
88阅读
Python四种读取数据文件的方法
转载
2023-07-04 17:19:21
105阅读
read_csv()是python数据分析包pandas里面使用频次较高的函数之一。它包括的参数差不多20个，可能一开始未必需要完整知道每个参数作用。不过，随着使用的深入，实际数据环境愈发复杂，处理的数据上亿行后，就会出现这样那样的问题，这样催促我们反过头来再去理解某些参数的作用。今天，总结平时使用read_csv()，经常遇到的几个问题。1、UnicodeDecodeErrorread_csv
转载
2023-09-10 11:44:45
243阅读
本文主要介绍python读写数据文件的6种常用方式。1. python内置方法with open(r'test.xlsx') as f:
a = f.read()一般，在应用上述上下文管理器后，可以用如下三种方式进行内置方法的读写操作。read() ： 一次性读取整个文件内容。推荐使用read(size)方法，size越大运行时间越长readline() ：每次读取一行内容。内存不够时使用
转载
2023-08-30 15:01:51
371阅读
pickle模块是以二进制的形式序列化后保存到文件中（保存文件的后缀为”.pkl”），不能直接打开进行预览。而python的另一个序列化标准模块json，则是human-readable的，可以直接打开查看（例如在notepad++中查看）。import pickle
a = {'name':'Tom','age':22}
with open('text.txt','wb') as file:
转载
2023-10-10 08:38:52
356阅读
读取数据含有逗号分隔符文件JSON文件源文件含有逗号分隔符文件本节主要讲CSV类型的文件以及如何使用Pandas库来读取CSV文件。CSV文件的简介用Pandas来读取CSV文件CSV文件的简介 在机器学习中以逗号作为分隔符的文件很常见（CSV文件），这种类型的文件每一行都有数据，每行的数据元素之间通过通过逗号分隔，用Pandas可以很方便的读取这类文件。用Pandas来读取CSV文件 这是详细的
转载
2023-08-23 18:03:11
115阅读
目录一、Python读取PostgreSQL的geometry字段◼ 查询geometry字段◼ 插入geometry字段二、解决报错：parse error - invalid geometry三、解决错误：类型 "geometry" 不存在一、Python读取PostgreSQL的geometry字段geometry字段类型可以存储坐标点信息并进行一系列的关系计算（包含/相交），可以
转载
2023-09-22 17:39:53
278阅读
本篇将继续介绍Python与Stata的数据交互过程中的时间变量处理的问题。在开始介绍之前，通知一下：本文，包括之前部分文章的源代码已经托管至github上了，地址："https://github.com/zhangdashenqi/"，请需要的同学自取。1. 使用Stata函数处理在上一篇（传送门：张大神气：Python与Stata的数据交互），我们介绍了在Stata16中Python和Stat
转载
2023-11-16 14:14:18
139阅读
准备安装python以及gdal馨意：基于python的遥感图像处理(1.1)--Anaconda安装步骤zhuanlan.zhihu.com正文本文以提取MODIS植被指数产品MOD13A3的NDVI数据为例：首先打开hdf数据集并查看子数据集和元数据：# gdal打开hdf数据集datasets = gdal.Open(r"E:\Remote_Sensing_Data\TVDI\MOD13A3
转载
2023-09-05 11:07:14
315阅读
1 问题python含有许多第三方库，借助第三方库我们可以完成许多日常生活中简单的事情。本文利用pandas库实现对excel文件的读取。2 方法使用win+R输入cmd调出命令行，再输入...
原创
2022-01-25 14:59:05
254阅读
目录写数据到excel中例子1例子2 打印乘法表写数据到excel中例子1# -*- codeing = utf-8 -*-import xl
原创
2022-12-28 15:35:00
205阅读
# Python数据读取：探索数据的第一步
在数据科学和分析中，数据读取是至关重要的一步。Python凭借其强大的库和简单易用的语法，成为了数据读取和处理的热门选择。本文将介绍几种常见的数据读取方法，并提供相应的代码示例，帮助初学者快速入门。
## 1. 使用Pandas读取CSV文件
Pandas是Python中用于数据处理的强大库之一。它提供了简单易用的函数来读取多种格式的数据，包括CS
原创
2024-10-21 06:01:05
52阅读
今天在做memcache优化时，想对memcache中插入的数据做压缩，但memcache在做数据压缩时，在一定的大小内做压缩反而适得其反，顾想做一个实验，来查找多大的数据比较好！1. 首先，需要知道所要压缩的数据的大小，这时我们就需要一些python函数来做处理，在C中可以通过sizeof来确定对象的大小，在python中，如何来确定呢？对于一般的数字类型及字符串，可以通过sys.getsize
转载
2023-06-14 23:27:51
88阅读
我目前正试图从Python 2.7中的.csv文件读取数据，最多1百万行和200列(文件范围从100mb到1.6gb)。我可以这样做(非常慢)对于300,000行以下的文件，但一旦我走上，我得到内存错误。我的代码看起来像这样：def getdata(filename, criteria):
data=[]
for criterion in criteria:
data.append(getstuf
转载
2023-06-01 16:30:10
271阅读
在经常性读取大量的数值文件时(比如深度学习训练数据),可以考虑现将数据存储为Numpy格式,然后直接使用Numpy去读取,速度相比为转化前快很多.下面就常用的保存数据到二进制文件和保存数据到文本文件进行介绍:1.保存为二进制文件(.npy/.npz)numpy.save保存一个数组到一个二进制的文件中,保存格式是.npy参数介绍numpy.save(file, arr, allow_pickle=
转载
2024-07-24 11:08:52
43阅读
Python的文件是一个重要的对象，使用open()函数来打开文件，创建文件对象，进行文件的读写操作。当数据用于交换信息时，通常需要把数据保存为有格式的文本数据，可以保存为有特定的行分隔符和列分隔符的数据，这可以使用pandas模块中的函数来读写；也可以保存为json结构的数据，这可以使用json模块中的函数来实现；对于大型的数据交互，通常使用数据库。一，Python的open函数open()函数
转载
2023-08-30 17:54:09
1387阅读
原创
2021-11-04 16:02:34
419阅读
