这里写目录标题2 python常用标准库函数2.1 数学运算 import math2.2 处理文件 import os2.3 生成随机数 import random2.4 时间日期 import datetime3 数据获取与表示3.1 打开文件 open为什么要用 with 语句文件指针 seek代码示例：批量读取文件（循环）3.2 网络数据获取网页数据解析3.3 序列标准类型运算符序列类型
转载
2023-09-22 21:19:06
54阅读
面对读取上G的数据，python不能像做简单代码验证那样随意，必须考虑到相应的代码的实现形式将对效率的影响。如下所示，对pandas对象的行计数实现方式不同，运行的效率差别非常大。虽然时间看起来都微不足道，但一旦运行次数达到百万级别时，其运行时间就根本不可能忽略不计了：故接下来的几个文章将会整理下渣渣在关于在大规模数据实践上遇到的一些问题，文章中总结的技巧基本是基于pandas，有错误之处望指正。
转载
2023-06-28 15:30:50
114阅读
第一章 绪论1.开发环境 windows-x64位，pycharm，python3.82.基本功能介绍 本次可视化页面的制作主要有三步，web服务器页面的制作，爬取页面的国家和GDP数据和将数据进行可视化页面，web服务器页面的制作主要是FastAPI框架，爬取页面上的数据主要采用requests模块和re模块，而数据可视化主要是用pyecharts模块进行导入相应形状的表格。本次实训利用四天时间
转载
2023-08-09 16:52:15
73阅读
房间里的人群、家具、彩电、冰箱自重，移动车辆荷载、风载、雪载等属于( )。不得委托他人代理公证的是()。城市土地的位置具有重要的特殊性，决定着地价和地租的高低。我国的土地属于全民所有在其它条件不变的情况下，某种商品的需求：( )工程造价控制的基本内容包括( )工程造价控制的基本内容包括( )预测时期越长，对企业经营环境和市场营销条件的推测判断就越不准确。 ( )地理环境是社区具有的自然属性,也是影
转载
2024-01-17 23:27:34
39阅读
智慧校园全球大学生创意应用大赛落幕，六支决赛队伍精彩呈现校园黑科技。
转载
2021-07-27 17:33:19
124阅读
数据就是资产。大数据工程师是现在十分火热、高薪的职位。做大数据开发和分析不仅要用到Java，Python也是最重要的语言。 那么，今天我们就来分析一下，Python之于大数据的意义和作用。什么是大数据？大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信
转载
2023-09-20 22:51:16
93阅读
在写书单前，小编在知乎上看过一个关于“怎么才能写好一份书单”的提问，有人回答说第一眼先看有没有读过的min Yosko
原创
2023-07-26 10:01:43
125阅读
Python和Java，是大数据行业最常见的两种编程语言，对于想转行大数据的人人来说，学习哪个语言是比较好的选择呢？PythonPython和大数据：Python本身的特点是高效率的开发和简单的维护，大数据运维领域也在普遍采用Python语言来编写管理脚本；Python语言目前在大数据和人工智能领域有广泛的应用，在数据科学领域，尤其是在深度学习领域，Python是常见的选择。如果要往大数据分析和大
转载
2023-08-09 15:15:32
130阅读
搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能，试图让大家理解大数据搜索的基本原理。01 布隆过滤器 （Bloom Filter）第一步我们先要实现一个布隆过滤器。布隆过滤器是大数据领域的一个常见算法，它的目的是过滤掉那些不是目标的元素。也就是说如果一个要搜索的词并不存在于我的数据中，那么它可
转载
2023-11-21 23:16:29
64阅读
上面搜索是新功能，大家可以体验看看在数据科学计算、机器学习、以及深度学习领域，Python 是最受欢迎的语言。Python 在数据科学领域，有非常丰富的包可以选择，numpy、scipy、pandas、scikit-learn、matplotlib。但这些库都仅仅受限于单机运算，当数据量很大时，比如50GB甚至500GB的数据集，这些库的处理能力都显得捉襟见肘，打开都很困难了，更别说分析了。本文向
转载
2023-07-27 15:04:17
48阅读
前段时间给大家分享了：超赞！20个炫酷的数据可视化大屏(含源码)，很多小伙伴都非常喜爱。如果你感兴趣，点击上方获取即可。于是我产生了用 Python 的另外一种方式来实现数据可视化大屏的想法。 参考上面这个模板，我计划用 pyecharts 实现一个类似的数据可视化大屏。今天先绘制中间的数据地图，为了方便演示，我们采用一个超市数据集，数据来源于 Tableau 官方示例。如果你还没有安
转载
2024-02-28 22:18:20
6阅读
pandas是基于numpy构建的，使数据分析工作变得更快更简单的高级数据结构和操作工具。本文为大家带来10个玩转Python的小技巧，学会了分分钟通关变大神！
1. read_csv 每个人都知道这个命令。但如果你要读取很大的数据，尝试添加这个参数：nrows = 5，以便在实际加载整个表之前仅读取表的一小部分。然后你可以通过选择错
转载
2024-08-08 13:35:58
16阅读
一、大数据对象简介 1.LOB（Large Object，大型对象）类型的字段现在用得越来越多了。因程序、...
原创
2022-12-15 13:40:55
219阅读
最近学习了慕课网上的《用Python玩转数据》，写个总结，顺便再梳理一下。总的来说，这个课程是比较好的入门引导，讲的比较浅显，但是都点到了，对于一个小白来说，算是打开了一扇大门，至于更深一步的内容就要靠自己了。 玩转数据分两步：1、数据的获取，包括本地数据和网络数据；2、数据整理、描述、分析一、数据的获取1.1 本地数据获取常用函数：open，read，write，readline，re
转载
2023-12-29 22:56:34
45阅读
Java、Python和大数据，哪个发展前景最好？Java和Python是编程语言，而大数据则是一系列技术的整合，所以应该分开来看，三者并不能直接进行对比。三者实际的关系是目标和实现的包含关系。所以这个问题应该分别为 Java和Python哪个发展前景好？大数据的发展前景如何？关于大数据的发展前景大数据并不是一种概念，而是一种方法论，一句话概括，就是通过分析和挖掘全量的非抽样的数据辅助决策。关于大
转载
2023-07-18 17:48:14
108阅读
Python常用开发工具Python标准的集成开发环境IDLE。在linux下使用vim。eclipse+Pydev（可以不用装myeclipse），这个插件是用对python进行语法高亮，调试等功能的。常见的还有：python(x,y)和Sublime Text。当然很重要的是python本身是要安装的，就跟开发java程序要装JDK一个道理，可以装python2.5版本。Python如何实现输
转载
2023-08-10 09:52:03
55阅读
原标题：大数据入门选择Python还是Java？java是一门面向对象编程语言，不仅吸收了C++语言的各种优点，还摒弃了C++里难以理解的多继承、指针等概念，因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，允许程序员以优雅的思维方式进行复杂的编程。Java具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、
转载
2023-10-07 15:54:09
95阅读
Python+大数据-Python进阶(四)1. 闭包和装饰器1.1 闭包闭包的定义:
在函数嵌套的前提下，内部函数使用了外部函数的变量，并且外部函数返回了内部函数，我们把这个使用外部函数变量的内部函数称为闭包。
通过闭包的定义，我们可以得知闭包的形成条件:
1.在函数嵌套(函数里面再定义函数)的前提下
2.内部函数使用了外部函数的变量(还包括外部函数的参数)
3.外部函数返回了内部函数
#
转载
2024-09-09 10:02:18
45阅读
数据分析工具SAS和R的比较是数据分析界最大的争议，由于Python的简易和实用性近两年也逐渐得到了分析界的重视，现把SAS、R和Python放到一起从数据分析角度来比较这三个工具的应用情况。首先对三者进行简单的介绍：（1）SAS：在商业分析领域，它是无可争辩的霸主。SAS提供了丰富的统计功能，友好的GUI界面可以让分析师快速上手，技术支持也做的相当到位。（2）R：R可以看做SAS的一个“开源版本
转载
2023-07-01 17:23:03
278阅读
spContent=欢迎来到《用Python玩转数据》，这是第7次开课，大壮老师会尽量用非计算机专业小伙伴们能听懂的方式讲述如何利用简单易学优雅的Python便捷地获取、表示、分析和展示数据，让大家愉快地学习用Python玩转数据。本次课程将对以往小伙伴要求的部分内容进行扩展并提供更多基础题和实用项目供学习。—— 课程团队课程概述本课程面向非计算机专业的软件开发爱好者，不局限某个专业和学历层次，需
转载
2023-11-09 09:58:08
25阅读
