这里写目录标题2 python常用标准库函数2.1 数学运算 import math2.2 处理文件 import os2.3 生成随机数 import random2.4 时间日期 import datetime3 数据获取与表示3.1 打开文件 open为什么要用 with 语句文件指针 seek代码示例：批量读取文件（循环）3.2 网络数据获取网页数据解析3.3 序列标准类型运算符序列类型
转载
2023-09-22 21:19:06
54阅读
面对读取上G的数据，python不能像做简单代码验证那样随意，必须考虑到相应的代码的实现形式将对效率的影响。如下所示，对pandas对象的行计数实现方式不同，运行的效率差别非常大。虽然时间看起来都微不足道，但一旦运行次数达到百万级别时，其运行时间就根本不可能忽略不计了：故接下来的几个文章将会整理下渣渣在关于在大规模数据实践上遇到的一些问题，文章中总结的技巧基本是基于pandas，有错误之处望指正。
转载
2023-06-28 15:30:50
114阅读
第一章 绪论1.开发环境 windows-x64位，pycharm，python3.82.基本功能介绍 本次可视化页面的制作主要有三步，web服务器页面的制作，爬取页面的国家和GDP数据和将数据进行可视化页面，web服务器页面的制作主要是FastAPI框架，爬取页面上的数据主要采用requests模块和re模块，而数据可视化主要是用pyecharts模块进行导入相应形状的表格。本次实训利用四天时间
转载
2023-08-09 16:52:15
73阅读
在写书单前，小编在知乎上看过一个关于“怎么才能写好一份书单”的提问，有人回答说第一眼先看有没有读过的min Yosko
原创
2023-07-26 10:01:43
125阅读
一、大数据对象简介 1.LOB（Large Object，大型对象）类型的字段现在用得越来越多了。因程序、...
原创
2022-12-15 13:40:55
219阅读
Python+大数据-Python进阶(四)1. 闭包和装饰器1.1 闭包闭包的定义:
在函数嵌套的前提下，内部函数使用了外部函数的变量，并且外部函数返回了内部函数，我们把这个使用外部函数变量的内部函数称为闭包。
通过闭包的定义，我们可以得知闭包的形成条件:
1.在函数嵌套(函数里面再定义函数)的前提下
2.内部函数使用了外部函数的变量(还包括外部函数的参数)
3.外部函数返回了内部函数
#
转载
2024-09-09 10:02:18
45阅读
数据分析工具SAS和R的比较是数据分析界最大的争议，由于Python的简易和实用性近两年也逐渐得到了分析界的重视，现把SAS、R和Python放到一起从数据分析角度来比较这三个工具的应用情况。首先对三者进行简单的介绍：（1）SAS：在商业分析领域，它是无可争辩的霸主。SAS提供了丰富的统计功能，友好的GUI界面可以让分析师快速上手，技术支持也做的相当到位。（2）R：R可以看做SAS的一个“开源版本
转载
2023-07-01 17:23:03
278阅读
随着生活的丰富，产生数据的设备也是愈来愈多，同样需要处理的数据体积也是日益激增，各个机构也纷纷把眼光投向“大数据”这个术语。在这场数据的淘金中许多公司满载而归，然而“大数据”投资失败的公司也不可谓不多，所以就有了之前的一篇文章“ Why Big Data Projects Fail”。对此，商业智能工具研发总监、esProc、esCalc高级顾问Jim King否认了这个看法，并以Google为例
原创
2016-10-11 09:30:43
340阅读
搜索服务是阿里云产品非常重要的组成部分，也承载了阿里巴巴集团的全部主要的搜索任务。这里的搜索服务主要包含两个产品：阿里云Elasticsearch和开放搜索OpenSearch。 本文将介绍如何玩转阿里云搜索的大数据服务。 阿里云Elasticsearch 阿里云Elasticsearch，提供基于
转载
2019-01-08 15:20:00
95阅读
场景：Hive内置的upper函数只能处理英文字符，我们需要一个「能处理中文拼音首字母大写」的UDF（比如「张三」→「ZhangSan」）。实现步骤编写Java代码：继承类，实现evaluate方法；编译打包：用Maven或Gradle编译成Jar包；注册函数：在Hive中添加Jar包并注册函数；使用函数。Java代码示例// 初始化拼音格式（首字母大写，无音调）static {// 实现evaluate方法（Hive会自动调用这个方法）
房间里的人群、家具、彩电、冰箱自重，移动车辆荷载、风载、雪载等属于( )。不得委托他人代理公证的是()。城市土地的位置具有重要的特殊性，决定着地价和地租的高低。我国的土地属于全民所有在其它条件不变的情况下，某种商品的需求：( )工程造价控制的基本内容包括( )工程造价控制的基本内容包括( )预测时期越长，对企业经营环境和市场营销条件的推测判断就越不准确。 ( )地理环境是社区具有的自然属性,也是影
转载
2024-01-17 23:27:34
39阅读
随着生活的丰富，产生数据的设备也是愈来愈多，同样需要处理的数据体积也是日益激增，各个机构也纷纷把眼光投向“大数据”这个术语。在这场数据的淘金中许多公司满载而归，然而“大数据”投资失败的公司也不可谓不多，所以就有了之前的一篇文章“ Why Big Data Projects Fail”。对此，商业智能工具研发总监、esProc、esCalc高级顾问Jim King否认了这个看法，并以Google为例
转载
精选
2013-10-04 22:54:04
185阅读
大数据时代，不管是IT巨头还是中小企业，都非常重视大数据技术，那么对于小企业来说，在这个大数据人才高度缺乏的情形下，怎么样才能发展好大数据呢？ 大数据能为企业带来什么？更多的订单，更低的成本，更快捷的管理，更新的业务模式。巧妙善用互联网上的大数据， 小型创业团队就可以为自己快速积攒早期创业所需的资源，从而降低创业成本，提高收益率。然而
转载
精选
2016-06-30 17:05:07
650阅读
智慧校园全球大学生创意应用大赛落幕，六支决赛队伍精彩呈现校园黑科技。
转载
2021-07-27 17:33:19
124阅读
prefacePython在大数据行业非常火爆近两年，as a pythonic，所以也得涉足下大数据分析，下面就聊聊它们。Python数据分析与挖掘技术概述所谓数据分析，即对已知的数据进行分析，然后提取出一些有价值的信息，比如统计平均数，标准差等信息，数据分析的数据量可能不会太大，而数据挖掘，是指对大量的数据进行分析与挖倔，得到一些未知的，有价值的信息等，比如从网站的用户和用户行为中挖掘出用户的
转载
2023-08-22 15:40:28
138阅读
Python 基础 -- 变量以及常用的数据结构注： 本文按照为免费Python全栈教程系列的流程及内容编写 目录Python 基础 -- 变量以及常用的数据结构1. 变量的命名2. 变量的赋值3. 变量的数据类型3.1 Number 数字类型 3.2 字符串3.3 列表 List3.4 元组 tuple3.5 字典 dict3.
转载
2023-12-24 08:13:23
43阅读
Ranger是什么ApacheRanger是Hadoop平台上操作、监控、管理数据安全的集中式安全管理框架。Ranger的愿景是在ApacheHadoop生态系统中提供全面的安全性。目前，ApacheRanger支持以下Apache项目的细粒度授权和审计：（1）ApacheHadoop（2）ApacheHive（3）ApacheHBase（4）ApacheStorm（5）ApacheKnox（6）
原创
2020-03-05 18:43:23
1223阅读
编者按：本文作者廖锐，北京腾云天下科技（TalkingData）产品经理，长期混迹于移动互联网广告圈，对移动广告和数据感兴趣的读者可以在新浪微博@Ruidon_廖锐 。自从Android平台横空出世的那天，就打上了开放和免费的标签，因此很多Android的开发者都不得不通过在APP中投放广告的方式来获得盈利，那么要真正弄明白自己的收入情况，玩转移动互联网广告，没有数据支撑是肯定不行的。
原创
2012-05-15 09:35:28
95阅读
Python与大数据随着互联网和物联网的快速发展，数据已经成为了一个非常重要的资源。人们需要对这些数据进行采集、存储、处理和分析，从而获取有价值的信息和洞见。而这些数据往往是非常大的，需要使用一些特殊的技术和工具来处理。这就是大数据技术的应用场景。Python是一种非常适合用于大数据处理的编程语言。它具有简单易学、开发效率高、生态系统完善等优点，同时还有很多专门用于大数据处理的库和框架。在这篇文章
转载
2023-08-04 11:49:53
58阅读
一、计算机运行基本原理及python基础在了解计算机运行基本原理之上，理解python程序运行基本原理。做好数据分析准备工作。安装好Anaconda做好相应变量配置，下载cmd工具Conemu，利用Anaconda工具安装配置好jupyternotebook。二、jupyternotebook上的代码示例打开conemu，输入命令 conda env list 查看所创建的虚拟环境，选择第二个虚拟
转载
2023-10-09 17:12:09
12阅读
