面对读取上G的数据，python不能像做简单代码验证那样随意，必须考虑到相应的代码的实现形式将对效率的影响。如下所示，对pandas对象的行计数实现方式不同，运行的效率差别非常大。虽然时间看起来都微不足道，但一旦运行次数达到百万级别时，其运行时间就根本不可能忽略不计了：故接下来的几个文章将会整理下渣渣在关于在大规模数据实践上遇到的一些问题，文章中总结的技巧基本是基于pandas，有错误之处望指正。
转载
2023-06-28 15:30:50
114阅读
这里写目录标题2 python常用标准库函数2.1 数学运算 import math2.2 处理文件 import os2.3 生成随机数 import random2.4 时间日期 import datetime3 数据获取与表示3.1 打开文件 open为什么要用 with 语句文件指针 seek代码示例：批量读取文件（循环）3.2 网络数据获取网页数据解析3.3 序列标准类型运算符序列类型
转载
2023-09-22 21:19:06
54阅读
第一章 绪论1.开发环境 windows-x64位，pycharm，python3.82.基本功能介绍 本次可视化页面的制作主要有三步，web服务器页面的制作，爬取页面的国家和GDP数据和将数据进行可视化页面，web服务器页面的制作主要是FastAPI框架，爬取页面上的数据主要采用requests模块和re模块，而数据可视化主要是用pyecharts模块进行导入相应形状的表格。本次实训利用四天时间
转载
2023-08-09 16:52:15
73阅读
在写书单前，小编在知乎上看过一个关于“怎么才能写好一份书单”的提问，有人回答说第一眼先看有没有读过的min Yosko
原创
2023-07-26 10:01:43
125阅读
一、大数据对象简介 1.LOB（Large Object，大型对象）类型的字段现在用得越来越多了。因程序、...
原创
2022-12-15 13:40:55
219阅读
Python+大数据-Python进阶(四)1. 闭包和装饰器1.1 闭包闭包的定义:
在函数嵌套的前提下，内部函数使用了外部函数的变量，并且外部函数返回了内部函数，我们把这个使用外部函数变量的内部函数称为闭包。
通过闭包的定义，我们可以得知闭包的形成条件:
1.在函数嵌套(函数里面再定义函数)的前提下
2.内部函数使用了外部函数的变量(还包括外部函数的参数)
3.外部函数返回了内部函数
#
转载
2024-09-09 10:02:18
45阅读
需求背景在很多时候我们需要抽取视频的某一帧做一些分析或修改等；比如笔者需求就是判断一个人在该视频中出现的频率，以判断他是否是这段视频的主角；
关于opencvOpenCV 是 Intel 开源计算机视觉库 (Computer Version) 。它由一系列 C 函数和少量 C++ 类构成，实现了图像处理和计算机视觉方面的很多通用算法。OpenCV 拥有包括 300 多个 C 函数的跨平台的中、高
原创
2022-03-23 13:57:24
3121阅读
数据分析工具SAS和R的比较是数据分析界最大的争议，由于Python的简易和实用性近两年也逐渐得到了分析界的重视，现把SAS、R和Python放到一起从数据分析角度来比较这三个工具的应用情况。首先对三者进行简单的介绍：（1）SAS：在商业分析领域，它是无可争辩的霸主。SAS提供了丰富的统计功能，友好的GUI界面可以让分析师快速上手，技术支持也做的相当到位。（2）R：R可以看做SAS的一个“开源版本
转载
2023-07-01 17:23:03
278阅读
这两年，国内大数据和云计算的研究正在不断发展和拓宽，信息化时代让更多用户见证了大数据分析的魅力。现在生成数据更加容易，并且成本更低。然而它却把压力推给了生命周期的其余部分：收集和存储、分析和计算，从而能够搞清楚这些快速增长的数据的意义。TSINGSEE青犀视频在视频智能监控领域的探索也已经达到了对数据进行分析的程度，其中就包含视频数据的收集、存储，对占用带宽、内存的计算等内容。然而，已经具备的这些
转载
2024-01-15 18:43:17
77阅读
作者 | 橙子校对 | gongyouliu编辑 | auroral-L全文共1457字，预计阅读时间15分钟。本文的视频版本如下，欢迎关注并观看。以下是文字版本。小伙伴们大家好呀，欢迎来到数据与智能小课堂~今天的课程内容为《大数据基础入门介绍》。本次内容将分为三个部分为大家讲解：大数据的概念、大数据技术和大数据的应用。11. 大数据的概念现在在我们的日常生活中，随时能听到”大数据“这
转载
2024-01-15 14:13:24
11阅读
Java Code Geeks联合创始人Byron Kiourtzoglou近日发表文章，从理论到实践剖析了大数据的4个V，并于文章最后分享了Java工程师可能会需要的13个主流开源大数据工具。 大数据几乎已成为所有商业领域共有的最新趋势，然而大数据究竟是什么？是噱头、泡沫，又或是真如传言一样的重要。事实上，大数据是个非常简单的术语——就像它所说的一样，是非常大的数据集。那么究竟有大多？真实的
转载
2023-09-14 21:30:30
39阅读
不管是科达大力推广的感知摄像机（Intelligent IPC）还是海康公司的Smart IPC、或者NICE公司的Suspect Search系统，其本质都是智能视觉分析技术与“大数据”的结合应用。最近两年以来，我们听到太多的“大数据与安防监控”的概念，但是，基本都停留在理念表面，描绘的是一个美好的前景，至于如何实施，或者到底能不能实施，很多人还是疑惑很大。本文从技术角度，说明智能视频分析技术与
转载
2023-10-18 13:06:19
121阅读
在平日你都喜欢干什么打发时间呢？央视最近发布了一则数据，2020年中国人每天多了24分钟休闲时间。在休闲时间里，有38.28%的人在刷手机，排在手机娱乐前三位的是：刷短视频、打游戏和追剧观影。短视频无疑成为了人们“杀时间”的第一利器。视频编辑西语深有感受，他“抱怨”短视频已见缝插针地深入到其生活的点点滴滴，自己会在上班间隙刷，上厕所、坐公交时刷，吃饭的时候刷，甚至逗宠物猫时也关小声音抽空看几眼。有
转载
2023-10-18 14:49:01
76阅读
搜索服务是阿里云产品非常重要的组成部分，也承载了阿里巴巴集团的全部主要的搜索任务。这里的搜索服务主要包含两个产品：阿里云Elasticsearch和开放搜索OpenSearch。 本文将介绍如何玩转阿里云搜索的大数据服务。 阿里云Elasticsearch 阿里云Elasticsearch，提供基于
转载
2019-01-08 15:20:00
95阅读
场景：Hive内置的upper函数只能处理英文字符，我们需要一个「能处理中文拼音首字母大写」的UDF（比如「张三」→「ZhangSan」）。实现步骤编写Java代码：继承类，实现evaluate方法；编译打包：用Maven或Gradle编译成Jar包；注册函数：在Hive中添加Jar包并注册函数；使用函数。Java代码示例// 初始化拼音格式（首字母大写，无音调）static {// 实现evaluate方法（Hive会自动调用这个方法）
一、项目需求与组件架构1.1需求1、三种日志内容：行为日志、内容日志、业务日志。针对这三种日志会采取不同的手段，将数据采集到hdfs中，再建立转化为不同的hive表，以供后续的数据需求分析2、行为日志和内容日志被采集到hdfs中时，要自动按照每一天的日期来划分数据存储目录。3、数据采集好之后，统一使用azkaban来进行shell脚本的调度。因为数据的采集过程需要很多步骤来完成，而这些步骤统一使用
转载
2024-03-04 02:09:29
96阅读
随着生活的丰富，产生数据的设备也是愈来愈多，同样需要处理的数据体积也是日益激增，各个机构也纷纷把眼光投向“大数据”这个术语。在这场数据的淘金中许多公司满载而归，然而“大数据”投资失败的公司也不可谓不多，所以就有了之前的一篇文章“ Why Big Data Projects Fail”。对此，商业智能工具研发总监、esProc、esCalc高级顾问Jim King否认了这个看法，并以Google为例
原创
2016-10-11 09:30:43
340阅读
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayxGBDT (Gradient Boosting Decision Tree)是机器学习中...
原创
2021-10-25 15:15:03
246阅读
机器学习AI算法工程 ：datayxGBDT (Gradient Boosting Decision Tree)是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT在工业界应用广泛，通常被用于点击率预测，搜索排序等任务。GBDT也是各种数据挖掘竞赛的致命武器，据统计Kaggle上的比赛有一半以上
原创
2022-04-24 14:37:57
43阅读
房间里的人群、家具、彩电、冰箱自重，移动车辆荷载、风载、雪载等属于( )。不得委托他人代理公证的是()。城市土地的位置具有重要的特殊性，决定着地价和地租的高低。我国的土地属于全民所有在其它条件不变的情况下，某种商品的需求：( )工程造价控制的基本内容包括( )工程造价控制的基本内容包括( )预测时期越长，对企业经营环境和市场营销条件的推测判断就越不准确。 ( )地理环境是社区具有的自然属性,也是影
转载
2024-01-17 23:27:34
39阅读
