Python基础知识 数据结构：常量、变量、元组（列表）、字典 数据类型：int float str 算法：分支和循环 面向对象：类、属性、方法变量命名注意事项： 1.变量名必须以字母下划线开头 2.变量名中不能有空格及标点字符 3.不能用关键字作为变量名 4.变量名区分大小写Python语言的特点： 无头文件、无主函数、无大括号、无分号，简洁，靠缩进来区分语句，且变量的定义不需要书写类型，直接赋
转载
2024-04-23 09:14:18
36阅读
作为系列文章的第四篇，本文将重点探讨数据采集层中的ELK日志系统。日志，指的是后台服务中产生的log信息，通常会输入到不同的文件中，比如Django服务下，一般会有nginx日志和uWSGI日志。这些日志分散地存储在不同的机器上，取决于服务的部署情况了。如果我们依次登录每台机器去查阅日志，显然非常繁琐，效率也很低，而且也没法进行统计和检索。因此，我们需要对日志进行集中化管理，将所有机器上的
转载
2024-10-28 10:21:28
33阅读
一、定义数据分箱（Binning）作为数据预处理的一部分，也被称为离散分箱或数据分段。其实分箱的概念其实很好理解，它的本质上就是把数据进行分组。分箱就是把数据按特定的规则进行分组，实现数据的离散化，增强数据稳定性，减少过拟合风险。逻辑回归中进行分箱是非常必要的，其他树模型可以不进行分箱。二、分箱原因在建立逻辑回归模型的过程中，基本都会对特征进行分箱的操作。有些树模型，虽然不是必须，也会对一些特征进
转载
2024-02-28 12:04:15
82阅读
# Python中的滚动算法
在数据处理和分析中，滚动算法是一种常见的技术，用于在连续数据流中实时计算统计值。其中最大数的滚动算法就是一种常见的应用场景，可以帮助我们实时监测数据流中的最大值。
## 滚动算法原理
滚动算法通过在每次数据更新时动态更新统计值，而不是每次都重新计算，从而减少了计算开销。对于求最大数的滚动算法，我们可以通过维护一个移动窗口来记录最近的N个数据，并在新数据到来时更新
原创
2024-06-23 04:47:17
47阅读
大数据是什么？大数据本身是一个抽象的概念，大数据是指无法在有限时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。业界对大数据还没有一个统一的定义，但是大家普遍认为，大数据具备 Volume、Velocity、Variety 和 Value 四个特征，简称“4V”，即数据体量巨大、数据速度快、数据类型繁多和数据价值密度低，如图 1 所示。下面分别对每个特征作简要描述。①Volume：表示
转载
2024-05-28 06:42:55
47阅读
大数据是个铺天盖地的词，而谈论大数据又不可避免地要提到Hadoop，Hadoop到底是什么玩意，以及有何功用。 Hadoop是Apache软件基金会管理的开源软件平台，但Hadoop到底是什么呢？简单来说，Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法。Hadoop被设计成一种非常“鲁棒”的系统，即使某台服务器甚至集群宕机了，运行其上的大数据分析应用也不会中断。此外H
转载
2023-07-20 17:53:41
0阅读
hadoop大数据集群搭设前言所需软件虚拟机准备工作一、Jdk安装二、安装zookeeper三、HBase安装四、mysql安装配置五、安装hive 前言经过长时间的测试总结出在目前集群搭建最稳定的步骤是： 至少我按这个过程基本0失误，且初始化次数最少。当然也可以尝试先单机把所有软件都装好，最后直接克隆生成子机，但这样失误率高，出错难查找不利于学习！ 同时提醒大家一般安装都会提前把需要的软件下载
越来越多程序员也涌入大数据行业，但是仔细问一些从业人员什么是大数据？鲜有人知道？就算知道的，最常引用Victor的4V理论，大量(Volume)，快速(Velocity)，种类多(Variety)，价值(Value)，但究竟多大是大？多快是快？几种算种类多？每个人都有自己的观点。最核心的问题还不在数量和种类，而是价值(Value)。什么是大数据的价值？如何体现它的价值？如何衡量它的价格 ？它能够变
在信息化时代，大数据技术日益凸显其重要性，对于从事大数据领域工作的人士来说，通过软考的大数据专业技术资格认证具有显著意义。那么，大数据专业软考成绩怎么算？这是很多考生关注的问题。本文将详细解析软考成绩计算的相关事项，帮助考生更好地了解软考成绩的计算方法。
一、软考概述
软考，全称计算机技术与软件专业技术资格（水平）考试，是由国家人力资源和社会保障部、工业和信息化部联合主办的国家级考试。软考涵盖
原创
2023-12-11 13:37:20
95阅读
prefacePython在大数据行业非常火爆近两年，as a pythonic，所以也得涉足下大数据分析，下面就聊聊它们。Python数据分析与挖掘技术概述所谓数据分析，即对已知的数据进行分析，然后提取出一些有价值的信息，比如统计平均数，标准差等信息，数据分析的数据量可能不会太大，而数据挖掘，是指对大量的数据进行分析与挖倔，得到一些未知的，有价值的信息等，比如从网站的用户和用户行为中挖掘出用户的
转载
2023-08-22 15:40:28
138阅读
题目翻译：思路分析： 由于编程语言提供的基本数值数据类型表示的数值范围有限，不能满足较大规模的高精度数值计算，因此需要利用其他方法实现高精度数值的计算，于是产生了大数运算。对于 Java和 Python 这些自带高精度的语言来说，大数运算完全不是问题，但是对于 C/C++ 选手来说就很难受了。代码实现： 第一种Python实现方法，这个题归根结底就是一个普通的四则运算，一星的题只配一星的算法
转载
2024-04-10 21:58:20
29阅读
数据挖掘模块作为一个跨学科的计算机科学分支，数据挖掘是用人工智能、机器学习、统计学和数据库的交叉方法在相对较大型的数据集中发现模式的计算过程，属于非传统的数据处理。相对于传统ETL数据处理，数据挖掘更侧重于知识发现，其计算和规则也更加复杂。大数据分析的理论核心，其本质是一组根据算法事先定义好的数学公式，将收集到的数据作为参数变量带入其中，从而能够从大量复杂的数据中提取到有价值的信息。著名的“啤酒和
转载
2024-05-23 09:55:10
6阅读
1.获取数组极值，并返回索引 c = [-10,-5,0,5,3,10,15,-20,25] print c.index(min(c)) # 返回最小值
print c.index(max(c)) # 返回最大值 2.对series求最值 file_path = 'D:/RecentReserch/TestData/alldayrequests2014.xlsx'
df = pd.read_
转载
2023-06-30 21:18:23
83阅读
数据就是资产。大数据工程师是现在十分火热、高薪的职位。做大数据开发和分析不仅要用到Java，Python也是最重要的语言。 那么，今天我们就来分析一下，Python之于大数据的意义和作用。什么是大数据？大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信
转载
2023-09-20 22:51:16
93阅读
在 Python 中，我们可以找到原生的并行化运算指令。本文可以教你仅使用 3 行代码，大大加快数据预处理的速度。Python 是机器学习领域内的首选编程语言，它易于使用，也有很多出色的库来帮助你更快处理数据。但当我们面临大量数据时，一些问题就会显现……目前，大数据（Big Data）这个术语通常用于表示包含数十万数据点的数据集。在这样的尺度上，工作进程中加入任何额外的计算都需要时刻注意保持效率。
转载
2024-06-04 07:44:10
40阅读
文章目录一、Pandas 概述二、Series 对象三、DataFrame 对象四、导入外部数据1. 导入 .xls 或 .xlsx 文件2. 导入 .csv 文件3. 导入 .txt 文本文件4. 导入 HTML 网页五、数据抽取六、数据的增加、修改和删除1. 增加数据2. 修改数据3. 删除数据七、数据清洗1. 查看与处理缺失值2. 重复值处理3. 异常值的检测与处理八、索引值的设置1. 索
转载
2023-09-24 09:24:04
85阅读
python在数据科学中非常流行，有大量可供开发人员使用的库和框架，这些库对数据分析和机器学习都特别有用，为处理大数据提供了无数的支持，使python成为大数据最受欢迎的语言。一、Python 环境搭建1.1 安装 Python安装Python最简单的方法是访问 Python 官方网站并下载相应的版本。Python 的官方网站（http://www.python.org/）提供了 Python 的
转载
2023-07-27 13:42:04
111阅读
Python与大数据随着互联网和物联网的快速发展，数据已经成为了一个非常重要的资源。人们需要对这些数据进行采集、存储、处理和分析，从而获取有价值的信息和洞见。而这些数据往往是非常大的，需要使用一些特殊的技术和工具来处理。这就是大数据技术的应用场景。Python是一种非常适合用于大数据处理的编程语言。它具有简单易学、开发效率高、生态系统完善等优点，同时还有很多专门用于大数据处理的库和框架。在这篇文章
转载
2023-08-04 11:49:53
58阅读
一、计算机运行基本原理及python基础在了解计算机运行基本原理之上，理解python程序运行基本原理。做好数据分析准备工作。安装好Anaconda做好相应变量配置，下载cmd工具Conemu，利用Anaconda工具安装配置好jupyternotebook。二、jupyternotebook上的代码示例打开conemu，输入命令 conda env list 查看所创建的虚拟环境，选择第二个虚拟
转载
2023-10-09 17:12:09
12阅读
对于Pandas运行速度的提升方法，之前已经介绍过很多回了，里面经常提及Dask，很多朋友没接触过可能不太了解，今天就推荐一下这个神器。1、什么是Dask？Pandas和Numpy大家都不陌生了，代码运行后数据都加载到RAM中，如果数据集特别大，我们就会看到内存飙升。但有时要处理的数据并不适合RAM，这时候Dask来了。Dask是开源免费的。它是与其他社区项目(如Numpy，Pandas和Scik
转载
2024-01-16 11:07:12
30阅读
