概念梳理GBDT的别称
GBDT(Gradient Boost Decision Tree),梯度提升决策树。 GBDT这个算法还有一些其他的名字，比如说MART(Multiple Additive Regression Tree)，GBRT(Gradient Boost Regression Tree)，Tree Net等，其实它们都是一个东西（参考自wi
转载
2023-07-17 19:25:22
83阅读
## 实现Python Agg占比
### 简介
在Python中，Agg是一个非常流行的图形渲染器，通过使用Agg渲染器，我们可以实现各种图形和图表的绘制。本文将教会你如何使用Python Agg来计算并展示占比。
### 整体流程
下面是实现“Python Agg占比”的整体流程：
| 步骤 | 描述 |
|---|---|
| 1 | 导入必要的库 |
| 2 | 准备数据 |
|
原创
2023-10-07 06:15:37
162阅读
前言Python的pandas包提供的数据聚合与分组运算功能很强大，也很灵活。《Python for Data Analysis》这本书第9章详细的介绍了这方面的用法，但是有些细节不常用就容易忘记，遂打算把书中这部分内容总结在博客里，以便复习查看。根据书中的章节，这部分知识包括以下四部分：1.GroupBy Mechanics（groupby技术）2.Data Aggregation（数据聚合）3
# PySpark求占比实现教程
## 引言
在数据分析和机器学习领域，占比（或者比例）是一种常见的指标，用于衡量某个特定类别在整体样本中的占比情况。PySpark是一种强大的大数据处理框架，它提供了丰富的函数和方法来进行数据处理和分析。本文将介绍如何使用PySpark求占比，并提供详细的代码实例，帮助刚入行的小白快速上手。
## 整体流程
下面是实现求占比的整体流程：
```
| 步骤 |
原创
2023-11-26 11:06:32
273阅读
**pyspark dataframe agg**
## 简介
在PySpark中，DataFrame是一种表示分布式数据集的数据结构，它可以进行各种操作和转换。聚合（agg）操作是DataFrame中一个非常常用且强大的操作，它可以对数据进行分组并计算各种汇总统计。
本文将介绍PySpark DataFrame的agg操作，并通过代码示例演示其用法和功能。
## DataFrame Ag
原创
2024-01-16 07:22:56
118阅读
目录前言1. 函数参数2. 函数使用2.1 inner2.2 full,outer,fullouter2.3 left,left_outer2.4 right,right_outer2.5 leftsemi2.6 leftanti 前言本文给出了df.join的使用方法和示例，同时也给出了对应的SQL join代码； 在分辨每个join类型时，和full做对比，可以理解的更深刻。1. 函数参数在
转载
2023-06-26 23:46:21
562阅读
国际惯例，来看一段入门级代码。class Student(object):
address = '北京'
def __init__(self):
self.age = 18
stu = Student()
print(stu.age)
print(stu.address)相信输出大家都猜到了，结果为：18 北京 那么，有没有想过，是怎么查找到对应的属性的，为
转载
2024-09-27 02:44:06
61阅读
要求: 男生,女生各占比例. MySQL-->语法: 结果如下:可以求得所占比例
转载
2023-06-10 10:49:58
145阅读
用python实现小说的平均句长，词性占比，关键词，标点符号，词形统计需求如下代码：词性占比import jieba
from wordcloud import WordCloud
import re
from PIL import Image
import matplotlib.pyplot as plt
def read_file_gbk(filename):
with open
转载
2023-08-25 17:05:26
190阅读
解决 MYSQL CPU 占用 100% 的经验总结
A
增加 tmp_table_size 值。mysql 的配置文件中，
tmp_table_size 的默认大小是 32M。如果一张临时表超出该大小，MySQL产生一个 The table tbl_name is full 形式的错误，
如果你做很多高级 GROUP BY 查询，增加 tmp_tab
转载
2023-08-23 18:24:47
104阅读
需求描述
从用户登录信息表(temp_user_login)中查询首次登录后第二天仍然登录的用户占所有用户的比例，结果保留2位小数，使用百分数显示，
转载
2023-05-30 07:05:29
502阅读
一、Hive中的分析函数 分析函数主要用于实现分组内所有和连续累积的统计。分析函数的语法结构一般是： 分析函数名(参数) OVER (PARTITION BY子句 ORDER BY子句 ROWS/RANGE子句)。 即由以下三部分组成： 分析函数名：如sum、max、min、count、avg等聚集函数以及lead、lag行比较函数等； o
转载
2023-09-12 11:26:16
677阅读
Join连接图针对以上的多表查询，我们尝试做以下的实验：Join实验：CREATE TABLE `t_dept` (
`id` INT(11) NOT NULL AUTO_INCREMENT,
`deptName` VARCHAR(30) DEFAULT NULL,
`address` VARCHAR(40) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGIN
转载
2023-09-04 17:38:04
90阅读
获取数据的缺失占比案例分析在数据建模前，需要查看每一列数据的缺失情况，当缺失值的占比超过一定阈值，就需要考虑，这一列数据（或者这一个变量）是否需要参与建模。 一般选用的阈值在0.9，即：当某一个变量的缺失值占比达到90%以上，就需要删除。这里选用pandas作为主要的数据分析工具，下面开始介绍，如何用pandas查看每一个变量的缺失占比情况，以及绘制出变量缺失分布的柱状图。一、导包import p
转载
2023-12-14 19:13:07
421阅读
本文结构：介绍用命令行如何统计内存占用百分比介绍用python 如何通过读取进程文件，统计进程的内存总大小，然后计算占系统内存的百分比第一部分：在linux 下，统计apache 进程的内存使用百分比，有很多方法：使用命令将所有apache 的进程进行统计，然后相加，然后和系统的物理内存相除，求百分比。1. 例如，用"ps -e "命令就可以看到所有进程的详细信息：如图，"ps &n
转载
2023-10-12 17:31:51
148阅读
一、熟悉数据集数据集来源：IBM HR Analytics员工流失和绩效，在kaggle下载，是由IBM数据科学家创建的虚构数据集，主要目的是演示用于员工流失的Watson分析工具。因此，数据集只用于测试自己需要员工数据的模型和数据分析，不用于得出现实结论。数据大小：1470行*35列。数据字段含义：age（年龄）Attrition（摩擦）BusinessTravel（出差）Dail
转载
2024-08-03 13:09:21
38阅读
前言MySQL是一种开放源代码的关系型数据库管理系统，使用最常用的数据库管理语言——SQL进行数据库管理。MySQL是开放源代码的，因此任何人都可以下载并根据个性化的需求对其进行修改。MySQL因为其速度、可靠性和适应性而备受关注。大多数人都认为在不需要事务化处理的情况下，MySQL是管理内容最好的选择。今天，我们就来详解一下MySQL数据库的知识要点。PS:文章较长，建议收藏1.介绍为何要有索引
转载
2023-10-04 20:00:53
231阅读
近年来，智能手机行业存在一个怪象：iPhone的销量看起来增长乏力，份额被安卓手机不断蚕食，比如2019年全球市场份额为13%，安卓智能手机大约为87%，是iPhone的6倍多，但论赚钱能力，“小众”的iPhone却又拿走了全行业近7成利润，“大众”的安卓手机仅得到3成多利润，还是十几家厂商抢食这一小块“肉”。赢了市场，输了利润，这就是安卓智能手机的生存现状。而对于iPhone如何赚取高额利润，一
转载
2024-08-26 10:02:46
332阅读
# Python占比：从数据分析到可视化的全景
在当今科技迅猛发展的背景下，Python作为一种功能强大且易学习的编程语言，正受到越来越多开发者和数据科学家的青睐。根据最新的调查，Python在数据科学、人工智能和网络开发领域的占比逐年增加。本文将探讨Python的应用占比，以及如何通过简单的代码示例，展示其强大的数据分析与可视化能力。
## Python的用途
Python的广泛应用使其成
# MySQL 占比实现指南
## 简介
MySQL 是一款常用的关系型数据库管理系统，占据了数据库领域的重要地位。在日常工作中，我们经常需要计算数据在 MySQL 数据库中的占比，以便进行数据分析和决策。本文将介绍实现 MySQL 占比的流程，并提供相应的代码示例。
## 流程概述
下面是实现 MySQL 占比的整个流程：
| 步骤 | 说明 |
| --- | --- |
| 连接 My
原创
2023-08-11 18:30:40
104阅读
