推荐开源项目：Mesa——Python中的Agent-based建模工具 mesa Mesa is an open-source Python library for agent-based modeling, ideal for simulating complex systems and exploring emergent behaviors. 项目地址: https://gitcode.
在Python中，这种一边循环一边计算的机制，称为生成器：generator。要创建一个generator，有很多种方法。第一种方法很简单，只要把一个列表生成式的[]改成()，就创建了一个generator：>>> L = [x * x for x in range(10)]>>> L[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]>
转载
2024-10-12 20:46:52
26阅读
XGB和LGB区别：1、直方图优化，对连续特征进行分桶，在损失了一定精度的情况下大大提升了运行速度，并且在gbm的框架下，基学习器的“不精确”分箱反而增强了整体的泛化性能；（XGB也提出了类似的近似分位数算法，对特征进行分桶，即找到l个划分点，将位于相邻分位点之间的样本分在一个桶中。在遍历该特征的时候，只需要遍历各个分位点，从而计算最优划分。从算法伪代码中该流程还可以分为两种，全局的近似是在新生成
一、VectorAssemblerVectorAssembler 是一个转换器，它将给定的列列表组合成单个向量列。 它对于将原始特征和不同特征转换器生成的特征组合成单个特征向量很有用，以便训练 ML 模型，如逻辑回归和决策树。 VectorAssembler 接受以下输入列类型：所有数字类型、布尔类型和向量类型。 在每一行中，输入列的值将按指定顺序连接成一个向量。 %spark
// 特征转换 —
转载
2024-01-12 07:46:58
133阅读
# 导入必要的库
import logging
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import numpy as np
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_a
原创
2024-08-02 14:12:43
86阅读
说明：这是一个机器学习实战项目（附带数据+代码+文档+代码讲解），如需数据+代码+文档+代码讲解可以直接到文章最后获取。1.项目背景 如今已是大数据时代，具备大数据思想至关重要，人工智能技术在各行各业的应用已是随处可见。GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策
转载
2023-08-17 17:14:00
121阅读
前言虽然有充分的理由使用Python API开发Spark应用程序，但不可否认的是，Scala是Spark的母语。如果您需要PySpark不支持的功能，或者只想在Python应用程序中使用Scala库，那么这篇文章将展示如何将两者结合起来，并充分利用两者。一、在PySpark应用程序中调用Scala代码Pyspark在解释器和JVM之间建立了一个geteway ，也就是 Py4J 。我们可以用它
转载
2023-07-29 11:33:30
236阅读
点赞
前言刚开始接触机器学习的时候，了解比较多的还是回归问题，但其实实际生活中，更多的是分类问题，例如人脸识别、目标识别、过滤垃圾邮件等等。而logistics可以说是最简单的分类算法。sigmoid函数sigmoid函数又称logistics函数，如图呈现s形，sigmoid可以将线性回归函数值映射到区间 ( 0,1 ) ，作为概率输出，大于或等于0.5判为正类，小于0.5判为父类。那么又有疑问了？那
pyspark rdd.py文件代码纪录代码版本为 spark 2.2.01.RDD及常见算子class RDD(): #这里简单介绍几个典型的算子,其余的算子代码可以自己去看一看
def __init__(self, jrdd, ctx, jrdd_deserializer=AutoBatchedSerializer(PickleSerializer())):
转载
2024-05-17 23:23:30
83阅读
UFLDL深度学习笔记 （二）Softmax 回归本文为学习“UFLDL Softmax回归”的笔记与代码实现，文中略过了对代价函数求偏导的过程，本篇笔记主要补充求偏导步骤的详细推导。1. 详细推导softmax代价函数的梯度经典的logistics回归是二分类问题，输入向量$ x{(i)}\in\Re$ 输出0,1判断\(y^{(i)}\in{\{0,1\}}\)，Softmax回归模型是一种多
投稿：hebedich 字体：[增加 减小] 类型：转载 时间：2014-10-20
本篇文章将介绍如何将语句组织成函数，以及参数概念以及在程序中的用途,需要的朋友可以参考下
Pythond 的函数是由一个新的语句编写，即def，def是可执行的语句--函数并不存在，直到Python运行了def后才存在。
函数是通过赋值传递的，参数通过赋值传递给函数
def语句将创建一个函数对象并将其赋值给
参数详解from sklearn import linear_model
linear_model.LogisticRegression(penalty='l2', dual=False, tol=0.0001, C=1.0,
fit_intercept=True, intercept_scaling=1,
转载
2024-09-02 15:51:47
49阅读
一、基础原理我们知道 spark 是用 scala 开发的，而 scala 又是基于 Java 语言开发的，那么 spark 的底层架构就是 Java 语言开发的。如果要使用 python 来进行与 java 之间通信转换，那必然需要通过 JVM 来转换。我们先看原理构建图： 从图中我们发现在 python 环境中我们编写的程序将以 SparkContext 的形式存在，Pythpn
转载
2023-09-09 07:42:54
62阅读
1.初识Spark1.1 Spark（基础原理知识）Spark是一个开源的，强大的分布式查询和处理引擎，他提供MapReduce的灵活性和扩展性（不以Mapreduce的数据处理框架），当数据存储在内存中时，他比Apache Hadoop快100倍，访问磁盘时高达10倍他支持高级API有：
1.Scala
2.Java
3.Ptyhon
4.R
而今天我们就要了解Pyspark的运用Apache
转载
2023-12-19 22:54:20
48阅读
一. 什么是PySpark 使用过的bin/pyspark
程序
,
要注意
,
这个只是一个
应用程序
,
提供一个
Python
解释器执行环境来运行
Spark
任务 现在说的
PySpark,
指的是
Python
转载
2024-07-24 20:54:40
22阅读
Spark数据分析之pyspark一、大数据简史,从hadoop到Spark1.hadoop的出现：
（1）问题：1990年，电商爆发以及机器产生了大量数据，单一的系统无法承担
（2）办法：为了解决（1）的问题许多公司，尤其是大公司领导了普通硬件集群的水平扩展
（3）执行：hadoop应运而生
2.spark的出现：
（1）hadoop面临问题：
- 硬件瓶颈：多年来，内存技术突飞猛进
转载
2024-08-14 16:13:00
38阅读
1. 环境 : centos，启动pyspark，执行如下python命令： import pyspark
from pyspark import SparkContext
from pyspark import SparkConf
conf=SparkConf().setAppName("miniProject").setMaster("local[*]")
sc=SparkCo
转载
2023-06-07 20:19:07
169阅读
# PySpark 基础教学
在数据处理和分析的领域，Apache Spark 是一个强大的引擎，它可以处理大规模数据集，PySpark 则是其 Python 接口。对于刚入行的小白，学习 PySpark 可能会有些挑战。本文将通过一个简单的流程，帮助你逐步实现 PySpark 的基础代码。
## 流程概述
在使用 PySpark 进行数据处理时，我们通常遵循以下步骤：
| 步骤 | 说明
《Python金融大数据风控建模实战》 第14章 决策树模型本章引言Python代码实现及注释 本章引言在评分卡建模中，模型可解释性也很重要。除了Logistic回归模型，决策树模型也是一个非常好理解的模型。 决策树模型的规则组合以树的形式展现，由根节点到每一个叶结点的路径构成了一条规则，路径上中间节点的特征对应着具体规则的条件，每个叶结点代表决策结果。同时，这个规则集合具有互斥并完备的性质，即
转载
2024-02-27 06:46:47
165阅读
1 基本概念准备1.1 协方差反应两个变量之间线性相关的强度，记为Cov(f(x),g(x))= E[(f(x)-E[f(x)])(g(x)-E(g(x)))] 关于协方差的特性:若协方差绝对值很大, 则变量值得变化很大, 且相距各自均值很远若协方差为正, 则两变量x,y都倾向于取较大值, 若协方差为负, 则一个倾向于取较大值,另一个倾向取较小值 相关系数: 将每个变量归一化,
