目录转换器（transformer）和估计器（estimator）K-近邻（K-Nearest Neighbors，简称KNN）算法模型选择与调优交叉验证（Cross-validation）GridSearchCV API朴素贝叶斯（Naive Bayes） 算法MultinomialNB 和 GaussianNB 区别决策树（Decision Tree）随机森林 转换器（t
转载
2023-08-21 22:47:27
62阅读
记录pyspark学习篇，学习资料来自spark官方文档，主要记录pyspark相关内容，要么直接翻译过来，要么加上自己的理解。spark2.4.8官方文档如下： https://spark.apache.org/docs/2.4.8/ml-statistics.html 目录基本统计1.相关性1.1 导包1.2 本地向量生成方法1.2.1 生
转载
2023-10-27 00:36:32
75阅读
# 使用 PySpark 进行 MLP（多层感知器）调参
随着大数据时代的来临，分布式计算框架的兴起使得我们可以处理更大规模的数据集。Apache Spark 是一个强大的开源集群计算框架，它的 Python 接口 PySpark 提供了增强的功能。本文将重点介绍如何在 PySpark 中使用多层感知器（MLP）进行机器学习模型的参数调优，并借助可视化工具帮助理解这一过程。
## 1. 什么是
一、VectorAssemblerVectorAssembler 是一个转换器，它将给定的列列表组合成单个向量列。 它对于将原始特征和不同特征转换器生成的特征组合成单个特征向量很有用，以便训练 ML 模型，如逻辑回归和决策树。 VectorAssembler 接受以下输入列类型：所有数字类型、布尔类型和向量类型。 在每一行中，输入列的值将按指定顺序连接成一个向量。 %spark
// 特征转换 —
转载
2024-01-12 07:46:58
133阅读
这个课题是我上学期应该做的，结果拖到现在才完成，有点不好意思，做完了才发现很简单，但是就是平时偷懒，呵呵。现在来记录各个步骤，以便以后的研究。前提是给风景图像和卡通图像分类。使用的工具是SVM-KM，基于matlab平台。1。准备200多幅用于训练的图像，一般采用jpg的，因为是彩色图像便于识别，最好用相同尺寸的，比如桌面背景的这种图片。2。采用特征提取算法对这些图像进行提取。我采用的是颜色直方图
函数声明语句：function f(x){}，其中x就是参数。参数分为两种：形参（parameter）：函数定义时圆括号里的数据。实参（arguments）；函数调用时，传给函数作为参数的数据。EMCAScript规定在调用函数时，可传入任意数量，任意类型的参数，可以不跟函数定义时传入的形参数量相对应。为什么会这样呢？原因就是，EMACAScript中的参数在内部是用一个数组来表示的，函数接收的始
转载
2023-07-08 21:31:41
86阅读
# 传参
在使用PySpark进行数据处理时，我们通常需要对程序进行参数设置，以便根据不同的需求灵活地调整程序的行为。PySpark提供了一种方便的方式来传递参数，使得我们可以在不改变代码结构的情况下修改参数值。
## 传递参数的方法
在PySpark中，我们可以通过`spark-submit`命令来传递参数。`spark-submit`命令可以接受多个参数，其中包括`--conf`参数用于
原创
2024-06-22 04:48:58
58阅读
记得原来看到一个类似官方文档的quick start页面，我是照着它写的，但找不到了，如果有人告诉我将十分感谢。Why SQL以下只代表本人的理解。 可以支持SQL的一系列数据库操作是Spark的一大特性，当数据量很大时，传统的单机数据库无法负载。Spark可以把文件的数据内容读到内存中进行操作，所以只要集群资源足够，很多SQL的操作是很快的！以一个实际任务作为例子HDFS上BOSS把一些数据放到
转载
2023-09-21 14:43:01
114阅读
起步在理论篇我们介绍了决策树的构建和一些关于熵的计算方法，这篇文章将根据一个例子，用代码上来实现决策树。实验环境操作系统： win10 64编程语言： Python3.6用到的第三方模块有：numpy (1.12.1+mkl)scikit-learn (0.19.1)数据源为了方便理解和架设，我们用理论篇中买电脑的例子：将这些记录保存成 csv 文件：RID,age,income,student,
一般来说GDB主要调试的是C/C++的程序。要调试C/C++的程序，首先在编译时，我们必须要 把调试信息加到可执行文件中。使用编译 器（cc/gcc/g++）的 -g 参数可以做到这一点。如： > cc -g hello.c -o hello > g++ -g hello.cpp -o hello 如果没有-g，你将看不见程序的函数名、变量名，
转载
2023-07-12 15:26:07
52阅读
# 使用 Keras 实现 MLP 图像分类与调参指南
在这篇文章中，我将带你一步一步地实现一个多层感知器（MLP）来进行图像分类，同时也会介绍如何使用 Keras 进行参数调优。这个过程将包括数据准备、模型构建、训练与评估等步骤。
## 过程概览
首先，我们可以用一个表格来展示整个流程：
| 步骤 | 描述 |
|
# Python支持向量机分类调参优化指南
在机器学习中，支持向量机（SVM）是一种强大的分类算法。当我们用Python来实现SVM时，调参（超参数调整）是提升模型性能的关键步骤。本文将带你走过“Python支持向量机分类调参优化”的整个流程。
## 流程概述
下面是调参优化的基本步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 准备数据集 |
| 2
调参数是深度学习工作中，必不可少的一步。“得参数者，得天下“那么，调参的方法常见的有哪些？小编为您总结一番~01寻找合适的学习率(learning rate)学习率是一个非常非常重要的超参数在面对不同规模、不同batch-size、不同优化方式、不同数据集时，学习率的最合适的值都是不确定的，所以，我们无法光凭经验来准确地确定学习率的值。策略：在训练中不断寻找最合适当前状态的学习率。下图利用fast
转载
2024-03-18 20:15:06
60阅读
一、learning rate 简述lr全称learning rate（一下简称lr），是机器学习和深度学习中最为重要的超参数之一，会影响模型训练结果的好坏，有时候甚至会直接导致整个模型无法使用。lr最直接的可观测的影响就是loss值的变化，较大的学习率会更容易收敛也更容易出现陷入局部最优解的情况，而过大的学习率会导致loss无法收敛甚至出现nan的情况；较小的学习率更容易找到全局最优解但是los
转载
2024-03-26 23:39:53
219阅读
# 如何实现pyspark传参循环
## 简介
作为一名经验丰富的开发者，我将向你介绍如何在pyspark中实现传参循环。这对于刚入行的小白可能有些难度，但是只要按照一定的步骤来进行，就可以轻松实现这一功能。
## 流程概述
首先，我们需要明确整个实现过程的流程，可以用表格来展示每个步骤及其对应的操作。
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 创建一个参数列表 |
原创
2024-06-22 04:48:48
15阅读
# PySpark for循环传参
在PySpark中，我们经常需要对大规模的数据进行处理和分析。对于一些复杂的操作，我们可以使用for循环结构来简化代码并提高可读性。本文将介绍如何在PySpark中使用for循环传递参数，并提供相关的代码示例。
## 为什么使用for循环传参？
在数据处理和分析过程中，我们可能需要对不同的数据集或者变量进行相同的操作。使用for循环传参可以简化代码，并且使
原创
2023-11-11 05:10:16
50阅读
# **pyspark sql传参的实现**
## **整体流程**
下面是实现"pyspark sql传参"的整体流程：
| 步骤 | 描述 |
| ---- | --- |
| 1 | 创建SparkSession对象 |
| 2 | 定义需要传入的参数 |
| 3 | 创建DataFrame对象 |
| 4 | 注册DataFrame为临时表 |
| 5 | 执行SQL查询，传入参数 |
原创
2023-12-24 07:32:31
197阅读
调参
原创
2021-07-12 14:39:54
360阅读
做dl也有一段时间了，积累了一些经验，也在网上看到一些别人的经验。 为了面试，结合知乎上面的问答，我也总结了一下，欢迎大家补充。知乎 深度学习调参有哪些技巧？一. 初始化 有人用normal初始化cnn的参数，最后acc只能到70%多，仅仅改成xavier，acc可以到98%。二.从理解CNN网络以产生直觉去调参数的角度考虑，应该使用可视化 可视化（知乎用户 杨军）1.Visualize L
转载
2024-04-07 08:42:23
81阅读
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
转载
2024-04-21 23:04:35
49阅读
