一般来说GDB主要调试的是C/C++的程序。要调试C/C++的程序，首先在编译时，我们必须要 把调试信息加到可执行文件中。使用编译 器（cc/gcc/g++）的 -g 参数可以做到这一点。如： > cc -g hello.c -o hello > g++ -g hello.cpp -o hello 如果没有-g，你将看不见程序的函数名、变量名，
转载
2023-07-12 15:26:07
52阅读
记录pyspark学习篇，学习资料来自spark官方文档，主要记录pyspark相关内容，要么直接翻译过来，要么加上自己的理解。spark2.4.8官方文档如下： https://spark.apache.org/docs/2.4.8/ml-statistics.html 目录基本统计1.相关性1.1 导包1.2 本地向量生成方法1.2.1 生
转载
2023-10-27 00:36:32
75阅读
# 使用 PySpark 进行 MLP（多层感知器）调参
随着大数据时代的来临，分布式计算框架的兴起使得我们可以处理更大规模的数据集。Apache Spark 是一个强大的开源集群计算框架，它的 Python 接口 PySpark 提供了增强的功能。本文将重点介绍如何在 PySpark 中使用多层感知器（MLP）进行机器学习模型的参数调优，并借助可视化工具帮助理解这一过程。
## 1. 什么是
一、VectorAssemblerVectorAssembler 是一个转换器，它将给定的列列表组合成单个向量列。 它对于将原始特征和不同特征转换器生成的特征组合成单个特征向量很有用，以便训练 ML 模型，如逻辑回归和决策树。 VectorAssembler 接受以下输入列类型：所有数字类型、布尔类型和向量类型。 在每一行中，输入列的值将按指定顺序连接成一个向量。 %spark
// 特征转换 —
转载
2024-01-12 07:46:58
133阅读
函数声明语句：function f(x){}，其中x就是参数。参数分为两种：形参（parameter）：函数定义时圆括号里的数据。实参（arguments）；函数调用时，传给函数作为参数的数据。EMCAScript规定在调用函数时，可传入任意数量，任意类型的参数，可以不跟函数定义时传入的形参数量相对应。为什么会这样呢？原因就是，EMACAScript中的参数在内部是用一个数组来表示的，函数接收的始
转载
2023-07-08 21:31:41
86阅读
# 深入了解Python GBDT
## 引言
Gradient Boosting Decision Tree（GBDT）是一种强大的机器学习算法，它通过组合多个决策树来提高模型的性能。在Python中，我们可以使用各种库来实现GBDT算法，其中最流行的包括scikit-learn和XGBoost。本文将重点介绍如何在Python中使用scikit-learn来实现GBDT算法，并提供代码示例和
原创
2024-06-15 05:04:54
29阅读
# 传参
在使用PySpark进行数据处理时，我们通常需要对程序进行参数设置，以便根据不同的需求灵活地调整程序的行为。PySpark提供了一种方便的方式来传递参数，使得我们可以在不改变代码结构的情况下修改参数值。
## 传递参数的方法
在PySpark中，我们可以通过`spark-submit`命令来传递参数。`spark-submit`命令可以接受多个参数，其中包括`--conf`参数用于
原创
2024-06-22 04:48:58
58阅读
记得原来看到一个类似官方文档的quick start页面，我是照着它写的，但找不到了，如果有人告诉我将十分感谢。Why SQL以下只代表本人的理解。 可以支持SQL的一系列数据库操作是Spark的一大特性，当数据量很大时，传统的单机数据库无法负载。Spark可以把文件的数据内容读到内存中进行操作，所以只要集群资源足够，很多SQL的操作是很快的！以一个实际任务作为例子HDFS上BOSS把一些数据放到
转载
2023-09-21 14:43:01
114阅读
起步在理论篇我们介绍了决策树的构建和一些关于熵的计算方法，这篇文章将根据一个例子，用代码上来实现决策树。实验环境操作系统： win10 64编程语言： Python3.6用到的第三方模块有：numpy (1.12.1+mkl)scikit-learn (0.19.1)数据源为了方便理解和架设，我们用理论篇中买电脑的例子：将这些记录保存成 csv 文件：RID,age,income,student,
单步调试kernel说明恩，这个文档的目标是单步调试内核，从每一个工具软件的版本号到每一个命令，都有一个说明ubuntu1204,32位用vmware虚拟机安装该系统。用64位系统时，gdb有bug。报错信息为：xxx太长。所以建议用32位系统编译kernel 3.5.4我下载的内核源码版本号3.5.4为防止系统有些组件版本号较低，考虑如下两个命令更新系统：sudo apt-get&nb
调参数是深度学习工作中，必不可少的一步。“得参数者，得天下“那么，调参的方法常见的有哪些？小编为您总结一番~01寻找合适的学习率(learning rate)学习率是一个非常非常重要的超参数在面对不同规模、不同batch-size、不同优化方式、不同数据集时，学习率的最合适的值都是不确定的，所以，我们无法光凭经验来准确地确定学习率的值。策略：在训练中不断寻找最合适当前状态的学习率。下图利用fast
转载
2024-03-18 20:15:06
60阅读
一、learning rate 简述lr全称learning rate（一下简称lr），是机器学习和深度学习中最为重要的超参数之一，会影响模型训练结果的好坏，有时候甚至会直接导致整个模型无法使用。lr最直接的可观测的影响就是loss值的变化，较大的学习率会更容易收敛也更容易出现陷入局部最优解的情况，而过大的学习率会导致loss无法收敛甚至出现nan的情况；较小的学习率更容易找到全局最优解但是los
转载
2024-03-26 23:39:53
219阅读
# 如何实现pyspark传参循环
## 简介
作为一名经验丰富的开发者，我将向你介绍如何在pyspark中实现传参循环。这对于刚入行的小白可能有些难度，但是只要按照一定的步骤来进行，就可以轻松实现这一功能。
## 流程概述
首先，我们需要明确整个实现过程的流程，可以用表格来展示每个步骤及其对应的操作。
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 创建一个参数列表 |
原创
2024-06-22 04:48:48
15阅读
# PySpark for循环传参
在PySpark中，我们经常需要对大规模的数据进行处理和分析。对于一些复杂的操作，我们可以使用for循环结构来简化代码并提高可读性。本文将介绍如何在PySpark中使用for循环传递参数，并提供相关的代码示例。
## 为什么使用for循环传参？
在数据处理和分析过程中，我们可能需要对不同的数据集或者变量进行相同的操作。使用for循环传参可以简化代码，并且使
原创
2023-11-11 05:10:16
50阅读
# **pyspark sql传参的实现**
## **整体流程**
下面是实现"pyspark sql传参"的整体流程：
| 步骤 | 描述 |
| ---- | --- |
| 1 | 创建SparkSession对象 |
| 2 | 定义需要传入的参数 |
| 3 | 创建DataFrame对象 |
| 4 | 注册DataFrame为临时表 |
| 5 | 执行SQL查询，传入参数 |
原创
2023-12-24 07:32:31
197阅读
调参
原创
2021-07-12 14:39:54
360阅读
做dl也有一段时间了，积累了一些经验，也在网上看到一些别人的经验。 为了面试，结合知乎上面的问答，我也总结了一下，欢迎大家补充。知乎 深度学习调参有哪些技巧？一. 初始化 有人用normal初始化cnn的参数，最后acc只能到70%多，仅仅改成xavier，acc可以到98%。二.从理解CNN网络以产生直觉去调参数的角度考虑，应该使用可视化 可视化（知乎用户 杨军）1.Visualize L
转载
2024-04-07 08:42:23
81阅读
在
深度学习中，有许多不同的深度网络结构，包括卷积
神经网络(CNN或convnet)、长短期记忆网络(LSTM)和生成对抗网络(GAN)等。
在计算机视觉领域，对卷积神经网络(简称为CNN)的研究和应用都取得了显著的成果N网络最初的诞生收到了动物视觉神经机制的启发，目前已成功用于机器视觉等领域中。
技术博客Towards Data Science最近发布了
转载
2024-08-14 09:16:19
14阅读
# pyspark调优方法
## 概述
Pyspark是Python语言下的Spark编程接口，是大数据处理领域中非常流行的工具之一。在进行大规模数据处理时，为了提高程序的性能和效率，我们需要对Pyspark进行调优。本文将介绍一些常用的Pyspark调优方法，包括数据分区、缓存、广播变量、并行度设置以及内存管理等方面。
## 数据分区
在Pyspark中，数据分区是指将数据划分为多个部分
原创
2024-02-12 09:19:50
68阅读
目录转换器（transformer）和估计器（estimator）K-近邻（K-Nearest Neighbors，简称KNN）算法模型选择与调优交叉验证（Cross-validation）GridSearchCV API朴素贝叶斯（Naive Bayes） 算法MultinomialNB 和 GaussianNB 区别决策树（Decision Tree）随机森林 转换器（t
转载
2023-08-21 22:47:27
62阅读
