cnn调参技巧记录，好的参数不光可以加速模型收敛，而且可以有效的避免很多错误。当然在很多简单任务中可能完全随机的模型初始参数，简单的一些建议学习率以及动量都可以得到一个比较满意的结果，比如单一，简单的降质模型下的图像生成，类别简单少量的一些分类任务等，不好的初始化参数是可以应对简单任务的。但是对于复杂任务就很难了，因为初始化参数选择的不好，导致结果十分不可控。因为不好的初始化参数导致结果很不可靠，
转载
2024-04-25 13:03:25
55阅读
做dl也有一段时间了，积累了一些经验，也在网上看到一些别人的经验。 为了面试，结合知乎上面的问答，我也总结了一下，欢迎大家补充。知乎 深度学习调参有哪些技巧？一. 初始化 有人用normal初始化cnn的参数，最后acc只能到70%多，仅仅改成xavier，acc可以到98%。二.从理解CNN网络以产生直觉去调参数的角度考虑，应该使用可视化 可视化（知乎用户 杨军）1.Visualize L
转载
2024-04-07 08:42:23
81阅读
在
深度学习中，有许多不同的深度网络结构，包括卷积
神经网络(CNN或convnet)、长短期记忆网络(LSTM)和生成对抗网络(GAN)等。
在计算机视觉领域，对卷积神经网络(简称为CNN)的研究和应用都取得了显著的成果N网络最初的诞生收到了动物视觉神经机制的启发，目前已成功用于机器视觉等领域中。
技术博客Towards Data Science最近发布了
转载
2024-08-14 09:16:19
14阅读
KNN算法概述kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。
KNN算法不仅可以用于分类，还可以用于回归。通过找出一个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。更有用的方法是将不同距
转载
2024-04-29 21:17:00
27阅读
写在前面1.KNN算法的重点在于三个参数的选择：K的取值、距离度量方法以及分类决策方法2.之所以要从KNN进行优化发展成KDTree是因为需要对k维空间进行一个快速检索（优化KNN检索的开销）。3.KDTree本质上还是二叉树，表示对k维空间的一个划分，其每个节点对应于k维空间划分中的一个超矩形区域。利用KDTree优化检索的过程是因为它可以省去对大部分数据的搜索过程，从而减少搜索的计算量。一.K
在kNN算法中 k参数被封装成n_neighbors参数之前我们都是随意的传递3,5.究竟传什么参数最好，这就涉及机器学习非常重要的问题：超参数超参数：运行学习机器学习算法之前，需要指定的参数例如kNN算法的k与超参数对应的是模型参数模型参数：算法过程中学习的参数 kNN算法只有超参数，没有模型参数机器学习工程师要做的一个就是调参，就是调超参数因为是在算法运行前需要我们运行的参数寻找好的
目录一 更多优化算法回顾1.AdaGrad算法2.RMSProp3.Adam4.自定义优化算法二.激活函数1.Sigmoid2.Tanh3.ReLu4.Leaky-ReLU5.ELU6.maxout三.网络初始化四 批归一化五 数据增强六 其他调参技巧一 更多优化算法回顾随机梯度下降局部极值鞍点问题动量梯度下降问题受学习率影响很大（如果学习率设置过大，收敛很慢）每一个维度得学习率一样（a是针对全局
转载
2024-03-22 14:02:23
89阅读
在前面的博客中，对鸢尾花数据集以及手写字体数据集进行了分析，knn算法对于较大的数据集也能有比较好的预测结果，但是比较困扰的问题是，对于其中的一些参数的设置，怎样才算好的呢，什么样的参数才能让这个算法更加高效呢？对此进行了如下总结。1. algorithm1.1 4种算法在建立knn模型的时候，对于搜索最近的k个点，可以采取不同的算法：暴力搜索brute 该算法会计算待测样本和样本集中所有样本的距
转载
2024-08-11 17:00:15
190阅读
目录1、k近邻算法 KNN1.1、核心思想1.2、算法流程1.3、距离定义1.3、优缺点1.4、参数和模型参数2、线性回归法 Linear Regression2.1、简单线性回归2.1.1、一类机器学习算法的基本思路2.1.2、回归算法的衡量2.2、多元线性回归2.3、多项式回归 1、k近邻算法 KNNk邻近算法，或者说k最邻近（kNN，k-NearestNeighbor）分类算法是数据挖掘分
转载
2024-09-11 18:52:21
160阅读
KNN算法K近邻法(k-nearst neighbors,KNN)是一种很基本的机器学习方法。它的思想是： 在训练集中数据和标签已知的情况下，输入测试数据，将测试数据的特征与训练集中对应的特征进行相互比较，找到训练集中与之最为相似的前K个数据，则该测试数据对应的类别就是K个数据中出现次数最多的那个分类。kNN算法三要素： k值的选取，距离度量的方式和分类决策规则KNN算法的步骤： 1、收集数据集
转载
2023-09-15 21:58:08
129阅读
#默认参数
def power(x, n = 2):
ans = 1
while n > 0:
ans *= x
n = n - 1
return ans
print(power(3))
def calc(numbers):
sum = 0
for n in numbers:
sum += n*n
python xgb
原创
2019-12-19 10:08:34
1708阅读
# PyTorch调参指南
调参是机器学习和深度学习中至关重要的一步。正确的超参数可以极大地提高模型的性能，而不合适的超参数则可能导致模型过拟合或欠拟合。本文将带你了解如何在PyTorch中进行调参，包括整个流程、步骤代码示例，以及如何使用工具进行更便捷的调参。
## 调参流程
首先，让我们明确调参的基本流程。下表展示了典型的调参步骤：
| 步骤 | 描述
目录一、绘图函数中的参数（以plot为例1.'Color'2.'LineStyle'3. 'LineWidth'5.'MarkerIndices'6.'MarkerEdgeColor'7.'MarkerFaceColor'8.'MarkerSize'9.关于plot的输出二、查看与修改图像属性的函数1.get2.set(1)gcf(2)gca 一、绘图函数中的参数（以plot为例1.‘Color
转载
2024-04-09 01:16:28
100阅读
## Python 自动调参指南
在机器学习和深度学习领域，模型的性能往往依赖于模型的超参数设置。因此，自动调参成为一种重要的方法。本文将教你实现 Python 的自动调参代码，并带你了解整个流程。
### 流程概述
下面是自动调参的基本流程：
| 步骤 | 描述 |
|---------------
调参数是深度学习工作中，必不可少的一步。“得参数者，得天下“那么，调参的方法常见的有哪些？小编为您总结一番~01寻找合适的学习率(learning rate)学习率是一个非常非常重要的超参数在面对不同规模、不同batch-size、不同优化方式、不同数据集时，学习率的最合适的值都是不确定的，所以，我们无法光凭经验来准确地确定学习率的值。策略：在训练中不断寻找最合适当前状态的学习率。下图利用fast
转载
2024-03-18 20:15:06
60阅读
一、learning rate 简述lr全称learning rate（一下简称lr），是机器学习和深度学习中最为重要的超参数之一，会影响模型训练结果的好坏，有时候甚至会直接导致整个模型无法使用。lr最直接的可观测的影响就是loss值的变化，较大的学习率会更容易收敛也更容易出现陷入局部最优解的情况，而过大的学习率会导致loss无法收敛甚至出现nan的情况；较小的学习率更容易找到全局最优解但是los
转载
2024-03-26 23:39:53
219阅读
1. 神经网络简介神经网络由输入层、输出层和之间若干层（一层或多层）隐含层构成，每一层可以有若干个节点。层与层之间节点的连接状态通过权重来体现。 下面介绍一下单个神经元：输入节点：x1,x2权重：w1,w2偏置：b激活函数：h()输出结果：ya = x1*w1 + x2*w2 + b 2. 代码解释这段代码是在GitHub上找到的，链接如下：https://githu
转载
2023-06-08 13:56:43
138阅读
接着上面，继续分析，下面接着rpn之后的内容开始分析。前面，我们分析了RPN，得到了一些框和背景。按照下图，把RPN的输出输入给RoI pooling进行一系列操作。 ① 定义输入数据RPN，将RPN的输出输入到RoI#coding:UTF-8
from __future__ import division
import random
import pprint
import sys
import
转载
2024-08-08 12:10:19
86阅读
3.10 多层感知机的简洁实现下面我们使用PyTorch来实现上一节中的多层感知机。首先导入所需的包或模块。import torch
from torch import nn
from torch.nn import init
import numpy as np
import sys
sys.path.append("..")
import d2lzh_pytorch as d2l3.10.1
转载
2024-09-23 11:56:59
37阅读
