一、优化算法 优化算法有很多中，其中最为简单常见的是SGD（stotastic gradient descent）算法，但该算法也有缺点，即对于高维网络的优化，由于高维的网络会存在很多鞍点，即梯度为零的点，如果学习率不大，就有可能会停留在鞍点而无法再优化，所以一种改进的方法是在随机梯度下降算法的基础上加上了动量（momentum）
1. 分类解决什么问题?分类算法是利用训练样本集获得分类函数即分类模型(分类器)，从而实现将数据集中的样本划分到各个类中。分类模型通过学习训练样本中属性集与类别之间的潜在关系，并以此为依据对新样本属于哪一类进行预测2. 常用的分类算法有哪些?举例说明其应用。常用的分类算法包括决策树、支持向量机、最近邻、贝叶斯网络和神经网络等3. 简述决策树的生成过程。决策
转载
2023-12-26 10:56:08
27阅读
近来刚参加完公司内部比赛，现在整理下各种训练技巧，提升图像分类问题的得分。所有资源整理于网络，不再一一列举引用出处。目录经典网络模型Label smooth背景介绍Label smooth 计算公式MixupTest Time Augmentation注意力机制空间注意力模型(spatial attention)通道注意力机制空间和通道注意力机制的融合分类问题的模型融合
一、算法介绍最简单易懂的机器学习算法，没有之一。1968年由 Cover 和 Hart 提出，应用场景有字符识别、文本分类、图像识别等领域。该算法的思想是：一个样本与数据集中的k个样本最相似，如果这k个样本中的大多数属于某一个类别，则该样本也属于这个类别。二、分类算法步骤1、计算样本到数据集中其它每个样本的距离。2、按照距离的远近排序。3、选取与当前样本最近的k个样本，作为该样本的邻居。4、统计这
转载
2024-05-12 14:03:04
44阅读
当训练好一个模型之后预测新的数据，当发现预测情况不是很好的时候，怎么改进？1.得到更多的训练数据。但有的时候获取更多的数据并不是很有帮助2.尝试选用更少的特征3.尝试增加更多的特征4.增加多项式特征，就是已有特征之间的组合：等5.增加正则化参数，减小正则化参数怎么样能选择最适合改进的方法呢？或者说排除上面的一些方法评估该算法的性能（机器学习诊断法），从而能知道影响性能的关键和改进的方面：训练误差最
转载
2024-03-08 17:27:34
56阅读
动态时间规整DTW1 概述动态时间规整是一个计算时间序列之间距离的算法，是为了解决语音识别领域中语速不同的情况下如何计算距离相似度的问题。相对于用经典的欧式距离来计算相似度而言，DTW在数据点个数不对齐的情况下微调时间从而能够计算距离。DTW之所以能够计算数据点个数不同时间序列之间的距离，是因为DTW方法中时间序列的点可以一对多。2 计算过程用动态规划算法计算DTW距离的过程如下所示，计算不同长度
转载
2024-01-12 09:36:48
153阅读
一、Apriori算法性质性质一：候选的k元组集合Ck中，任意k-1个项组成的集合都来自于Lk.性质二：若k维数据项目集X={i1,i2,…,ik}中至少存在一个j∈X，使得|L(k-1)(j)|<k-1,则X不是频繁项集。即若Lk-1中有一个元素C包含一个项目i，使得|L(k-1)(j)|<k-1，则所有Lk-1与C中元素连接生成的候选k维数据项集不可能是频繁项目集。eg.购物篮中的
转载
2024-01-14 19:48:26
85阅读
摘要：为了提高LSTM数据的分类预测准确率，对LSTM中的参数利用蜣螂搜索算法进行优化。
原创
2023-05-08 14:06:48
203阅读
基于麻雀算法改进的LSTM分类算法文章目录基于麻雀算法改进的LSTM分类算法1.数据集2.LSTM模型3.基 *32。其中第2列为标签数据，包含两类标签。第3列到最后一列为特征数据。所以RF模型的数据输入维度为30;输出维度为1。2.LSTM模型LSTM请
原创
2023-05-04 12:02:27
134阅读
h_fc2_drop = tf.nn.dropout(h_fc2, keep_prob)
#Layer11-softmax层
W_fc3 = tf.Variable(tf.truncated_normal([1024,10],stddev=0.1))
b_fc3 = tf.Variable(tf.constant(0.1,shape=[10]))
y_conv = tf.matmul(h_
转载
2024-10-23 15:52:41
17阅读
# Python 改进滴水算法的探索与实现
滴水算法（Water Dripping Algorithm）是一种基于启发式搜索的优化算法，常用于求解复杂的组合优化问题。然而，标准的滴水算法在面对某些特定类型的问题时，可能会显得效率低下或不够准确。因此，我们可以通过改进该算法来提高其性能和效果。本文将探讨如何使用 Python 实现改进的滴水算法，并且通过实例演示算法的有效性。
## 滴水算法的原
原创
2024-09-13 06:49:55
48阅读
改进鲸鱼算法是一个引人入胜的主题，特别在优化问题和机器学习领域中越来越受到关注。随着时间的推移，鲸鱼算法（Whale Optimization Algorithm, WOA）因其优秀的性能和简单的实现而被广泛应用。然而，如何在此基础上进行改进以提升其效果，一直是研究者们努力的方向。
```mermaid
timeline
title 改进鲸鱼算法发展历程
2016 : 鲸鱼算法首
apriori算法的简介：
利用的相关性质：
频繁项集 的非空子集也必须是频繁项集非频繁项集的任一超集也必然不是频繁项集如果K-维频繁项集集合中包含单个项目i的个数小于K-1,则i不可能在频繁K项集中（apriori算法中并没有用到这个性质，可以借助这个性质来进行优化，性质会在后面举例）算法的主要思想是：
第一步，通过迭代，检索出食物数据库给中所有的频繁
1 # -*- coding: utf-8 -*-
2 """
3 Created on Mon Jul 30 15:20:32 2018
4
5 @author: caicai
6 """
7 import sys
8 #定义变量
9 #1.边界
10 map_border=()
11 #接收地图
12 Map=[]
13 #开表
14 open_di
# FCM算法改进的Python实现
在数据挖掘和机器学习领域，模糊C均值（FCM，Fuzzy C-Means）是一种常用的聚类算法。然而，FCM可能在处理某些数据时存在一些局限性，因此我们可能需要对其进行改进。本文将指导你如何在Python中实现FCM算法的改进。
## 流程概述
下面的表格概述了实现FCM算法改进的主要步骤：
| 步骤 | 描述
原创
2024-10-24 06:21:32
50阅读
创新一直是一个令人纠结的话题，研究生毕业设计多数需要算法的创新，而博士生毕业更需要大量的创新才行。这里，我们就团队这几年来的工作经验，谈谈如何进行合理的算法创新。一、创新角度通常，我们使用一个算法，这里举个简单的粒子，PSO粒子群优化算法，我们通过仿真，会得到该算法的收敛速度，仿真精度等一些参数指标。如果我们需要对该算法进行创新，一般就需要从原算法的性能指标角度考虑，比如收敛速度和精度的提高，对于
转载
2024-03-28 14:40:37
33阅读
粒子群优化(PSO, particle swarm optimization) 是由Kennedy和Eberhart在1995年提出的一 种群智能优化方法。优点：好理解容易实现，适合解决极值问题缺点：容易过早收敛，容易陷入局部最优解，（如果初始点选的不好，可能就会被某个粒子带偏了= =/）（Java实现）:1 package pso;
2
3 import java.util.Ra
转载
2023-07-02 17:43:22
144阅读
一、神经网络-支持向量机
支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。 1 数学部分 1.1 二维空间 2 算法部分
二、海
原创
2021-07-05 22:28:44
576阅读
一、神经网络-支持向量机
支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。 1 数学部分 1.1 二维空间 2 算法部分
二、海鸥算法
海鸥算法主要模拟了海鸥的迁徙行为和攻击行为
原创
2021-07-07 16:05:38
479阅读
与传统深度学习算法相同，DELM 也是用逐层贪婪的训练方法来训练网络，DELM每
原创
2023-05-04 12:25:57
76阅读
