多层感知机（MLP）的从零开始实现基于Fashion-MNIST图像分类数据集一、初始化模型参数Fashion-MNIST中的每个图像由28*28=784个灰度像素值组成，所有图像共分为10个类别，忽略像素间的空间结构，可以将每个图像视为具有784个输入特征和10个类的简单分类数据集。首先。我们将实现一个具有单隐藏层的多层感知机。通常，因为内存在硬件中的分配和寻址方式，我们选取2的若干
转载
2023-12-14 12:36:52
67阅读
Region CNN(RCNN)可以说是利用深度学习进行目标检测的开山之作。作者Ross Girshick多次在PASCAL VOC的目标检测竞赛中折桂，2010年更带领团队获得终身成就奖，如今供职于Facebook旗下的FAIR。 这篇文章思路简洁，在DPM方法多年平台期后，效果提高显著。包括本文在内的一系列目标检测算法：RCNN,Fast RCNN, Faster RCNN代表当下目标检测的
转载
2024-10-11 14:22:38
44阅读
损失函数（loss function）/代价函数（cost function）和风险函数（risk function）/期望损失（expected loss）1. 损失函数/代价函数2. 风险函数/期望损失3. 经验风险（empirical risk）/经验损失函数（empirical loss）4. 经验风险最小化（ERM）和结构风险最小化（SRM）4.1 经验风险最小化（ERM）4.2 结构风
声明1，本文整体偏向小白风。
2，尽量少贴公式，就讲下原理。我觉得讲清交叉熵根本不需要一堆公式和各种术语。前言交叉熵损失常用于分类任务。
优点是误差较大时，学习速度较快。
本文以pytorch中自带的实现函数为依据，解释下交叉熵损失的计算过程。二分类任务单样本以minst数据集识别为例，就是一个典型的多分类任务。 经过网上搜索，一通复制黏贴，网络计算，最终输出维度应该是10（对应十分类，下文用ou
转载
2023-12-18 23:05:56
262阅读
欢迎来到theFlyer的博客—希望你有不一样的感悟前言：交叉熵损失函数。1. 损失函数机器学习算法都或多或少的依赖于对目标函数最大化或者最小化的过程，常常把最小化的函数称为损失函数，它主要用于衡量机器学习模型的预测能力。损失函数可以看出模型的优劣，提供了优化的方向，但是没有任何一种损失函数适用于所有的模型。损失函数的选取依赖于参数的数量、异常值、机器学习算法、梯度下降的效率、导数求取的难易和预测
转载
2023-11-23 18:41:56
88阅读
在深度学习的世界中，损失计算扮演着至关重要的角色。损失函数的主要任务是度量预测值与实际值之间的差距，这对于模型的训练和优化至关重要。深度学习模型的目标是使损失函数的值尽可能小，从而提高其在新数据上的表现。通过这篇文章，我们将深度探讨损失计算的意义，揭示其在训练过程中如何影响模型的行为。
### 协议背景
在深度学习模型的训练中，损失计算可以类比为网络通信中的数据传输。在网络通讯中，每一层都承担着
回归分类等问题中数据预处理方法总结及
转载
2024-05-08 11:45:48
52阅读
# MSE损失函数的Python计算程序
在机器学习和深度学习的领域，损失函数是评估模型预测性能的关键。均方误差（Mean Squared Error，简称MSE）是最常用的损失函数之一。本文将深入探讨MSE损失函数的概念、计算方法，并通过Python代码示例展示如何实现这一损失函数。
## 什么是MSE损失函数？
均方误差是衡量预测值与实际值之间差异的一种方法。MSE通过计算预测值与实际值
Hierarchical SoftmaxCbow: 原理：用中心词作为预测的值（输出），输出可看做一个点，和其他点（词语）做区分，共同构成了一个霍夫曼树，要求Xw经过层次softmax函数，达到输出预测值概率最大。 用周围的词做输入，通过查表的形式，将原输入的one-hot编码形式转换为词向量形式，词向量表
# 用Python实现均方误差(MSE)损失的步骤
在机器学习和深度学习中，均方误差（Mean Squared Error, MSE）是用于评估模型预测与实际观测值之间差异的重要指标。本文将指导你如何用Python实现MSE损失的计算。我们将分步骤进行，每一步都辅以代码示例和相应的注解。
## 实现流程
以下是计算均方误差的步骤概述：
| 步骤 | 描述
这里既有AI，又有生活大道理，无数渺小的思考填满了一生。目标检测任务的损失函数由两部分构成：Classification Loss和Bounding Box Regeression Loss。Smooth L1 LossL1 Loss（Mean Absolute Error，MAE）平均绝对误差（MAE）是一种用于回归模型的损失函数。MAE 是目标变量和预测变量之间绝对差值之和，因此它衡量的是一组
转载
2024-05-09 23:48:07
226阅读
前言在阅读NLP领域的论文中，nagative sampling可谓是一个高频词，同理解embedding的最佳实站方法一致，明白了word2vec中的nagative sampling, 也就明白了负采样的本质意义是什么。先说结论：负抽样的目的是为了最终输出的上下文单词（正样本），在采样过程中应该保留下来并更新，同时也需要采集部分负样本（非上下文单词）。通过负采样，在更新隐层到输出层的权重时
转载
2024-09-09 10:01:05
24阅读
先亮代码，分成了两个文件一个是model1，用于存放模型，另一个文件是train，用于数据训练以及展示等功能，这样更符合实际应用场景。model1：import torch
from torch import nn
from torch.nn import Conv2d,MaxPool2d,Flatten,Linear,Sequential
class qiqi(nn.Module):
d
转载
2024-09-25 14:23:22
145阅读
目录projector(投影)和投影背景案例解释投影原理导入工具库什么是projector(投影)？计算正交平面使用SVD计算投影矩阵projector(投影)和投影背景projector(投影)（简称proj），也称为信号空间投影（SSP），定义了应用于空间上的EEG或MEG数据的线性操作。可以将该操作看做是一个矩阵乘法，通过将数据投影到较低维度的子空间来降低数据的秩。
这种投影算子可以同时应用
转载
2023-10-27 14:43:49
159阅读
今天实现了一下MLP。先说几个函数的用法。1、在最小化损失的时候，经常使用的一个函数就是tf.nn.softmax_cross_entropy_with_logits(logits=,labels=,name=None).除去name参数用以指定该操作的name，与方法有关的一共两个参数：第一个参数logits：就是神经网络最后一层的输出，如果有batch的话，它的大小就是[batchsize，n
转载
2024-04-29 12:43:04
91阅读
由于原博客在word里编辑，插入了很多Mathtype公式，而不支持Mathtype，转换格式出现了很多麻烦和排版混乱，故此博客部分采用截图展示。原理程序及结果Python 程序：（1）LMS算法 （2）求MSE 结果：分析图1.1上图是滤波器输入信号，即滤波前含噪声的接收信号x(n)波形，从图中我们可以看出，输入信号中的噪声引起波形的随机性，对于有效信号s(n)的原波形造成了不同程度的波动，要想
转载
2023-10-02 06:21:00
271阅读
# 用纯Python实现MSE损失函数的计算程序
均方误差（Mean Squared Error，MSE）是一个常用于回归模型评估的指标，用于衡量预测值与真实值之间的差距。在本教程中，我们将通过几个简单的步骤，用纯Python实现一个计算MSE的程序。下面是整个流程的基本步骤。
## 流程步骤
| 步骤 | 描述
1.MSE损失函数损失函数是机器学习与深度学习里面的重要概念。从名字上就可以看出，损失函数(Loss Function)反应的是模型对数据的拟合程度。一般来说，损失函数越小，说明模型对数据的拟合也越好。同时我们还希望当损失函数比较大的时候，对应的梯度也会比较大，这样梯度下降的时候更新也会快一些。 线性回归中，最常用的就是最小平方误差(MSE)了。MSE也相当简单: 其中，为样本的真实值，为预测值。
转载
2024-06-23 09:08:58
180阅读
目录1.均方误差损失函数（MSE）2.交叉熵损失2.1 二分类2.2多分类2.3 交叉熵损失 和 KL 散度2.4交叉熵损失函数的梯度3.Hinge Loss 损失函数是机器学习模型的关键部分：定义了衡量模型性能的目标，通过最小化损失函数来确定模型学习的权重参数的设置。有几种不同的常见损失函数可供选择：交叉熵损失、均方误差、huber loss和hinge loss等等。给定一个特定的模
转载
2024-03-21 19:40:05
226阅读
目标检测任务的损失函数由两部分构成：Classification Loss和Bounding Box Regeression Loss。 Smooth L1 LossL1 Loss（Mean Absolute Error，MAE）平均绝对误差（MAE）是一种用于回归模型的损失函数。MAE 是目标变量和预测变量之间绝对差值之和，因此它衡量的是一组预测值中的平均误差大小，而不考虑
转载
2024-02-27 14:28:59
378阅读
