Region CNN(RCNN)可以说是利用深度学习进行目标检测的开山之作。作者Ross Girshick多次在PASCAL VOC的目标检测竞赛中折桂，2010年更带领团队获得终身成就奖，如今供职于Facebook旗下的FAIR。 这篇文章思路简洁，在DPM方法多年平台期后，效果提高显著。包括本文在内的一系列目标检测算法：RCNN,Fast RCNN, Faster RCNN代表当下目标检测的
转载
2024-10-11 14:22:38
44阅读
多层感知机（MLP）的从零开始实现基于Fashion-MNIST图像分类数据集一、初始化模型参数Fashion-MNIST中的每个图像由28*28=784个灰度像素值组成，所有图像共分为10个类别，忽略像素间的空间结构，可以将每个图像视为具有784个输入特征和10个类的简单分类数据集。首先。我们将实现一个具有单隐藏层的多层感知机。通常，因为内存在硬件中的分配和寻址方式，我们选取2的若干
转载
2023-12-14 12:36:52
67阅读
损失函数（loss function）/代价函数（cost function）和风险函数（risk function）/期望损失（expected loss）1. 损失函数/代价函数2. 风险函数/期望损失3. 经验风险（empirical risk）/经验损失函数（empirical loss）4. 经验风险最小化（ERM）和结构风险最小化（SRM）4.1 经验风险最小化（ERM）4.2 结构风
声明1，本文整体偏向小白风。
2，尽量少贴公式，就讲下原理。我觉得讲清交叉熵根本不需要一堆公式和各种术语。前言交叉熵损失常用于分类任务。
优点是误差较大时，学习速度较快。
本文以pytorch中自带的实现函数为依据，解释下交叉熵损失的计算过程。二分类任务单样本以minst数据集识别为例，就是一个典型的多分类任务。 经过网上搜索，一通复制黏贴，网络计算，最终输出维度应该是10（对应十分类，下文用ou
转载
2023-12-18 23:05:56
262阅读
前言本系列文章介绍学习CNN的过程，并结合Tensorflow来使用CNN进行图像的识别CNN概述卷积神经网络是在普通的BP全连接的基础上发展而来的，CNN重点就为了解决BP全连接网络中因为网络权值参数过多而导致的无法训练的问题，CNN提出的局部连接、权值共享、池化技术都是出于减少网络参数的目的。如下图所示： 假如我们的网络模型是： 输入层->一层隐含层->输出层 
在深度学习的世界中，损失计算扮演着至关重要的角色。损失函数的主要任务是度量预测值与实际值之间的差距，这对于模型的训练和优化至关重要。深度学习模型的目标是使损失函数的值尽可能小，从而提高其在新数据上的表现。通过这篇文章，我们将深度探讨损失计算的意义，揭示其在训练过程中如何影响模型的行为。
### 协议背景
在深度学习模型的训练中，损失计算可以类比为网络通信中的数据传输。在网络通讯中，每一层都承担着
回归分类等问题中数据预处理方法总结及
转载
2024-05-08 11:45:48
52阅读
Hierarchical SoftmaxCbow: 原理：用中心词作为预测的值（输出），输出可看做一个点，和其他点（词语）做区分，共同构成了一个霍夫曼树，要求Xw经过层次softmax函数，达到输出预测值概率最大。 用周围的词做输入，通过查表的形式，将原输入的one-hot编码形式转换为词向量形式，词向量表
前言在阅读NLP领域的论文中，nagative sampling可谓是一个高频词，同理解embedding的最佳实站方法一致，明白了word2vec中的nagative sampling, 也就明白了负采样的本质意义是什么。先说结论：负抽样的目的是为了最终输出的上下文单词（正样本），在采样过程中应该保留下来并更新，同时也需要采集部分负样本（非上下文单词）。通过负采样，在更新隐层到输出层的权重时
转载
2024-09-09 10:01:05
24阅读
欢迎来到theFlyer的博客—希望你有不一样的感悟前言：交叉熵损失函数。1. 损失函数机器学习算法都或多或少的依赖于对目标函数最大化或者最小化的过程，常常把最小化的函数称为损失函数，它主要用于衡量机器学习模型的预测能力。损失函数可以看出模型的优劣，提供了优化的方向，但是没有任何一种损失函数适用于所有的模型。损失函数的选取依赖于参数的数量、异常值、机器学习算法、梯度下降的效率、导数求取的难易和预测
转载
2023-11-23 18:41:56
88阅读
先亮代码，分成了两个文件一个是model1，用于存放模型，另一个文件是train，用于数据训练以及展示等功能，这样更符合实际应用场景。model1：import torch
from torch import nn
from torch.nn import Conv2d,MaxPool2d,Flatten,Linear,Sequential
class qiqi(nn.Module):
d
转载
2024-09-25 14:23:22
145阅读
前面已经涉及到了feature map的提取rpn_head回归的bg/fg以及偏移量（中心点+长宽）proposals_layer生成了feature map的proposals，并且将rpn_head回归的偏移及长宽放缩信息作用进来，也就是实际上训练时候的rpn_proposals有了，接下来需要的就是rpn_target，也就是回归训练的目标。class anchor_target_laye
# 深度学习损失计算出来为负数的探讨
在深度学习的训练过程中，损失函数（Loss Function）是用来衡量模型预测与实际结果之间差异的重要工具。损失值通常是非负的，然而在某些情况下，损失值却可能计算出负数。这种现象通常涉及到损失函数的定义和实现细节。本文将简要分析损失计算为负数的原因，探讨相应的代码示例，并提供一些解决方案。
## 损失函数及其负数情况的原因
### 损失函数的定义
损
tf.nn.nce_loss是word2vec的skip-gram模型的负例采样方式的函数，下面分析其源代码。1 上下文代码 loss = tf.reduce_mean(
tf.nn.nce_loss(weights=nce_weights,
biases=nce_biases,
labels=tra
转载
2024-09-19 08:56:43
91阅读
卷积神经网络（Convolutional Neural Network, CNN）深度学习三部曲Step1： 搭建神经网络结构Step2： 找到一个合适的损失函数(Cost Function)Eg : 回归损失：均方误差（MSE），平均绝对值误差（MAE）分类损失：交叉熵损失，hinge lossStep3: 找到一个合适的优化函数，更新参数反向传播（BP）,随机梯度下降（SGD）,螺旋数据分类用
论文: https://arxiv.org/abs/1904.01355.Github:源码 文章目录一、概述1.1 模型分类1.2 Anchor-base模型缺点1.3 motivation1.4 一些思考，为什么Anchor的设计很重要？二、网络结构2.1 检测思路2.2 网络结构三、细节3.1 Center-ness3.2 损失函数3.3 FPN的作用四、实验五、优点 一、概述1.1 模型分
极大似然估计在统计学领域，有两种对立的思想学派：贝叶斯学派和经典学派（频率学派），他们之间最大的区别是如何看待被估计的参数。贝叶斯学派的观点是将其看成是已知分布的随机变量，而经典学派的观点是将其看成未知的待估计的常量。极大似然估计属于经典学派的一种。通俗来说，极大似然估计就是利用已知的样本结果信息，反推最大概率出现这些结果的参数信息。举一个通俗点的例子来说明一下什么是极大似然估计。比如我们在网上发
损失函数是用来评价神经网络性能好坏的一个指标，我们对神经网络的优化实则就是对损失函数的处理，我们通过不断调参来寻找最优化参数来使我们的损失函数降到最低，那么我们的神经网络可以说是优化好了。这里我们介绍三种损失函数均方误差完整代码如下 import numpy as np
t = [0, 0, 1, 0, 0, 1, 0, 0, 0, 0]
y1 = [0.1, 0.05, 0.6, 0.
转载
2023-10-11 23:10:54
147阅读
神经网络由各个部分组成1.得分函数：在进行输出时，对于每一个类别都会输入一个得分值，使用这些得分值可以用来构造出每一个类别的概率值，也可以使用softmax构造类别的概率值，从而构造出loss值， 得分函数表示最后一层的输出结果，得分函数的维度对应着样本的个数和标签的类别数得分结果的实例说明：一个输入样本的特征值Xi 1*4， w表示权重参数3*4，这里使用的是全连接y = w * x.T，输出结
为什么MaskRcnn在fastRcnn的基础上加上FCN能实现实例分割？ 在学习maskRcnn的时候找的资料大多讲述了这个算法是在FastRcnn的基础上添加FCN全卷积网络实现的实例分割，但是FCN是做语义分割的，所查找的资料并没有说明为什么加上FCN能够实现实例分割。接下来开始简述我对这个问题的理解。1. 在数据标签上的不同 在maskRcnn算法的标签标准上，标签是对每一个实例都给一
转载
2024-10-12 19:32:16
98阅读
