本文要介绍的是由哈尔滨工业大学联合华为发表论文《DeepFM: A Factorization-Machine based Neural Network for CTR Prediction》中提出的DeepFM模型。其实根据名字可以看出来，此模型包含Deep和FM两个部分。其中Deep部分就是普通的深度神经网络，FM是因子分解机(Factorization Machine)，用于来做特征交叉。D
转载
2024-07-19 09:59:53
323阅读
对NMS进行分类，大致可分为以下六种，这里是依据它们在各自论文中的核心论点进行分类，这些算法可以同时属于多种类别。 分类优先：传统NMS，Soft-NMS (ICCV 2017) 定位优先：IoU-Guided NMS (ECCV 2018) 加权平均：Weighted NMS (ICME Workshop 2017) 方差加权平均：Softer-NMS (CVPR 2019) 自适应阈
转载
2024-08-20 19:44:58
134阅读
预训练网络和目标网络的网络层名称不同，结构相同直接加载时以上问题都会导致报错，下面的代码可以实现正确加载，只加载网络层名称和权重形状一致的层，不一致时保留目标网络的。import torch
from typing import OrderedDict
def load\_pretrained(dict1: OrderedDict, dict2: OrderedDict):
"""
这里既有AI，又有生活大道理，无数渺小的思考填满了一生。目标检测任务的损失函数由两部分构成：Classification Loss和Bounding Box Regeression Loss。Smooth L1 LossL1 Loss（Mean Absolute Error，MAE）平均绝对误差（MAE）是一种用于回归模型的损失函数。MAE 是目标变量和预测变量之间绝对差值之和，因此它衡量的是一组
转载
2024-05-09 23:48:07
226阅读
机器学习中的所有算法都依赖于最小化(最大化可转化为最小化)某一个函数，我们称之为“目标函数”。最小化的这组函数被称为“损失函数”。损失函数是衡量预测模型预测期望结果表现的指标。寻找函数最小值的最常用方法是“梯度下降”。把损失函数想象成起伏的山脉，梯度下降就像从山顶滑下，目的是到达山脉的最低点。没有一个损失函数可以适用于所有类型的数据。损失函数的选择取决于许多因素，包括是否有离群点，机器学习算法的选
转载
2024-05-15 02:47:00
93阅读
目录1.均方误差损失函数（MSE）2.交叉熵损失2.1 二分类2.2多分类2.3 交叉熵损失 和 KL 散度2.4交叉熵损失函数的梯度3.Hinge Loss 损失函数是机器学习模型的关键部分：定义了衡量模型性能的目标，通过最小化损失函数来确定模型学习的权重参数的设置。有几种不同的常见损失函数可供选择：交叉熵损失、均方误差、huber loss和hinge loss等等。给定一个特定的模
转载
2024-03-21 19:40:05
226阅读
1.MSE损失函数损失函数是机器学习与深度学习里面的重要概念。从名字上就可以看出，损失函数(Loss Function)反应的是模型对数据的拟合程度。一般来说，损失函数越小，说明模型对数据的拟合也越好。同时我们还希望当损失函数比较大的时候，对应的梯度也会比较大，这样梯度下降的时候更新也会快一些。 线性回归中，最常用的就是最小平方误差(MSE)了。MSE也相当简单: 其中，为样本的真实值，为预测值。
转载
2024-06-23 09:08:58
180阅读
目标检测任务的损失函数由两部分构成：Classification Loss和Bounding Box Regeression Loss。 Smooth L1 LossL1 Loss（Mean Absolute Error，MAE）平均绝对误差（MAE）是一种用于回归模型的损失函数。MAE 是目标变量和预测变量之间绝对差值之和，因此它衡量的是一组预测值中的平均误差大小，而不考虑
转载
2024-02-27 14:28:59
378阅读
交叉熵loss function, 多么熟悉的名字! 做过机器学习中分类任务的炼丹师应该随口就能说出这两种loss函数: categorical cross entropy 和 binary cross entropy,以下简称CE和BCE. 关于这两个函数, 想必大家听得最多的俗语或忠告就是:"CE用于多分类, BCE适用于二分类, 千万别用混了." 对于BCE前边的那个bina
nn.ModuleList()对象ModuleList是Module的子类，当在Module中使用它的时候，就能自动识别为子module。当添加 nn.ModuleList 作为 nn.Module 对象的一个成员时（即当我们添加模块到我们的网络时），所有 nn.ModuleList 内部的 nn.Module 的 parameter 也被添加作为 我们的网络的 parameter。O
正文：无论在机器学习还是深度学习领域中,损失函数都是一个非常重要的知识点。损失函数有许多不同的类型，根据具体
原创
2024-07-23 15:16:15
184阅读
作者丨小可乐大魔王 编辑丨极市平台直接上结果： 图片截选自本文末尾正文：无论在机器学习还是深度学习领域中,损失函数都是一个非常重要的知识点。损失函数有许多不同的类型，根据具体模型和应用场景需要选择不同的损失函数，如何选择模型的损失函数，是作为算法工程师实践应用中最基础也是最关键的能力之一。最近在学习pytorch的时候，参考了很多说明文档和优秀贴文，总结了如何针对应用场景选择合适损失函
转载
2022-07-25 06:43:04
3073阅读
目录什么是损失函数均方误差与交叉熵为什么要使用交叉熵交叉熵与KL散度之间的关系参考文献 什么是损失函数对于损失函数网上已经有充分的解释：“机器学习中所有的算法都需要最大化或最小化一个函数，这个函数被称为目标函数。其中，我们一般把最小化的一类函数，称为损失函数。它能根据预测结果，衡量出模型预测能力的好坏。 ” 总而言之，损失函数用来衡量当前模型的糟糕程度，它的值越大，模型就越糟糕，反之，它的值越小
转载
2024-07-02 05:21:51
71阅读
1、均方误差损失函数 损失函数对权重的偏导与激活函数的梯度成正比。如果激活函数是线性的，可以使用这种损失函数，如果激活函数是S型函数，则不适合使用这种损失函数，原因如下： 假如我们期望的输出值为1，A处离1较远，激活函数梯度也较大，优化器调整步伐也较大；B处离1较近，激活函数梯度也较小，优化器调整步伐也较小，这是合理的。 假如我们期望的输出值为0，A处离0较远，激活函数梯度也较大，优化器调整步伐也
转载
2024-02-27 14:28:27
66阅读
今天实现了一下MLP。先说几个函数的用法。1、在最小化损失的时候，经常使用的一个函数就是tf.nn.softmax_cross_entropy_with_logits(logits=,labels=,name=None).除去name参数用以指定该操作的name，与方法有关的一共两个参数：第一个参数logits：就是神经网络最后一层的输出，如果有batch的话，它的大小就是[batchsize，n
转载
2024-04-29 12:43:04
91阅读
多层感知机（MLP）的从零开始实现基于Fashion-MNIST图像分类数据集一、初始化模型参数Fashion-MNIST中的每个图像由28*28=784个灰度像素值组成，所有图像共分为10个类别，忽略像素间的空间结构，可以将每个图像视为具有784个输入特征和10个类的简单分类数据集。首先。我们将实现一个具有单隐藏层的多层感知机。通常，因为内存在硬件中的分配和寻址方式，我们选取2的若干
转载
2023-12-14 12:36:52
70阅读
作者丨小可乐大魔王编辑丨极市平台本文总结了如何针对应用场景选择合适损失函数、对比不同损失函数的优缺点及相关pytorch代码。直接上结果： 图片截选自本文末尾正文：无论在机器学习还是深度学习领域中,损失函数都是一个非常重要的知识点。损失函数有许多不同的类型，根据具体模型和应用场景需要选择不同的损失函数，如何选择模型的损失函数，是作为算法工程师实践应用中最基础也是最关键的能力之一。最近在学习pyt
转载
2024-01-03 10:09:44
393阅读
作者：Prince Grover编译：ronghuaiyang
导读为模型选择合适的损失函数，让模型具有最好的效果。机器学习中的所有算法都依赖于函数的最小化或最大化，我们称之为“目标函数”。一组最小化的函数称为“损失函数”。损失函数是衡量预测模型在预测预期结果方面做得有多好。求函数最小值的一种常用方法是“梯度下降法”。把损失函数想象成起伏的山，而梯度下降就像从山上滑下来到达最低点。没有
转载
2023-12-25 21:09:54
78阅读
## PyTorch如何选择损失函数
在深度学习中，损失函数（Loss Function）是一个重要的组成部分。它用于衡量模型的预测值与真实值之间的差距，并指导模型更新参数以降低这一差距。选择合适的损失函数是确保模型性能的关键，尤其是在处理实际问题时。
### 实际问题：房价预测
假设我们想要建立一个模型来预测房价。我们有一组房屋特征数据，包括面积、卧室数量、位置等，以及对应的房价。由于房价
摘要：《战狼2》中吴京的那句“那他妈是以前！”令人热血沸腾。在以前，全连接网络的扩展性很差，原因就在于它难以承受参数太多之痛。但当卷积神经网络兴起后，我们也可以说一句，“那他妈是以前！”因为现在我们有了“局部连接”和“权值共享”。来，看看它们是如何工作的吧？ 很多年前，著名物理学家爱因斯坦说过一句名言：Everything should be m
