1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为：其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+b 】。在训练神经网络过程中，我们通过梯度下降算法来更新w和b，因此需要计算代价函数对w和b的导数：然后更新w、b：w <—— w - η ∂C/∂w
转载
2024-08-18 10:57:18
60阅读
交叉熵损失函数以及softmax损失函数周六总结参考资料： https://wenku.baidu.com/view/81d0aef2900ef12d2af90242a8956bec0975a50e.html 欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高
分布对于0-1点分布来说，假设有3红7绿，y代表类别，它们的分布称为q(y)，如下： 图1：q(y)，点的分布熵（Entropy）熵是与给定的分布q(y)相关的不确定性的量度。如果我们所有的点都是绿色的，这种分布的不确定性是什么？零，对吗？毕竟，毫无疑问，点的颜色：它总是绿色！因此，熵为零！另一方面，如果我们确切知道该点的一半是绿色和另一半是红色？那是最坏的情况，对吧？我们绝对不可能猜到
转载
2024-09-08 20:30:07
81阅读
NLP笔记：浅谈交叉熵（cross entropy）0. 引言1. 交叉熵的定义1. 信息熵2. 相对熵（KL散度）3. 交叉熵2. 交叉熵的实现1. tensorflow实现2. pytorch实现3. tensorflow与pytorch中交叉熵的区别4. 引申思考1. 两次softmax的影响2. 伪cross entropy合理性分析5. 参考链接0. 引言故事起源于我之前博客【NLP笔记
损失函数和误差函数在大多数时候，损失函数和误差函数代表了差不多的意思，但他们仍有细微的差别。误差函数计算我们的模型偏离正确预测的程度。损失函数对误差进行操作，以量化得到一个特定大小或特定方向的误差。Sigmoid\[f(x)=\frac{1}{1+e^{-x}}
\]SoftmaxSigmoid常被用来处理二分类问题。对于多分类问题，我们常使用softmax函数将各个类的分数指数化，以落在\([0
对PyTorch中F.cross_entropy()的理解PyTorch提供了求交叉熵的两个常用函数，一个是F.cross_entropy()，另一个是F.nll_entropy()，在学这两个函数的使用的时候有一些问题，尤其是对F.cross_entropy(input, target)中参数target的理解很困难，现在好像弄懂了一些，故写一篇Blog进行记录，方便日后查阅。一、交叉熵的公式及
转载
2023-12-16 00:29:32
448阅读
监督学习主要分为两类：分类：目标变量是离散的，如判断一个西瓜是好瓜还是坏瓜，那么目标变量只能是1（好瓜）,0（坏瓜）回归：目标变量是连续的，如预测西瓜的含糖率（0.00~1.00） 分类主要分为：二分类：如判断一个西瓜是好瓜还是坏瓜多分类：如判断一个西瓜的品种，如黑美人，特小凤，安农二号等
转载
2023-12-16 21:42:48
283阅读
初学阶段，当开始接触，这里记录一些自己的理解，如有不对的地欢迎各位大佬批评指正～～K折交叉验证k交叉验证可以用于模型好坏的评估，也可用于调参，使模型达到最优。 KFold(n_splits=’warn’, shuffle=False, random_state=None)n_splits 表示划分为几块（至少是2）shuffle 表示是否打乱划分，默认False，即不打乱random_state
转载
2024-10-05 14:52:26
14阅读
背景最近一直在总结Pytorch中Loss的各种用法，交叉熵是深度学习中最常用的计算方法，写这个稿子把交叉熵的来龙去脉做一个总结。什么是交叉熵信息量引用百度百科中信息量的例子来看，在日常生活中，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。
https://blog.csdn.net/tsyccnh/article/details/79163834（转自上面的博客，讲得太好了，保存一下，方便以后复习） 关于交叉熵在loss函数中使用的理解交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始...
原创
2021-07-12 11:48:07
713阅读
模型优化工具包是一套先进的技术工具包，可协助新手和高级开发者优化待部署和执行的机器学习模型。自推出该工具包以来， 我们一直努力降低机器学习模型量化的复杂性 最初，我们通过“混合运算”为训练后量化提供支持，该方法可量化模型参数（例如权重），但以浮点方式执行部分计算。今天，我们很高兴宣布推出一款新工具：训练后整型量化。整型量化是一种通用技术，可降低模型权重和激活函数的数值精度
Cross-Entropy Loss假设是一对训练样本，是训练数据，是对于分类的one hot向量（该向量只有真实分类的参数为1，其余位数均为0）。假设通过softmax算得预测值，则损失表示如下：很明显的我们看到这个损失涉及到了哪些参数，只有两个，那就预测值和真实值。这里的真实值采用one hot encoding，预测值则必须是概率分布。例如在这里我们只需要关注y的1数位，因为其他位数都为0，
在分类的时候，一般采用交叉熵损失函数，然而今天用tensorflow做分类的时候，发现采用tensorflow的自用函数，和自己写的，计算出来的结果不一样。而且采用自己实现时，我出现了loss为nan的情况# tensorflow自带loss = tf.reduce_mean( tf.nn.softmax_cross_entropy_with_logits(labels=y, logit...
原创
2021-09-07 11:37:37
1109阅读
小明在学校玩王者荣耀被发现了，爸爸被叫去开家长会，心里悲屈的很，就想法子惩罚小明。到家后，爸爸跟小明说：既然你犯错了，就要接受惩罚，但惩罚的程度就看你聪不聪明了。这样吧，我们俩玩猜球游戏，我拿一个球，你猜球的颜色，我可以回答你任何问题，你每猜一次，不管对错，你就一个星期不能玩王者荣耀，当然，猜对，游
转载
2019-07-10 15:16:00
315阅读
2评论
# -*- coding:utf-8 -*- import tensorflow as tf import numpy as np y_ = np.array([[1, 0, 0], [0, 1, 0], [0, 0, 1], [1, 0, 0], [0, 1, 0]]) y = np.array( ...
转载
2021-08-16 07:13:00
337阅读
2评论
python开发中元组是什么？元组（tuple）是关系数据库中的基本概念，关系是一张表，表中的每行（即数据库中的每条记录）就是一个元组，每列就是一个属性。 在二维表里，元组也称为行。tuple:元组，元组将多样的对象集合到一起，不能修改，通过索引进 行查找，使用括号”()”;应用场景：把一些数据当做一个整体去使用，不能修改；1、描述Python 元组 cmp() 函数用于比较两个元组元素。2、语法
转载
2023-11-06 14:22:06
106阅读
数组的定义是把具有相同类型的若干变量按有序的形式组织起来。这些按序排列的同类数据元素的集合称为数组。数组简单点来说就是相同数据类型的数据集合。数组分为一元数组、二元数组、多元数组、字符数组（字符串）、结构体数组和指针数组等数组类型。一元数组一元数组就像上一条线，每一个元素都是连续存储在内存中。一般数组的大小都是固定的（字符数组除外），因此数组中的每一个值都有一个对应的下标，可以通过下标获取数组的某
转载
2023-11-24 03:41:56
254阅读
在本文中，我想谈谈二元算术运算。具体来说，我想解读减法的工作原理：a - b。我故意选择了减法，因为它是不可交换的。这可以强调出操作顺序的重要性，与加法操作相比，你可能会在实现时误将 a 和 b 翻转，但还是得到相同的结果。查看 C 代码按照惯例，我们从查看 CPython 解释器编译的字节码开始。>>> def sub(): a - b
...
>>> imp
转载
2023-10-05 20:37:05
90阅读
二元logistic回归分析流程如下图：一、分析前准备二元logistic回归分析适用于研究因变量为二分类变量的数据，二分类变量即为那些结局只有两种可能性的变量。比如因变量表示为“是”或“否”、“同意”或“不同意”、“发生”或“不发生”这类形式。当前有一份数据，想要分析在银行贷款的客户其“是否违约”的影响因素，当前掌握的可能影响因素有年龄、工资、教育水平、负债率、信用卡负债、工作年限、居住时长。在
转载
2023-09-14 08:49:45
333阅读
Logistic Regression 逻辑回归逻辑回归与线性回归有很多相似的地方。后面会做对比，先将逻辑回归函数可视化一下。与其所对应的损失函数如下，并将求max转换为min，并转换为求指数形式，便于计算。最后得到的是两个伯努利分布（function output & target）的交叉熵（两个分布的接近程度，如果分布相同，则交叉熵为0）。经过求导，最后得到的损失函数的偏导数和线性回归
