1、原理 2、参数 3、score_card
1、原理https://zhuanlan.zhihu.com/p/1013341832、重要参数2.1 正则化参数penalty、c penalty：可以输入"l1"或"l2"来指定使用哪一种正则化方式，不填写默认"l2"。L1正则化会将参数压缩为0，L2正则化只会让参数尽量小，不会取到0。C: 正则化强度的倒数。大于0的浮点数
转载
2023-11-07 09:27:59
129阅读
学习目标：1、了解kNN算法及其原理2、使用python手动实现kNN算法，并在sklearn中调用kNN算法3、了解监督学习和非监督学习的概念知识整理：【1】kNN算法简介： kNN(k-NearestNeighbor)，也就是k最近邻算法。所谓K最近邻，就是k个最近的邻居的意思。也就是在数据集中，认为每个样本可以用离他距离最近的k个邻居来代表 [ 比如样本集中有
转载
2023-12-20 09:35:33
82阅读
python+Scikit-Learn线性回归及损失函数环境：(ubuntu18.04LTS)Anaconda3+python3.7.4+Scikit-Learn一、线性回归监督学习 机器学习主要分为监督学习、非监督学习和强化学习。其中，监督学习主要包括：分类（Classification）、回归（Regression）和排序（Ranking）。监督学习是通过已知的训练数据集，训练得到数据集中特征
转载
2024-01-21 00:37:58
90阅读
一.线性回归LinearRegression类就是我们平时所说的普通线性回归，它的损失函数如下所示：
对于这个损失函数，一般有梯度下降法和最小二乘法两种极小化损失函数的优化方法，而scikit-learn中的LinearRegression类使用的是最小二乘法。通过最小二乘法，可以解出线性回归系数θ为：验证方法：LinearRegression类并没有用到交叉验证之类的验证方法，需要我们自己把数据
转载
2023-10-08 01:23:33
226阅读
机器学习是一门需要不断实验和试错的科学，拥有大量的实战经验几乎比拥有一个好的算法还要重要，没有一个机器学习模型能够对所有的问题有效。因此，想要学好机器学习一定要有非常多的项目练习作为支撑，从实践中探寻机器学习的技法。但一个机器学习项目的实施需要实践者拥有丰富的机器学习理论并具有将理论知识实践的能力，这让很多机器学习小白望而却步。本文将利用sklearn中自带的数据集(鸢尾花数据集),
转载
2024-01-11 20:49:44
273阅读
模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子：其中，前面的均值函数表示的是经验风险函数，L代表的是损失函数，后面的
ΦΦ是正则化项（regularizer）或者叫惩罚项（penalty term），它可以是L1，也可以是L2，或者其他的正则函数。整个式子表示的意思是找到使目标函数最小时的
θθ值。下面主要列出几种常见的损失函数。 1log对数损失函数（逻辑回归）
SKlearn·数据集： https://scikit-learn.org/stable/modules/classes.html#module-sklearn.datasetssklearn有自带的一些数据集，在如上地址，通过如下方式导入： from 完成训练模型的步骤如下： from sklearn import datasets# sklearn自带数据集
from sk
转载
2024-04-15 21:36:06
19阅读
这是一篇根据我个人需要的复习笔记 本来想一篇写下的结果发现太多了自己找起来都好累 干脆分成两半 上半部分包括：Decision Tree/Random Forest/Preprocessing and Feature Engineering/PCA/Logistic Regression/Kmeans. 下半部分从SVM开始 还在整理中。七、SVM非常强（强学习器，线性分类非线性分类都能做、二分类
转载
2024-01-02 18:31:23
39阅读
首先回到经典的面试问题：为什么线性回归使用mse作为损失函数？为什么逻辑回归二分类常用二元交叉熵作为损失函数?熟悉lgb、xgb或者是sklearn中的各类回归模型包括了线性回归，tweedie回归等等应该都比较熟悉，我们在模型的框架之下可以选择不同的损失函数，以lightgbm为例： 针对于回归问题有非常多的备选损失函数，那么这些损失函数什么时候用，为什么？回到基本面试问题，首先我们
转载
2023-11-30 11:46:40
80阅读
机器学习 机器学习可以看作是寻找一个函数，输入是样本数据，输出是期望的结果，只是这个函数过于复杂，以至于不太方便形式化表达。机器学习步骤 通常学习一个好的函数，分为以下三步： 1、选择一个合适的模型，这通常需要依据实际问题而定，针对不同的问题和任务需要选取恰当的模型，模型就是一组函数的集合。 2、判断一个函数的好坏，这需要确定一个衡量标准，也就是我们通常说的损失函
转载
2023-12-13 23:13:46
118阅读
SciKit learn的简称是SKlearn，是一个python库，专门用于机器学习的模块。官方网站：http://scikit-learn.org/stable/#SKlearn包含的机器学习方式：分类，回归，无监督，数据降维，数据预处理等等，包含了常见的大部分机器学习方法。官网有一张图给了如何根据数据来选择转换器。（图源：https://scikit-learn.org/stable/tut
转载
2023-11-23 12:57:11
220阅读
class sklearn.linear_model.LogisticRegression(penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’liblinear’, max_iter=1
转载
2024-02-19 22:34:17
97阅读
本文介绍Keras的几个常用的分类损失函数，包括categorical_crossentropy，sparse_categorical_crossentropy，binary_crossentropy，hinge, squared_hinge，categorical_hinge。基本用法如下：# 使用categorical_crossentropy；使用其他损失替换损失函数的指代词即可
model
转载
2024-05-15 10:20:44
97阅读
各种损失函数损失函数或代价函数来度量给定的模型（一次）预测不一致的程度损失函数的一般形式：风险函数：度量平均意义下模型预测结果的好坏损失函数分类：Zero-one Loss，Square Loss，Hinge Loss，Logistic Loss，Log Loss或Cross-entropy Loss，hamming_loss分类器中常用的损失函数：Zero-One Loss该函数计算nsampl
转载
2023-10-03 15:43:30
302阅读
一句话：逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。 假设的伯努利分布的形式
我们需要知道，有监督模型从整体上可以分为判别式模型和生成式模型，而判别式模型又可以分为概率判别式模型和常规的判别式模型，前者以逻辑回归为典型，后者则常见的决策树系列均是这个类型，概率判别式模型假设了输入x和输出y之间的条件概率分布P(y
转载
2024-06-12 21:56:08
46阅读
上一篇文章《语音降噪模型归纳汇总》，很意外地收到了点赞收藏和关注，如此的反馈给了我极大的鼓舞，这里就再梳理了一下loss函数相关的知识，以求方便能作为一份工具性质的文章展现出来。能力一般，水平有限，欢迎大家指正。目录前言什么是损失（Loss）？ 预测值（估计值）与实际值（预期值、参考值、ground truth）之间会存在差异, “损失”意味着模型因未能产生预期结果而受到的惩罚。损失函数的作用？
转载
2023-10-07 19:19:32
78阅读
损失函数（Loss Function）： 损失函数（loss function）就是用来度量模型的预测值f(x)与真实值Y的差异程度的运算函数，它是一个非负实值函数，通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数的作用：损失函数使用主要是在模型的训练阶段，每个批次的训练数据送入模型后，通过前向传播输出预测值，然后损失函数会计算出预测值和真实值之间的差异值，也就是损失
转载
2023-11-22 14:37:19
536阅读
1.word2vec两个模型的损失函数是什么？知识点：统计语言模型（贝叶斯概率） -> n-gram(n-1阶马尔科夫假设) -> 词频统计（大数定律） -> 神经概率语言模型 答：word2vec两个模型为CBOW和Skip-gram，cbow和Skip-gram又分为层序soft
转载
2023-11-20 08:49:00
123阅读
目录：人脸识别介绍损失函数发展Softmax lossCenter lossTriplet lossL-softmax lossSphereFace(A-Softmax loss)CosFace(AM-Softmax loss)ArcFace loss人脸识别流程相似度生成训练图片数据采样网络模型训练使用摄像头实时检测 人脸识别介绍MTCNN 实现人脸检测，回答了“是不是人脸”和“人脸在哪”的问
转载
2024-07-08 20:59:18
79阅读
一、切分训练集，测试集from sklearn.model_selection import train_test_split
#随机 划分30%作为测试集 random_state=531
xTrain,xTest,yTrain,yTest = train_test_split(X,y,test_size=0.3,random_state=531)二、计算均方误差（也可以自己算，就
转载
2023-05-26 20:28:56
326阅读
