很早就打算写这篇博客了，最近遇到的问题比较多，所以拖了又拖，今天问题似乎解决了，等着程序运行的时候再来回顾一下Batch Normalization算法。 Batch Normalization是2015年Google研究员在论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Co
转载
2024-08-02 12:29:44
81阅读
1. CNNs (Convolutional Neural Networks)我觉得下述过程可以直接用textCNN的这个流程图来表达，清晰明了。所以，直接对着该图看下面的各个步骤会更简单一些。1.1 Why CNNs?为什么要再文本中使用卷积神经网络（CNN）呢？CNN通过卷积的方法，并使用不同大小的卷积核，可以捕捉到句子中不同长度短语的语义信息。1.2 What is Convol
转载
2024-07-22 12:05:41
115阅读
翻译：我Lundberg and Lee（2016）的SHAP（SHapley Additive ExPlanations）是一种解释个体预测的方法。 SHAP基于游戏理论上的最佳Shapley值。SHAP拥有自己的一章，而不是Shapley值的子章节，有两个原因。首先，SHAP的作者提出了KernelSHAP，这是一种受局部代用模型（ local surrogate models）启发的、基于核
CNN卷积神经网络是计算机视觉的基础网络结构，后续很多模型都是在CNN的框架下搭建起来，如VGGNET，(通过大量使用3x3卷积核和2x2池化核，首次将卷积神经网络的卷积深度推向更深）、Inception V1(网络提升了计算资源的利用率，可以在保持网络计算资源不变的前提下，通过工艺上的设计增加网络的宽度和深度，基于为了保持网络结构的稀疏性，又能利用密集矩阵的高计算性能，Google团队提出了In
转载
2024-03-22 16:00:38
818阅读
作者 | yishun@知乎 导读对神经网络进行可视化分析不管是在学习上还是实际应用上都有很重要的意义，基于此，本文介绍了3种CNN的可视化方法：可视化中间特征图，可视化卷积核，可视化图像中类激活的热力图。每种方法均附有相关代码详解。 引言有一些同学认为深度学习、神经网络什么的就是一个黑盒子，没办法、也不需要分析其内部的工作方式。个人认为这种说法“谬之千里”。首先，站在自动特征
现在深度学习在机器学习领域是一个很热的概念，不过经过各种媒体的转载播报，这个概念也逐渐变得有些神话的感觉：例如，人们可能认为，深度学习是一种能够模拟出人脑的神经结构的机器学习方式，从而能够让计算机具有人一样的智慧；而这样一种技术在将来无疑是前景无限的。那么深度学习本质上又是一种什么样的技术呢？ 深度学习是什么 &n
文章目录【用Shapely解释机器学习模型】1. 用Shapely解释线性模型1.1 传统特征系数计算1.2 部分特征依赖图(partial dependence plots)1.3 瀑布图（waterfall plot）2. 用Shapely解释加法回归模型2.1 基础解释图（局部依赖、依赖关系散点图、瀑布图）2.2 蜂群图（beeswarm）3. 用Shapely解释非加法性质的提升树模型3
转载
2023-12-11 08:25:37
2888阅读
HOC(High Order Calculator) 是一个解释型的程序语言，最初的版本由Brain Kernighan和Rob Pike在《The UNIX Programming Environment》[UNIX编程环境]一书中作为一个例子给出。本身由lex/yacc构造，结构十分清晰，作为一个教学语言，HOC支持函数，具有类C的语法，有简单的I/O，变量赋值，表达式计算，错误恢复等机制。&
作者：Samuele Mazzanti导读上一篇文章我们说到SHAP值可以用来对黑盒模型进行解释，具备比简单的逻辑回归更好的实际意义，那么SHAP值到底是什么？有什么实际意义？如何计算？揭开神秘的面纱在上次的文章中，我们看到SHAP值可以用来解释机器学习方法的决策。换句话说，我们使用SHAP来揭开黑箱模型的神秘面纱。到目前为止，我们利用了Python的SHAP库，而没有过多考虑它是如何工作的。足够
在使用PyTorch进行深度学习模型训练时，SHAP（SHapley Additive exPlanations）解释器能帮助我们理解模型的预测。本篇博文将记录在集成SHAP解释器于PyTorch代码过程中出现的问题，以及最终解决该问题的过程。
### 用户场景还原
在近期的项目中，我们使用了PyTorch框架构建了一套图像分类模型。该模型需要对输入的图像数据进行预测，并生成可解释的输出，以帮助
目录0 代码示例1 数据预处理和建模1.1 加载库和数据预处理1.2 训练2 解释模型2.1 Summarize the feature imporances with a bar chart2.2 Summarize the feature importances with a density scatter plot2.3 Investigate the dependence of the
转载
2024-08-14 12:48:50
339阅读
# 使用SHAP进行模型解释
在机器学习的世界中，模型的可解释性一直是一个重要的话题。尽管深度学习和其他复杂模型在预测方面表现优异，但它们的“黑箱”特性使得理解决策过程变得困难。为了解决这个问题，SHAP（SHapley Additive exPlanations）作为一种有效的模型解释工具被提了出来。本文将为大家介绍SHAP的基本概念、应用及其在Python中的实现。
## 什么是SHAP？
原创
2024-09-06 06:23:24
618阅读
环境配置：以下实验使用当前最新版本shap：0.39.0$ pip install shap注意xgboost也需
原创
2022-09-16 13:53:48
2413阅读
卷积神经网络是计算机视觉的一个飞跃的提升。第一个是图片，如果是彩色的话，它会分RGB三种显示的颜色叫做红色绿色蓝色，用这种三原色就可以产生各种各样的颜色。所以RGB就是高度，所以每一个像素点都有RGB的参数，相当于像素点的厚度，它要做的事情就是把长和宽还有RGB的宽度压缩。具体怎么压缩呢，就是我把我的长和宽压小一点，把厚度增高一点，到最后就变成了classifier。CNN具体来说就是不断压缩长和
转载
2024-09-02 12:04:20
39阅读
神经网络与深度学习实验报告一、实验名称Pytorch实现CNN二、实验要求用 python 的 Pytorch 模块实现卷积神经网络。网络结构为一个输入层、两个卷积层、一个全连接层、一个输出层。三、实验目的通过学习的卷积神经网络（CNN）基本原理（网络结构，损失函数，参数学习），使用numpy和Pytorch模块实现卷积神经网络，进一步加深对卷积神经网络的理解。掌握卷积神经网络原理和方法。四、实验
转载
2023-10-07 13:33:30
232阅读
最近在系统性的学习AUTOML一些细节，本篇单纯从实现与解读的角度入手， 因为最近SHAP版本与之前的调用方式有蛮多差异，就从新版本出发，进行解读。不会过多解读SHAP值理论部分，相关理论可参考：能解释树模型的Shap值究竟是个啥？SHAP知识点全汇总关于SHAP值加速可参考以下几位大佬的文章：高效的ShapValue计算 - TreeShap分析官方：slundberg/shap关联文章：机器
1.项目背景人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。人脸识别产品已广泛应用于金融、司法、军队、公安、边检、政府、航天、电力、工厂、教育、医疗及众多企事业单位等领域。随着技术的进一步成熟和社会认同度的提高，人脸识别技术将应用在
本文续 "SHAP解析模型" 之后，又尝试了一些SHAP新版本的进阶用法，整理并与大家分享．
原创
2022-09-16 14:06:34
2443阅读
引言XGBoost用于建模，SHAP用于模型的可视化解释。 XGBoost建模1 数据准备XGB准备原始数据为一个dataframe，其中一列为输出的结果值，其他列为模型的特征值。输出结果值： 二分类模型：只能为’0’或’1’ 多分类模型：从’0’开始的数字模型特征值： 必须为数值型，如整数、小数；如果为字符，如中文描述，需要先进行转换。字符转数值方法： 法一：直接转稀疏矩阵：# 将col1和co
Any data science or data analytics project can be generally described with the following steps: 通常可以通过以下步骤来描述任何数据科学或数据分析项目： Acquiring a business understanding & defining the goal of a projectGetti
