文章目录【用Shapely解释机器学习模型】1. 用Shapely解释线性模型1.1 传统特征系数计算1.2 部分特征依赖图(partial dependence plots)1.3 瀑布图（waterfall plot）2. 用Shapely解释加法回归模型2.1 基础解释图（局部依赖、依赖关系散点图、瀑布图）2.2 蜂群图（beeswarm）3. 用Shapely解释非加法性质的提升树模型3
转载
2023-12-11 08:25:37
2885阅读
1.SHAP介绍SHAP（SHapley Additive exPlanations），是Python开发的一个“模型解释”包，它可以解释任何机器学习模型的输出。所有的特征都被视为“贡献者”。对于每个预测样本，模型都产生一个预测值，SHAP value就是该样本中每个特征所分配到的数值。SHAP值从预测中把每一个特征的影响分解出来，可应用于如下场景中：模型认为银行不应该给某人放贷，但是法律上需要银
转载
2023-09-30 09:31:44
6547阅读
最近在系统性的学习AUTOML一些细节，本篇单纯从实现与解读的角度入手， 因为最近SHAP版本与之前的调用方式有蛮多差异，就从新版本出发，进行解读。不会过多解读SHAP值理论部分，相关理论可参考：能解释树模型的Shap值究竟是个啥？SHAP知识点全汇总关于SHAP值加速可参考以下几位大佬的文章：高效的ShapValue计算 - TreeShap分析官方：slundberg/shap关联文章：机器
目录引言Additive Feature Attribution Methods加性特征归因法LIMEDeepLIFTLayer-Wise Relevance PropagationClassic Shapley Value Estimation简单属性唯一地决定了可加性特征属性SHAP valuesShapley值SHAP值其他概念预测值的可视化SHAP特征重要度SHAP摘要图SHAP依赖图
转载
2023-12-01 11:50:17
678阅读
随着人工智能的发展为了解决具有挑战性的问题，人们创造了更复杂、更不透明的模型。AI就像一个黑匣子，能自己做出决定，但是人们并不清楚其中缘由。建立一个AI模型，输入数据，然后再输出结果，但有一个问题就是我们不能解释AI为何会得出这样的结论。需要了解AI如何得出某个结论背后的原因，而不是仅仅接受一个在没有上下文或解释的情况下输出的结果。SHAPSHapley Additive explanation
随着DeepMind研发的围棋机器人AlphaGo接连击败了世界上的顶尖棋手，人工智能开始得到越来越多的关注。尤其是近年来计算机算力的增长以及可靠数据越来越容易获取，人工智能中的深度学习领域得到了高速发展，深度学习模型在一些任务上的智能可以达到甚至超过人类水平。但是在光鲜亮丽的面纱之下笼罩着一团迷雾！深度学习模型因其大量的参数、复杂的结构，以及给出的结果难以直接被人们所理解，甚至被诟病为“黑盒模型
转载
2024-01-08 11:37:46
249阅读
# 使用SHAP库进行回归模型的可解释性分析
## 引言
在机器学习中，模型的可解释性越来越受到重视。SHAP（SHapley Additive exPlanations）是一种用于解释模型输出的方法，特别适用于回归模型。本文将教你如何使用Python中的SHAP库来实现回归模型的可解释性分析。
## 流程概述
下面是整个过程的概要步骤：
| 步骤
9月27日，腾讯在人工智能、生命科学跨学科应用领域的最新研究成果《scBERT as a Large-scale Pretrained Deep Language Model for Cell Type Annotation of Single-cell RNA-seq Data》（《基于大规模预训练语言模型的单细胞转录组细胞类型注释算法》），登上国际顶级学术期刊《Nature》子刊《Nature
转载
2024-01-22 23:12:34
15阅读
本篇博客介绍另一种事后可解释性方法：SHAP(SHapley Additive exPlanation)方法。1. Shapley值理论 Shapley值是博弈论中的一个概念，通过衡量联盟中各成员对联盟总目标的贡献程度，从而根据贡献程度来进行联盟成员的利益分配，避免了分配的平均主义。 当Shapley理论用于解释机器学习模型的时候，将输入特征视为参与成员，模型输出的概率分布视为联盟总目标
转载
2024-01-12 08:36:48
247阅读
作者 | 王小贱（被编程耽误的设计师，热爱产品的数据民工）《深度学习的可解释性研究》系列文章希望能用尽可能浅显的语言带领大家了解可解释性的概念与方法，以及关于深度学习可解释性工作的研究成果。本文是该系列的第一部分。01深度学习的可解释性研究（一） 让模型具备说人话的能力▌可解释性是什么？广义上的可解释性指在我们需要了解或解决一件事情的时候，我们可以获得我们所需要的足够的可以理解的信息。比
摘要 以深度学习为代表的人工智能技术在信息领域的应用，极大地提高了信息的利用效率和挖掘价值，深刻的影响了各领域的业务形态，同时也引发了监管部门和用户对这一新技术运用中出现的 “算法黑箱”问题关切和疑虑。如何对相关算法、模型、及其给出的结果进行合理的解释成为数据科学家亟需解决的问题。一、为什么智能算法需要可解释1.来自人工智能的挑战 &nbs
作者|Mandy Gu 编译|Flin 来源|towardsdatascienceLogistic回归，通过估计事件发生的对数概率来对事件发生的概率进行建模。如果我们假设对数比值和 j 个自变量之间存在线性关系，那么我们可以将事件发生的概率p建模为：你可能注意到未指定对数底。对数的底数其实并不重要，回想一下，如果我们把两边都乘以logk b，我们可以把底数b改成任何新的底数k。这使我们可以灵活地假
Explainable artificial intelligence for mental health through transparency and interpretability for understandability文章主要内容总结调研了应用了XAI的心理健康和精神病学的文献
总结了这个领域的XAI应用具有模式：输入-f(x)->特征空间-g(f(x))->输出
转载
2024-07-09 17:52:22
58阅读
探索SHAP：深度学习可解释性的强大工具SHAP 是一个开源Python库，用于理解和解释机器学习模型的预测行为。该项目由ETH Zurich的Scott Lundberg和Noah Gansallo发起，旨在提供一种统一的框架，以直观地理解各个特征如何影响模型的决策。项目简介SHAP（SHapley Additive exPlanations）是一种基于博弈论的方法，它利用了Shapley值的概
转载
2024-08-04 17:30:39
308阅读
在现代机器学习领域，尤其是时间序列预测中，LSTM（长短期记忆网络）凭借其优异的性能被广泛应用。然而，如何提升LSTM模型的可解释性成为了一项重要的挑战。SHAP（SHapley Additive exPlanations）作为一种有效的可解释性方法，能够帮助我们理解模型的预测结果，特别是在LSTM模型中。
### 背景描述
在使用LSTM模型处理时间序列问题时，用户常常需要明确各个特征在模型
Shap值衡量特征的边际贡献度，是当前模型解释的最佳方法之一，对于模型进行可视化的全局解释、局部解释，可以在一定程度上满足业务对于模型解释性的要求。其全局解释，（特征对于整体模型的影响）可以作为特征重要性帮助筛选变量；局部解释（对单个样本的预测结果进行解释）可以直观地让我们看到单个样本预测结果的主要影响因素-特征有哪些、以及相应的影响程度，这样在风控业务中对于模型预测
转载
2024-03-29 16:12:25
1045阅读
武汉加油 热干面，你要好起来啊！本文首发于公众号：AI小老弟，全文约5000字，阅读时长5-10分钟导读 本文首先介绍了机器学习解释包SHAP原理和计算方法，然后基于kaggle竞赛Home Credit数据构建用户违约预测的二分类模型，实战演练了SHAP的几个常用功能。针对结构化的数据以及分类任务，集成模型往往会有较好的效果，如XGBOOST的诞生，不仅风靡各大数据竞赛，也在工程中得到了广泛的应
转载
2023-10-05 23:28:24
1805阅读
1. 线性模型为什么不适用于分类线性模型做分类时，训练权重的方法是在两点间插值，输出的是距点最近的超平面，并不是概率，因此不存在有意义的阈值将两类区分。 理解：想象用线性模型做一个猫狗分类，权重.*像素=猫/狗，计算出的值绝对不是概率，而是用到0，1的距离，判断是猫是狗。 上图为线性模型做分类时，阈值划分的问题。 上图为把线性模型的输出作为输入塞到logistic公式中，阈值就有效了。 逻辑回归公
转载
2024-05-06 20:31:29
154阅读
目录PCA1. PCA最大可分性的思想2. 基变换（线性变换）3. 方差4. 协方差5. 协方差矩阵6. 协方差矩阵对角化7. PCA算法流程8. PCA算法总结PCAPCA 就是找出数据最主要的方面，用数据里最主要的方面来代替原始数据。PCA 是最重要的降维方法之一，在数据压缩、消除冗余和数据噪音消除等领域都有广泛的应用。1. PCA最大可分性的思想 最大可分性： 样本点在超平面上的投影尽可能的
#今日论文推荐#更透明的AI？MIT等最新《可解释AI: 深度神经网络内部结构解释》综述，17页pdf全面阐述DNN内部可解释性技术在过去的十年里，机器学习的规模和能力都有了巨大的增长，深度神经网络(DNNs)正在越来越多地应用于广泛的领域。然而，DNN的内部工作原理通常很难理解，这引起了人们对使用这些系统的安全性的担忧，因为他们没有严格了解它们的功能。在这项综述中，我们回顾了解释DNN内部成分的
转载
2023-07-04 21:54:31
154阅读
