目录引言Additive Feature Attribution Methods加性特征归因法LIMEDeepLIFTLayer-Wise Relevance PropagationClassic Shapley Value Estimation简单属性唯一地决定了可加性特征属性SHAP valuesShapley值SHAP值其他概念预测值的可视化SHAP特征重要度SHAP摘要图SHAP依赖图
转载
2023-12-01 11:50:17
678阅读
随着DeepMind研发的围棋机器人AlphaGo接连击败了世界上的顶尖棋手，人工智能开始得到越来越多的关注。尤其是近年来计算机算力的增长以及可靠数据越来越容易获取，人工智能中的深度学习领域得到了高速发展，深度学习模型在一些任务上的智能可以达到甚至超过人类水平。但是在光鲜亮丽的面纱之下笼罩着一团迷雾！深度学习模型因其大量的参数、复杂的结构，以及给出的结果难以直接被人们所理解，甚至被诟病为“黑盒模型
转载
2024-01-08 11:37:46
249阅读
9月27日，腾讯在人工智能、生命科学跨学科应用领域的最新研究成果《scBERT as a Large-scale Pretrained Deep Language Model for Cell Type Annotation of Single-cell RNA-seq Data》（《基于大规模预训练语言模型的单细胞转录组细胞类型注释算法》），登上国际顶级学术期刊《Nature》子刊《Nature
转载
2024-01-22 23:12:34
15阅读
作者 | 王小贱（被编程耽误的设计师，热爱产品的数据民工）《深度学习的可解释性研究》系列文章希望能用尽可能浅显的语言带领大家了解可解释性的概念与方法，以及关于深度学习可解释性工作的研究成果。本文是该系列的第一部分。01深度学习的可解释性研究（一） 让模型具备说人话的能力▌可解释性是什么？广义上的可解释性指在我们需要了解或解决一件事情的时候，我们可以获得我们所需要的足够的可以理解的信息。比
摘要 以深度学习为代表的人工智能技术在信息领域的应用，极大地提高了信息的利用效率和挖掘价值，深刻的影响了各领域的业务形态，同时也引发了监管部门和用户对这一新技术运用中出现的 “算法黑箱”问题关切和疑虑。如何对相关算法、模型、及其给出的结果进行合理的解释成为数据科学家亟需解决的问题。一、为什么智能算法需要可解释1.来自人工智能的挑战 &nbs
1.SHAP介绍SHAP（SHapley Additive exPlanations），是Python开发的一个“模型解释”包，它可以解释任何机器学习模型的输出。所有的特征都被视为“贡献者”。对于每个预测样本，模型都产生一个预测值，SHAP value就是该样本中每个特征所分配到的数值。SHAP值从预测中把每一个特征的影响分解出来，可应用于如下场景中：模型认为银行不应该给某人放贷，但是法律上需要银
转载
2023-09-30 09:31:44
6571阅读
随着人工智能的发展为了解决具有挑战性的问题，人们创造了更复杂、更不透明的模型。AI就像一个黑匣子，能自己做出决定，但是人们并不清楚其中缘由。建立一个AI模型，输入数据，然后再输出结果，但有一个问题就是我们不能解释AI为何会得出这样的结论。需要了解AI如何得出某个结论背后的原因，而不是仅仅接受一个在没有上下文或解释的情况下输出的结果。SHAPSHapley Additive explanation
文章目录【用Shapely解释机器学习模型】1. 用Shapely解释线性模型1.1 传统特征系数计算1.2 部分特征依赖图(partial dependence plots)1.3 瀑布图（waterfall plot）2. 用Shapely解释加法回归模型2.1 基础解释图（局部依赖、依赖关系散点图、瀑布图）2.2 蜂群图（beeswarm）3. 用Shapely解释非加法性质的提升树模型3
转载
2023-12-11 08:25:37
2890阅读
# 使用SHAP库进行回归模型的可解释性分析
## 引言
在机器学习中，模型的可解释性越来越受到重视。SHAP（SHapley Additive exPlanations）是一种用于解释模型输出的方法，特别适用于回归模型。本文将教你如何使用Python中的SHAP库来实现回归模型的可解释性分析。
## 流程概述
下面是整个过程的概要步骤：
| 步骤
最近在系统性的学习AUTOML一些细节，本篇单纯从实现与解读的角度入手， 因为最近SHAP版本与之前的调用方式有蛮多差异，就从新版本出发，进行解读。不会过多解读SHAP值理论部分，相关理论可参考：能解释树模型的Shap值究竟是个啥？SHAP知识点全汇总关于SHAP值加速可参考以下几位大佬的文章：高效的ShapValue计算 - TreeShap分析官方：slundberg/shap关联文章：机器
可解释的基本概念机器学习/人工智能可解释性（简称 XAI）正变得越来越流行。随着算法在金融、医疗保健和保险等行业的高风险决策中变得越来越普遍，对可解释性的需求持续增长。关于“可解释性”的精确定义，目前工业界和学术界仍未达成一个统一的标准，但是一个比较简单直接的定义为：“可解释性”是帮助 人工智能技术的的决策和行为能够被人类理解的一系列方法。可解释人工智能技术中的大部分概念和我们熟悉的人工智能技术中
本篇博客介绍另一种事后可解释性方法：SHAP(SHapley Additive exPlanation)方法。1. Shapley值理论 Shapley值是博弈论中的一个概念，通过衡量联盟中各成员对联盟总目标的贡献程度，从而根据贡献程度来进行联盟成员的利益分配，避免了分配的平均主义。 当Shapley理论用于解释机器学习模型的时候，将输入特征视为参与成员，模型输出的概率分布视为联盟总目标
转载
2024-01-12 08:36:48
247阅读
作者|Mandy Gu 编译|Flin 来源|towardsdatascienceLogistic回归，通过估计事件发生的对数概率来对事件发生的概率进行建模。如果我们假设对数比值和 j 个自变量之间存在线性关系，那么我们可以将事件发生的概率p建模为：你可能注意到未指定对数底。对数的底数其实并不重要，回想一下，如果我们把两边都乘以logk b，我们可以把底数b改成任何新的底数k。这使我们可以灵活地假
Explainable artificial intelligence for mental health through transparency and interpretability for understandability文章主要内容总结调研了应用了XAI的心理健康和精神病学的文献
总结了这个领域的XAI应用具有模式：输入-f(x)->特征空间-g(f(x))->输出
转载
2024-07-09 17:52:22
58阅读
一、算法定义：算法是解决特定问题求解步骤的描述，在计算机中表现为指令的有限序列，并且每条指令表示一个或多个操作。二、 算法的特性：1、输入输出：在处理一个问题中，输入可以为0。但输出至少要有一个数。2、有穷性：在执行完有限的步骤之后会跳出程序，自动结束，而不会出现无限循环，并且每一个步骤可以在有限的时间内完成。3、确定性：算法的每一步骤都有确定的含义，不会出现二义性。4、可行性：算法的每一步必须是
探索SHAP：深度学习可解释性的强大工具SHAP 是一个开源Python库，用于理解和解释机器学习模型的预测行为。该项目由ETH Zurich的Scott Lundberg和Noah Gansallo发起，旨在提供一种统一的框架，以直观地理解各个特征如何影响模型的决策。项目简介SHAP（SHapley Additive exPlanations）是一种基于博弈论的方法，它利用了Shapley值的概
转载
2024-08-04 17:30:39
308阅读
在这篇笔记中分享前段时间我对于LIME算法的调研。一、算法简介LIME算法是Marco Tulio Ribeiro2016年发表的论文《“Why Should I Trust You?” Explaining the Predictions of Any Classifier》中介绍的局部可解释性模型算法。该算法主要是用在文本类与图像类的模型中。1.算法主要用途在算法建模过程中，我们一般会用测试集的
转载
2023-12-30 08:13:39
171阅读
模型可解释性汇总简 介目前很多机器学习模型可以做出非常好的预测，但是它们并不能很好地解释他们是如何进行预测的，很多数据科学家都很难知晓为什么该算法会得到这样的预测结果。这是非常致命的，因为如果我们无法知道某个算法是如何进行预测，那么我们将很难将其前一道其它的问题中，很难进行算法的debug。本文介绍目前常见的几种可以提高机器学习模型的可解释性的技术，包括它们的相对优点和缺点。我们将其分
转载
2023-10-12 11:07:19
166阅读
# 可解释性机器学习综述
## 1. 引言
在机器学习领域，训练出的模型往往被认为是黑盒子，难以解释其决策过程。然而，在某些应用场景中，我们需要能够理解模型的决策原因，这就是可解释性机器学习的重要性所在。本文将为你介绍可解释性机器学习的概念以及实现的流程。
## 2. 可解释性机器学习的流程
下面是可解释性机器学习的实现流程的步骤表格：
| 步骤 | 描述 |
| ---- | ---- |
原创
2024-01-02 09:35:01
77阅读
机器学习的可解释性1.可解释性简介2.可解释性的重要性3.可解释模型具体技术3.1 Permutation Importance3.2 Partial Dependency Plots3.3 SHAP3.4 SHAP Values 的高级用法
1.可解释性简介理解（interpret）表示用可被认知（understandable）的说法去解
原创
2022-06-23 17:47:29
559阅读
