标签云是一套相关的标签以及与此相应的权重。典型的标签云有30至150个标签。权重影响使用的字体大小或其他视觉效果。同时，直方图或饼图表是最常用的代表约12种不同的权数。因此，标签云彩能代表更多的权，尽管不那么准确。此外，标签云通常是可以交互的：标签是典型的超链接，让用户可以仔细了解他们的内容。 大概可以理解为一堆相关或者不相关的标签混到一块，根据不同的重要程度，或者其他维度的不同来为每个
转载
2024-04-18 07:19:40
23阅读
#今日论文推荐#更透明的AI？MIT等最新《可解释AI: 深度神经网络内部结构解释》综述，17页pdf全面阐述DNN内部可解释性技术在过去的十年里，机器学习的规模和能力都有了巨大的增长，深度神经网络(DNNs)正在越来越多地应用于广泛的领域。然而，DNN的内部工作原理通常很难理解，这引起了人们对使用这些系统的安全性的担忧，因为他们没有严格了解它们的功能。在这项综述中，我们回顾了解释DNN内部成分的
转载
2023-07-04 21:54:31
154阅读
9月27日，腾讯在人工智能、生命科学跨学科应用领域的最新研究成果《scBERT as a Large-scale Pretrained Deep Language Model for Cell Type Annotation of Single-cell RNA-seq Data》（《基于大规模预训练语言模型的单细胞转录组细胞类型注释算法》），登上国际顶级学术期刊《Nature》子刊《Nature
转载
2024-01-22 23:12:34
15阅读
编者按：本篇文章重新回顾了Breiman于2001年发表的《Statistical Modeling：The Two Cultures》一文，对数据建模和算法建模两种文化做了详细的反思，并指出要想发展统计学，应当秉持「先有模型准确性，再有模型可解释」的观点。在 2001 年的论文《Statistical Modeling: The Two Cultures》中，随机森林、袋模型以及提升集成算法的提
模型可解释性1.为什么要模型可解释性2.模型可解释性的应用场景3.模型可解释性理论方法3.1 可解释的模型方法3.1.1 线性回归3.1.2 树模型3.2 模型无关的方法3.2.1 LIME（局部解释）3.2.2 SHAP（全局解释 + 局部解释）4.模型可解释性工具比较5.模型可解释性与模型工作流的集成5.1 基于线性回归的特征权重系数5.2 基于树模型（LightGBM）的特征重要性5.3
转载
2024-10-29 12:13:58
200阅读
1.SHAP介绍SHAP（SHapley Additive exPlanations），是Python开发的一个“模型解释”包，它可以解释任何机器学习模型的输出。所有的特征都被视为“贡献者”。对于每个预测样本，模型都产生一个预测值，SHAP value就是该样本中每个特征所分配到的数值。SHAP值从预测中把每一个特征的影响分解出来，可应用于如下场景中：模型认为银行不应该给某人放贷，但是法律上需要银
转载
2023-09-30 09:31:44
6571阅读
在前面的文章中，我们介绍了 一种可解释性神经网络——xNN，而在本篇博客中，我们将要介绍一种针对前面文章的一种改进方法，使网络结构的可解释性更强，预测准确率更高。文章名称：Enhancing Explainability of Neural Networks through Architecture ConstraintsEnhancing Explainability of Neural Net
转载
2023-05-23 23:18:59
221阅读
目录引言Additive Feature Attribution Methods加性特征归因法LIMEDeepLIFTLayer-Wise Relevance PropagationClassic Shapley Value Estimation简单属性唯一地决定了可加性特征属性SHAP valuesShapley值SHAP值其他概念预测值的可视化SHAP特征重要度SHAP摘要图SHAP依赖图
转载
2023-12-01 11:50:17
678阅读
随着DeepMind研发的围棋机器人AlphaGo接连击败了世界上的顶尖棋手，人工智能开始得到越来越多的关注。尤其是近年来计算机算力的增长以及可靠数据越来越容易获取，人工智能中的深度学习领域得到了高速发展，深度学习模型在一些任务上的智能可以达到甚至超过人类水平。但是在光鲜亮丽的面纱之下笼罩着一团迷雾！深度学习模型因其大量的参数、复杂的结构，以及给出的结果难以直接被人们所理解，甚至被诟病为“黑盒模型
转载
2024-01-08 11:37:46
249阅读
摘要 以深度学习为代表的人工智能技术在信息领域的应用，极大地提高了信息的利用效率和挖掘价值，深刻的影响了各领域的业务形态，同时也引发了监管部门和用户对这一新技术运用中出现的 “算法黑箱”问题关切和疑虑。如何对相关算法、模型、及其给出的结果进行合理的解释成为数据科学家亟需解决的问题。一、为什么智能算法需要可解释1.来自人工智能的挑战 &nbs
最近由于项目需要，集中调研了一些深度学习领域的可解释性研究的方法。大概整理为了以下几类方法，欢迎大家参考与交流。1.隐层分析法该方法[1-3]通过可视化，反映射以及标记出隐层神经元所学到的特征的方式来解释深度神经网络。 1 卷积神经网络与反卷积实现过程
2 反卷积方法的特征可视化
多用于计算机视觉领域中，如[3]中，在卷积神经网络的
转载
2024-01-02 22:42:41
56阅读
模型可解释性汇总简 介目前很多机器学习模型可以做出非常好的预测，但是它们并不能很好地解释他们是如何进行预测的，很多数据科学家都很难知晓为什么该算法会得到这样的预测结果。这是非常致命的，因为如果我们无法知道某个算法是如何进行预测，那么我们将很难将其前一道其它的问题中，很难进行算法的debug。本文介绍目前常见的几种可以提高机器学习模型的可解释性的技术，包括它们的相对优点和缺点。我们将其分
转载
2023-10-12 11:07:19
166阅读
第一部分 可解释性是什么？ 事先事中事后三类型 + LIME（模型无关分析）方法简单实现目录1. 可解释性是什么0x1：广义可解释性0x2：在统计学习中的可解释性0x3：机器学习领域的可解释性1. 决策树是目前业内公认可解释性最好的非线性机器学习算法2. DNN深度学习模型的可解释性不是那么明显2. 我们为什么需要可解释性？0x1：可解释
转载
2024-01-15 17:55:34
244阅读
多元线性回归分析数据类型不同选择的不通预测模型数据获取方式模型预测存在内生性回归系数的解释四种回归数据的解释box-cox变换虚拟变量的解释多变量虚拟变量的设置stata中的数据处理数据指标名称的解释异方差检验和修正异方差检验图形化BP检验怀特检验（和图像结合使用）异方差解决OLS和稳健的标准误多重共线性多重共线性的判定处理方式回归对于R^2较小的解释标准化回归 数据类型不同选择的不通预测模型数
转载
2024-03-31 21:33:16
113阅读
## 深度学习可解释性的实现步骤
深度学习模型在解决各种复杂任务上取得了很大的成功，但由于其黑盒特性，很难解释模型是如何做出预测或决策的。这导致了深度学习模型在一些对模型可解释性要求较高的领域应用上的局限性。为了实现深度学习模型的可解释性，我们可以采用以下步骤：
1. 数据预处理
在进行深度学习模型训练之前，首先需要进行数据的预处理。数据预处理包括数据清洗、特征选择、特征缩放等步骤。对于深度
原创
2023-10-12 10:52:56
164阅读
# 深度学习可解释性
深度学习是一种强大的机器学习技术，能够在许多领域取得出色的成果。然而，深度学习模型往往被认为是黑盒子，难以理解其内部的工作原理。这使得深度学习模型的决策过程难以解释和理解，限制了其在一些关键领域的应用，例如医疗诊断和金融风险评估。为了解决这个问题，研究人员开始探索深度学习的可解释性，即通过解释模型的决策过程来提高对模型的理解和信任。
## 可解释性技术
现在，我们将介绍
原创
2023-07-22 02:08:04
278阅读
随着人工智能的发展为了解决具有挑战性的问题，人们创造了更复杂、更不透明的模型。AI就像一个黑匣子，能自己做出决定，但是人们并不清楚其中缘由。建立一个AI模型，输入数据，然后再输出结果，但有一个问题就是我们不能解释AI为何会得出这样的结论。需要了解AI如何得出某个结论背后的原因，而不是仅仅接受一个在没有上下文或解释的情况下输出的结果。SHAPSHapley Additive explanation
# Python可解释性库实现指南
## 引言
本文将指导一位刚入行的小白开发者如何使用Python可解释性库。我们将依次介绍整个流程，并提供每一步需要使用的代码和对代码的注释。希望通过本文的指导，你能够快速理解并掌握Python可解释性库的实现方法。
## 流程概览
在开始之前，让我们先了解一下整个实现过程的流程。下表展示了实现Python可解释性库的主要步骤。
| 步骤 | 描述 |
原创
2023-12-18 09:08:27
41阅读
模型的可解释性即让CNN模型自己解释预测的结果。比如分类任务，需要解释分类的原因，即通过图片的哪些像素做出了判断。关于CNN模型的可解释性，比较经典的有：反卷积（Deconvolution）和导向反向传播（Guided-backpropagation）。通过他们，可以在一定程度上看到cnn模型中较深的卷积层所学习到的一些特征。从本质上说，反卷积和导向反向传播的基础都是反向传播，即对输入进行求导，其
1 迁移学习概念机器学习和数据挖掘的基本假设 （1）用于学习的训练样本与新的测试样本满足独立同分布的条件 （2）必须有足够多的训练样本才能学习得到一个好的分类模型 然而，由于系统的特征往往会随时间改变，因此数据的特征空间和分布规律也会发生变化 如果每次针对新问题都需要对数据做标签的任务，代价是十分高昂的，因此，迁移学习的目的在于应用过去的知识来快速有效解决新问题。迁移学习可应用与分类、回归和聚类问
