一、图解Pandas透视表、交叉表终于开始Pandas进阶内容的写作了。相信很多人都应该知道透视表，在Excel会经常去制作它，来实现数据的分组汇总统计。在Pandas中，我们把它称之为pivot_table。透视表的制作灵活性高，可以随意定制我们想要的的计算统计要求，一般在制作报表神器的时候常用。下面通过具体的例子来对比Excel和Pandas中透视表的实现方法。二、Excel透视表 下面是在E
转载
2024-06-01 16:10:15
60阅读
目录 xgb问题总结1、xgboost未学习到交叉特征如何解决分析（性别&年龄）2、xgboost如何处理离散类特征 3、xgboost调的参数有哪些通用参数Booster参数学习任务参数4、调参的通用方法5、xgb对缺失值是怎么处理的？6、XGBoost为什么使用泰勒二阶展开？7、正则惩罚的是什么？8、XGB寻找最佳分裂点9. 停止生长10. XGBoost为什么快1
转载
2024-01-10 17:21:53
100阅读
# 特征交叉在Python中的实现
欢迎来到特征交叉的世界！特征交叉是一种强大的技术，能够为机器学习模型提供更丰富的信息，尤其是在模型需要捕捉特征之间的关系时。本文将帮助你理解特征交叉的流程，并为你提供具体的代码实现。我们将逐步走过这个过程，确保你在每一步都能够跟上。
## 流程概述
以下是实现特征交叉的基本步骤：
| 步骤 | 描述
motivation：让模型学习到更复杂的非线性特征。method：原始特征 + 组合特征。notes：连续特征和离散特征都可以做交叉。 HOW TO?离散特征：笛卡尔积比如属性A有三个特征，属性B有两个特征，笛卡尔积后就有六个组合特征，然后用one hot 或其他embedding方式给新的特征编码。问题：这种暴力做交叉很可能导致特征稀疏的问题。 连续特征：除了一
# 使用特征交叉（Feature Cross）Python包的指南
特征交叉是一种数据预处理技术，常用于机器学习中，通过组合多个特征生成新的特征，从而提高模型的表现。在这篇文章中，我们将逐步讲解如何使用“特征交叉”Python包来实现这一目的。首先，我们将概述整个流程，并通过表格展示步骤。接下来，我们将详细介绍每一步所需的代码，并附上详细注释。
## 整体流程
以下是实现特征交叉的步骤，我们
# 特征交叉衍生：Python 实现指南
在数据科学和机器学习中，特征工程是模型构建的重要步骤之一。特征交叉衍生（Feature Cross）是其中一种常用的特征工程方法，它通过组合不同特征来生成新的特征，以便模型能够更好地捕捉到数据中的潜在关系。本文将指导你如何在 Python 中实现特征交叉衍生，并提供了一些示例代码。
## 流程概述
以下是特征交叉衍生的基本流程：
| 步骤 |
特征交叉1. 特征交叉（feature crosses） 也叫特征组合，是讲两个或者多个特征以某种方式进行融合，实现对样本空间的非线性变化，增加模型的非线性能力，本质上讲：是利用非线性映射函数，将样本从原始空间映射至高维空间。2.特征交叉方式特征交叉可分为显示交叉和隐式交叉显示交叉主要基于人工先验知识，通过人工来构造交叉特征，常用的有三种类型的交叉：内积、哈达玛积、笛卡尔积
构造显示交叉特征时，一
原创
2023-10-18 16:15:01
266阅读
1、交叉熵：交叉熵主要是用来判定实际的输出与期望的输出的接近程度2、CrossEntropyLoss()损失函数结合了nn.LogSoftmax()和nn.NLLLoss()两个函数。它在做分类（具体几类）训练的时候是非常有用的。3、softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！其公式如下：
转载
2023-05-28 21:19:54
315阅读
基本语法python基本语法主要来自C、JAVA、HASKELL等其它语言，但只取最简单有用的部分，基本保持够用就好，
舍弃对性能和语言特性的追求。面向对象和C语言扩展接口等，能够让它保持简单好用的基础上，
又不失扩展和灵活性。变量和表达式 python逻辑块不像c等语言这样使用一对花括号来区分，而是采用缩进方式来区分，凡是对齐的语句都是平行的逻辑块，这是最大的区别之一。#!/usr/
转载
2023-09-02 08:19:21
93阅读
# 递归特征消除法（RFE）详解及代码示例
在机器学习模型中，特征选择是一个非常重要的环节。它不仅可以提高模型的性能，还能减少计算复杂度，降低过拟合风险。递归特征消除法（Recursive Feature Elimination, RFE）是一种广泛使用的特征选择技术。本文将介绍RFE的基本概念，并提供Python代码示例，同时展示如何利用RFE来优化机器学习模型的特征选择。
## RFE的基
一、交互特征定义两个特征的乘积可以组成一对简单的交互特征，这种相乘关系可以用逻辑操作符AND来类比，它可以表示出由一对条件形成的结果：“该购买行为来自于邮政编码为98121的地区”AND“用户年龄在18和35岁之间”。这种特征在基于决策树的模型中极其常见，在广义线性模型中也经常使用。简单线性模型使用独立输入特征, , …, 的线性组合来预测结果变量：。很容易对线性模型进行扩展，使之包含输入特征的两
转载
2024-01-17 09:18:32
38阅读
机器学习的模型训练越来越自动化，但特征工程还是一个漫长的手动过程，依赖于专业的领域知识，直觉和数据处理。而特征选取恰恰是机器学习重要的先期步骤，虽然不如模型训练那样能产生直接可用的结果。本文作者将使用Python的featuretools库进行自动化特征工程的示例。机器学习越来越多地从手动设计模型转变为使用H20，TPOT和auto-sklearn等工具来自动优化的渠道。这些库以及随机搜索等方法旨
转载
2024-07-31 10:28:47
46阅读
内容概要¶
训练集/测试集分割用于模型验证的缺点K折交叉验证是如何克服之前的不足交叉验证如何用于选择调节参数、选择模型、选择特征改善交叉验证 1. 模型验证回顾¶
进行模型验证的一个重要目的是要选出一个最合适的模型，对于监督学习而言，我们希望模型对于未知数据的泛化能力强，所以就需要模型验证这一过程来体现不同的模型对于未知数据的表现效果。最先我们用训练准确度（用全部数据进行训练和测试）来衡量模型的
# Python 如何做特征交叉
在机器学习中，特征交叉是一种提高模型性能的策略，通过将两个或多个特征组合成一个新特征，从而捕捉到它们之间的相互关系。本文将通过一个具体的示例，演示如何在 Python 中实现特征交叉，以帮助解决房价预测问题。
## 1. 问题背景
房价预测是一个经典的回归问题。我们有多个特征（如面积、卧室数量、房龄等），想要预测房子的价格。通过特征交叉，我们可以发现某些特征
原创
2024-09-08 05:52:54
101阅读
Python常见特性数据结构集合中筛选数据eg : 将数组、字典、集合中的小于0的数去除掉数组:a = [9, 5, -2, -3, 6, 1, -5, -10, 3, 4]
# 数组推导式
b = [for i in a if i > 0]
# filter 返回一个生成器
b = filter(lambda x:x>0, a)字典k = {
"a": 23,
"b": 9,
转载
2023-10-27 11:43:18
127阅读
1、特征处理分类特征抽取：从原始数据中抽取特征 特征转换：特征的维度、特征的转化、特征的修改 特征选取：从大规模特征集中选取一个子集2、特征提取2.1、TF-IDF 词频－逆向文件频率；词频TF(t,d)是词语t在文档d中出现的次数。文件频率DF(t,D)是包含词语的文档的个数。tf=|t|/|d|tf-idf=tf*idf公式中使用log函数，当词出现在所有文档中时，它的IDF值变为0
python_多项式交叉特征import numpy as npimport pandas
原创
2022-07-18 14:58:03
119阅读
Python中sklearn实现交叉验证一、概述1.1 交叉验证的含义与作用1.2 交叉验证的分类二、交叉验证实例分析2.1 留一法实例2.2 留p法实例2.3 k折交叉验证（Standard Cross Validation）实例2.4 随机分配交叉验证（Shuffle-split cross-validation）实例2.5 分层交叉验证（Stratified k-fold cross va
转载
2023-09-03 14:40:26
200阅读
python -- 面向程序员的数据挖掘指南-分类-008训练集和测试集在上一章中， 我们将鸢尾花数据集分为了两个部分，第一部分用来构造分类器，因此称为训练集；另一部分用来评估分类器的结果，因此称为测试集。训练集和测试集在数据挖掘中很常用。因为如果使用训练集去测试分类器，得到的结果肯定是百分之百准确的。换种说法，在评价一个数据挖掘算法的效果时，如果用来测试的数据集是训练集本身的一个子集，那
转载
2024-06-25 04:47:40
59阅读
本文通过一个简单的示例，演示如何在 CMake 工程中添加交叉编译的配置，实现编译不同硬件平台的可执行文件。所有代码均可在 [getiot/linux-c](https://github.com/getiot/linux-c/tree/main/hello) 仓库找到。
原创
2022-08-01 10:42:52
2457阅读
