python之数据清洗定义内容步骤实例 定义对原始数据进行整理、标注，形成一份“干净”的数据，使其适合特定场景，这个过程就是数据清洗。这是一个反复的过程，在发现噪声数据后，还需要筛选出这些数据，然后根据任务需求再确定如何处理这些数据。内容数据清洗就是要去掉噪声数据，修正错误，具体包括如下几个方面：重复数据：在数据集种具有相同信息的数据。错误数据：主要是指数据集种格式错误、范围错误、包含特殊字符、
转载
2023-08-30 11:23:07
125阅读
用python参加Kaggle的经验总结 作者 JxKing 最近挤出时间，用python在kaggle上试了几个project，有点体会，记录下。Step1: Exploratory Data AnalysisEDA，也就是对数据进行探索性的分析，一般就用到pandas和matplotlib就够了。EDA一般包括：每个feature的意义，f
转载
2024-01-11 10:12:51
183阅读
一个题一般都会有一个量化评价指标，所以又比数模竞赛更专注。因此从事数据分析挖掘行业的研究人士和工作者都可以在上面找到一些题目练手。Kaggle只允许每个题目每天提交2次结果，所以你不能线下疯狂尝试各种参数往上测试。 现在有一道机器学习的题目 Titanic: Machine Learning from Disaster 这个题数据量小而且问题简单就是
转载
2024-02-20 10:28:55
105阅读
Kaggle的技巧总结学习前面写了一些简单的pandas,numpy等使用方法，但是还是一直不清楚使用他们的目的和真正带来的好处是什么。我对于DS目前的总体理解目前DS notebook里面所做的数据处理有2个不同的目的：为了写分析报告（analysis report）：很多做了很多的图，比较了两个参数，然后就没有对于模型准确率的改善有任何帮助，但是却是报告的重要组成部分，帮助不认识这个数据的人尽
转载
2023-11-20 14:31:10
154阅读
参考：机器学习系列(3)_逻辑回归应用之Kaggle泰坦尼克之灾参考：Kaggle泰坦尼克特征工程和模型融合『解决一个问题的方法和思路不止一种』『没有所谓的机器学习算法优劣，也没有绝对高性能的机器学习算法，只有在特定的场景、数据和特征下更合适的机器学习算法。』 Kaggle上的大神们，也分享过一些experience，说几条我记得的哈： 『对数据的认识太重要了！』 『
转载
2024-06-12 22:26:01
46阅读
1. kaggle介绍 Kaggle(官网：https://www.kaggle.com/)是由Anthony Goldbloom和Ben Hamner于2010年创立的一个数据科学社区。它为数据科学家和机器学习工程师提供了一个平台，可以在该平台上进行数据分析和建模活动，同时进行竞赛式的数据分析等活动。Kaggle除了提供竞赛外，还有数据及代码分享，知识讨论，实时赛事和基于云端的notebook
转载
2023-12-06 07:11:11
343阅读
# 如何使用 Python 在 Kaggle 上进行数据分析
Kaggle 是一个数据科学社区和在线平台，用户可以在这里分享数据集、进行竞赛，将他们的机器学习模型应用于现实世界数据等。对于刚入行的小白来说，阅读文档和社区指南可能并不会让人很清楚，以下是如何通过 Python 在 Kaggle 上进行数据分析的详细流程。
## 一、流程概述
为了帮助你更好地理解整个过程，我们将整个工作流程分为
学习目录：1. Hello, Python简单介绍python的常量、变量赋值以及算术运算2. 练习: Syntax, Variables, and Numbers3. Functions and Getting Help函数定义及调用, 并使用python内建文档4. 练习: Functions and Getting Help5. Booleans and Conditionals使用布尔代数
转载
2024-06-06 14:53:41
116阅读
算法工程师的日常工作中基础最多的便是数据，但是大多数的算法工程师在使用数据过程中，最缺少的还是对数据的整体把控和分析，更多靠的是业务经验。但是严谨的算法工程师在建模之前是需要对数据进行探索和分析的，以便于在建模过程中能给更快的做出更优的模型。生活中最苦难的事情就是了解自己，建模过程中最苦难的事是了解数据！了解数据是一件非常困难的事情，且非常耗时，因此从事数据科学很容易忽略前期的数据了解，而直接对数
转载
2023-10-17 07:16:15
138阅读
目录1.数据读取2.数据清洗3.数据重构4.建模预测提交 5.总结比赛的基本流程由四个部分组成：数据读取、数据清洗、数据重构、建模预测提交导包：import numpy as np
import pandas as pd
import pandas_profiling as ppf
import joblib # 模型的保存
import matplotlib.pyplot as pl
转载
2023-11-28 13:03:22
84阅读
Kaggle是一个为数据科学和机器学习提供竞赛、数据集和工具的在线平台。 该网站通过向用户提供不同领域的实际问题和数据集，吸引了全球数据科学家和机器学习从业者的关注。Kaggle还为用户提供机器学习模型的开发、
转载
2023-11-17 11:28:13
524阅读
开始学习机器学习的内容，对大数据处理很有兴趣，希望以此为鉴好好学习。Kaggle竞赛项目的全国过程：了解问题背景：对竞赛的背景进行了解下载数据分析数据：expolre data analysis数据处理和特征工程：data process and featureEngineering模型选择:model select提交结果：Submission了解问题背
转载
2024-06-18 20:26:10
76阅读
本文是博主基于之前练手Kaggle上泰坦尼克的入门分析而做的个人总结此案例是读者经过研究多个Kaggle上大神的kernel经验，加上个人的理解，再加入百分之一的运气得到 的结果此案例的亮点在于特征工程部分，对于变量的处理及属性的构造的姿势值得学习~~~0 简介 关于这个案例，具体的介绍及简介，见Kaggle官网上的数据，内容很全，唯一一个要必须提到的是，官网上的关于变量
转载
2024-08-23 16:24:35
64阅读
kaggle上有个简单的机器学习教程，用的是Python，这篇文章尝试把其中的主要脉络梳理一下数据的导入和导出kaggle的数据集大都是以csv格式的文件存储的，你上传最终的结果时也要求以csv格式呈现，因此下面简单介绍下数据集的导入和导出。这个教程是以 预测Titanic幸存人数为例进行说明。数据读入使用pandas可以将csv文件读入DataFrame格式的文件import pandas
tr
转载
2023-06-16 17:08:06
662阅读
为什么要选Kaggle?1 首先是因为钱。Kaggle经常有各种类型的竞赛，赢得比赛本身就会有奖金。没有钱搞科研是很困难的，也没什么动力。参加竞赛算是很理想的方法：1 技术强-> 拿钱2 拿了钱 -> 增加技术投资2 其模式可以称为一种行业标准举个例子，任何一个竞赛首先会有一些概要描述，本质上是商业应用的概述。提供了应用相关联的规整数据。 提供了一些思路/教程(相当于参加竞赛的人的一个
转载
2023-11-14 12:20:13
63阅读
上周自己有使用Kaggle平台运行项目的需求，查阅了一些文章，结合自己的实践经验写了此文章，将使用Kaggle平台运行项目并查看下载日志文件的过程详细记录了下来，一些注意事项也写了，希望能够帮助到大家。目录一、上传项目第一步：创建notebook第二步：上传项目和数据集第三步：进行设置，打开GPU第四步：运行项目二、查看运行结果、下载日志文件
转载
2023-10-28 14:07:49
1178阅读
老肥近期参加Kaggle平台的比赛，因为比赛类型为Code Competition，测试数据并不可见，我们需要将notebook代码在线提交进行推理，而因为测试集不可以见经常会遇到提交Error，同时报错完整的日志并不返回，只返回错误大类类型，在Debug时有一定程度上的困难。今天我便将之前遇到过的一些报错以及如何排查来做一个简单的总结回顾，使得自己在今后的提交尽量避免出错。我们首先假设我们所要提
转载
2024-01-04 05:10:55
157阅读
Kaggle机器学习竞赛、托管数据库、编写和分享代码注册：安装插件：Header Editor （参考链接见文末）注册后：首页：导航栏、搜索栏、社交栏、个人信息 代码查找、下载数据集下载： 下载全部数据、下载单个数据、命令行(安装pip install kaggle）代码：保存至自己的项目 修改项目题目、保存 项目建立、运行、模型保存上传数据集：
转载
2023-10-03 14:23:33
184阅读
有时候为了得到更好的模型结果，你可能需要使用一个更大的batch-size去训练，但是自己的电脑gpu又带不动，那么这时候你就可以尝试去使用一些免费的线上训练网站了，下面我将介绍使用kaggle离线训练自己的神经网络模型步骤。一、登录kaggle直接百度搜索或者点击下面网址进入kaggle。 进入网站后如果没有注册可以先注册，按照提示注册即可，可以参考以下网址。二、新建Notebook如图所示，依
转载
2023-11-15 07:19:07
710阅读
遇到没GPU想训练模型的情况，CPU跑好久，可利用Kaggle的云GPU。1、注册参考[1]，其中，kaggle官网： 地址2、进入主页，可用creat创建nootbook，之后可按正常jupyter的操作进行 3、上传数据 可利用Kaggle上的线上的数据集，如果想利用自己的数据来训练模型，需从本地上传（1）右上方的Add
转载
2023-11-02 10:52:50
593阅读
