用python参加Kaggle的经验总结 作者 JxKing 最近挤出时间,用python在kaggle上试了几个project,有点体会,记录下。Step1: Exploratory Data AnalysisEDA,也就是对数据进行探索性的分析,一般就用到pandas和matplotlib就够了。EDA一般包括:每个feature的意义,f
转载
2024-01-11 10:12:51
183阅读
目录赛前学习经历第一个kaggle赛-CV分类赛第二个kaggle赛-CV分割赛 赛前学习经历参加Kaggle赛从2020年12月开始,在此之前参加了3次百度飞桨的课程。目标检测7日打卡营、图像分割7日打卡营和论文复现第一期。三个课程都是优秀学员。一般前3%是优秀学员。在论文复现营中复现出了2篇论文。其中ECO这篇的论文复现拿了一个建模高手(第三名复现出论文)。有关ECO复现的一些内容可以看另一
转载
2024-09-29 11:08:50
77阅读
先做入门笔记吧,从每个kaggler入门必学的泰塔尼克号幸存者开始。先看问题,我们要思考什么类型的人得救的概率较大。这里会给出train.cvs文件让我们直接做处理和建模,然后需要对test.cvs数据集里的人幸存率做一个大概的猜测。 先对整个流程宏观处理:到kaggle上下载幸存者数据集,思考问题,做出假设。针对数据集做图形化处理。这里主要是处理数据信息,其中包括部分缺失的
转载
2024-02-24 17:35:05
164阅读
参考:机器学习系列(3)_逻辑回归应用之Kaggle泰坦尼克之灾参考:Kaggle泰坦尼克特征工程和模型融合『解决一个问题的方法和思路不止一种』『没有所谓的机器学习算法优劣,也没有绝对高性能的机器学习算法,只有在特定的场景、数据和特征下更合适的机器学习算法。』 Kaggle上的大神们,也分享过一些experience,说几条我记得的哈: 『对数据的认识太重要了!』 『
转载
2024-06-12 22:26:01
46阅读
Kaggle的技巧总结学习前面写了一些简单的pandas,numpy等使用方法,但是还是一直不清楚使用他们的目的和真正带来的好处是什么。我对于DS目前的总体理解目前DS notebook里面所做的数据处理有2个不同的目的:为了写分析报告(analysis report):很多做了很多的图,比较了两个参数,然后就没有对于模型准确率的改善有任何帮助,但是却是报告的重要组成部分,帮助不认识这个数据的人尽
转载
2023-11-20 14:31:10
154阅读
一个题一般都会有一个量化评价指标,所以又比数模竞赛更专注。因此从事数据分析挖掘行业的研究人士和工作者都可以在上面找到一些题目练手。Kaggle只允许每个题目每天提交2次结果,所以你不能线下疯狂尝试各种参数往上测试。 现在有一道机器学习的题目 Titanic: Machine Learning from Disaster 这个题数据量小而且问题简单就是
转载
2024-02-20 10:28:55
105阅读
1. kaggle介绍 Kaggle(官网:https://www.kaggle.com/)是由Anthony Goldbloom和Ben Hamner于2010年创立的一个数据科学社区。它为数据科学家和机器学习工程师提供了一个平台,可以在该平台上进行数据分析和建模活动,同时进行竞赛式的数据分析等活动。Kaggle除了提供竞赛外,还有数据及代码分享,知识讨论,实时赛事和基于云端的notebook
转载
2023-12-06 07:11:11
343阅读
# 如何使用 Python 在 Kaggle 上进行数据分析
Kaggle 是一个数据科学社区和在线平台,用户可以在这里分享数据集、进行竞赛,将他们的机器学习模型应用于现实世界数据等。对于刚入行的小白来说,阅读文档和社区指南可能并不会让人很清楚,以下是如何通过 Python 在 Kaggle 上进行数据分析的详细流程。
## 一、流程概述
为了帮助你更好地理解整个过程,我们将整个工作流程分为
学习目录:1. Hello, Python简单介绍python的常量、变量赋值以及算术运算2. 练习: Syntax, Variables, and Numbers3. Functions and Getting Help函数定义及调用, 并使用python内建文档4. 练习: Functions and Getting Help5. Booleans and Conditionals使用布尔代数
转载
2024-06-06 14:53:41
116阅读
算法工程师的日常工作中基础最多的便是数据,但是大多数的算法工程师在使用数据过程中,最缺少的还是对数据的整体把控和分析,更多靠的是业务经验。但是严谨的算法工程师在建模之前是需要对数据进行探索和分析的,以便于在建模过程中能给更快的做出更优的模型。生活中最苦难的事情就是了解自己,建模过程中最苦难的事是了解数据!了解数据是一件非常困难的事情,且非常耗时,因此从事数据科学很容易忽略前期的数据了解,而直接对数
转载
2023-10-17 07:16:15
138阅读
Kaggle是一个为数据科学和机器学习提供竞赛、数据集和工具的在线平台。 该网站通过向用户提供不同领域的实际问题和数据集,吸引了全球数据科学家和机器学习从业者的关注。Kaggle还为用户提供机器学习模型的开发、
转载
2023-11-17 11:28:13
524阅读
目录1.数据读取2.数据清洗3.数据重构4.建模预测提交 5.总结比赛的基本流程由四个部分组成:数据读取、数据清洗、数据重构、建模预测提交导包:import numpy as np
import pandas as pd
import pandas_profiling as ppf
import joblib # 模型的保存
import matplotlib.pyplot as pl
转载
2023-11-28 13:03:22
84阅读
开始学习机器学习的内容,对大数据处理很有兴趣,希望以此为鉴好好学习。Kaggle竞赛项目的全国过程:了解问题背景:对竞赛的背景进行了解下载数据分析数据:expolre data analysis数据处理和特征工程:data process and featureEngineering模型选择:model select提交结果:Submission了解问题背
转载
2024-06-18 20:26:10
76阅读
本文是博主基于之前练手Kaggle上泰坦尼克的入门分析而做的个人总结此案例是读者经过研究多个Kaggle上大神的kernel经验,加上个人的理解,再加入百分之一的运气得到 的结果此案例的亮点在于特征工程部分,对于变量的处理及属性的构造的姿势值得学习~~~0 简介 关于这个案例,具体的介绍及简介,见Kaggle官网上的数据,内容很全,唯一一个要必须提到的是,官网上的关于变量
转载
2024-08-23 16:24:35
64阅读
kaggle上有个简单的机器学习教程,用的是Python,这篇文章尝试把其中的主要脉络梳理一下数据的导入和导出kaggle的数据集大都是以csv格式的文件存储的,你上传最终的结果时也要求以csv格式呈现,因此下面简单介绍下数据集的导入和导出。这个教程是以 预测Titanic幸存人数为例进行说明。数据读入使用pandas可以将csv文件读入DataFrame格式的文件import pandas
tr
转载
2023-06-16 17:08:06
662阅读
为什么要选Kaggle?1 首先是因为钱。Kaggle经常有各种类型的竞赛,赢得比赛本身就会有奖金。没有钱搞科研是很困难的,也没什么动力。参加竞赛算是很理想的方法:1 技术强-> 拿钱2 拿了钱 -> 增加技术投资2 其模式可以称为一种行业标准举个例子,任何一个竞赛首先会有一些概要描述,本质上是商业应用的概述。提供了应用相关联的规整数据。 提供了一些思路/教程(相当于参加竞赛的人的一个
转载
2023-11-14 12:20:13
63阅读
什么是数据分析 数据分析指的是通过统计学方法对采集来的数据进行整理分析,从中提取有用信息并最终得出结论的过程数据分析的一般流程 明确数据分析目的 数据分析要根据目的选择分析方式。根据目的,选择刚刚好的分析方式是我们每位数据分析师应该把握的人生哲学 数据分析的目的分为三类: 1. 对现状进行描述性分析,给决策者提供未来发展方向的根据 2. 原因
转载
2024-09-05 06:03:52
43阅读
打算用一下kaggle,试着做一下机器学习的项目,熟悉一下机器学习的步骤之类的。希望在学期结束后,有一些进步就很好了。第一个项目是titanic。项目目标是根据给定的数据集判断哪些人更有可能存活。由于是第一个项目,对于要看什么,要做什么是七窍通六窍--一窍不通(哈哈哈烂梗),所以先看一个写的很细致的notebook。根据这个notebook走一遍,了解一下相应的流程和基本的代码。使用的编程语言是p
转载
2023-12-15 17:23:51
63阅读
新建的kaggle如下图所示,点击上方的 add data, 即可搜索并添加想使用的数据集,新添加的数据集会放入input文件夹下。 在kaggle训练的数据集都是在线添加,如果想要训练自己的数据集,需要上传数据集,但是这需要翻(你懂的。。。)。此处以猫狗数据集为例。一、文件夹读取的路径问题需要特别注意的是,添加到input后显示的文件路径可能和实际的文件路径不一致,比如这个猫狗数据集的input
转载
2023-11-13 23:09:08
418阅读
Kaggle机器学习竞赛、托管数据库、编写和分享代码注册:安装插件:Header Editor (参考链接见文末)注册后:首页:导航栏、搜索栏、社交栏、个人信息 代码查找、下载数据集下载: 下载全部数据、下载单个数据、命令行(安装pip install kaggle)代码:保存至自己的项目 修改项目题目、保存 项目建立、运行、模型保存上传数据集:
转载
2023-10-03 14:23:33
184阅读