用python参加Kaggle的经验总结 作者 JxKing 最近挤出时间，用python在kaggle上试了几个project，有点体会，记录下。Step1: Exploratory Data AnalysisEDA，也就是对数据进行探索性的分析，一般就用到pandas和matplotlib就够了。EDA一般包括：每个feature的意义，f
转载
2024-01-11 10:12:51
183阅读
目录赛前学习经历第一个kaggle赛-CV分类赛第二个kaggle赛-CV分割赛 赛前学习经历参加Kaggle赛从2020年12月开始，在此之前参加了3次百度飞桨的课程。目标检测7日打卡营、图像分割7日打卡营和论文复现第一期。三个课程都是优秀学员。一般前3%是优秀学员。在论文复现营中复现出了2篇论文。其中ECO这篇的论文复现拿了一个建模高手（第三名复现出论文）。有关ECO复现的一些内容可以看另一
转载
2024-09-29 11:08:50
77阅读
先做入门笔记吧，从每个kaggler入门必学的泰塔尼克号幸存者开始。先看问题，我们要思考什么类型的人得救的概率较大。这里会给出train.cvs文件让我们直接做处理和建模，然后需要对test.cvs数据集里的人幸存率做一个大概的猜测。 先对整个流程宏观处理：到kaggle上下载幸存者数据集，思考问题，做出假设。针对数据集做图形化处理。这里主要是处理数据信息，其中包括部分缺失的
转载
2024-02-24 17:35:05
164阅读
什么是数据分析 数据分析指的是通过统计学方法对采集来的数据进行整理分析，从中提取有用信息并最终得出结论的过程数据分析的一般流程 明确数据分析目的 数据分析要根据目的选择分析方式。根据目的，选择刚刚好的分析方式是我们每位数据分析师应该把握的人生哲学 数据分析的目的分为三类： 1. 对现状进行描述性分析，给决策者提供未来发展方向的根据 2. 原因
转载
2024-09-05 06:03:52
43阅读
新建的kaggle如下图所示，点击上方的 add data, 即可搜索并添加想使用的数据集，新添加的数据集会放入input文件夹下。 在kaggle训练的数据集都是在线添加，如果想要训练自己的数据集，需要上传数据集，但是这需要翻（你懂的。。。）。此处以猫狗数据集为例。一、文件夹读取的路径问题需要特别注意的是，添加到input后显示的文件路径可能和实际的文件路径不一致，比如这个猫狗数据集的input
转载
2023-11-13 23:09:08
418阅读
打算用一下kaggle，试着做一下机器学习的项目，熟悉一下机器学习的步骤之类的。希望在学期结束后，有一些进步就很好了。第一个项目是titanic。项目目标是根据给定的数据集判断哪些人更有可能存活。由于是第一个项目，对于要看什么，要做什么是七窍通六窍--一窍不通（哈哈哈烂梗），所以先看一个写的很细致的notebook。根据这个notebook走一遍，了解一下相应的流程和基本的代码。使用的编程语言是p
转载
2023-12-15 17:23:51
63阅读
- 简介Kaggle 于 2010 年创立，专注数据科学，机器学习竞赛的举办，是全球最大的数据科学社区和数据竞赛平台。笔者从 2013 年开始，陆续参加了多场 Kaggle上面举办的比赛，相继获得了 CrowdFlower 搜索相关性比赛第一名（1326支队伍）和 HomeDepot 商品搜索相关性比赛第三名（2125支队伍），曾在 Kaggle 数据科学家排行榜排名全球第十，国内第一。笔者目
kaggle是一个国外的数据挖掘竞赛平台，大家做完竞赛之后会写一些指导，因此可以通过其他人写的指导文件进行学习，kaggle传送门。其中有一个入门类的分析问题是分析Titanic号的救援问题，分析哪些因素会影响到是否被救援，首先打开Titanic这个问题的具体页面，Titanic: Machine Learning from Disaster,先看一看overview里面的description和
转载
2024-01-15 19:49:24
663阅读
好的，接着上一部分，继续第二部分–缺失值处理。几乎对每一个复杂数据集，都存在缺失或是错误的数据，这就像人类的死亡，还有上税。一些预测模型本身就能够处理缺失的数据(如神经网络)，然而其他模型则需要单独处理缺失值。scikit-learn库中的 RandomForestClassifier模型内部并不能处理缺失值，所以在训练模型之前我们需要一些不同的方法来为缺失值分配具体数据。以下是几种处理缺失值的方
近日，亚马逊AWS高级技术顾问Will Badr介绍了8种寻找机器学习数据集的方法。通过这些方法，不仅能够找到大量的实验数据集及相关的描述和使用示例。在某些情况下，还会有用于训练数据集的算法代码。以下，就是他介绍的8种方法：1、Kaggle数据集 Kaggle的数据集中，包含了用于各种任务，不同规模的真实数据集，而且有许多不同的格式。此外，你还可以在这里找到与每个数据集相关联的交互式笔记本Kern
一个题一般都会有一个量化评价指标，所以又比数模竞赛更专注。因此从事数据分析挖掘行业的研究人士和工作者都可以在上面找到一些题目练手。Kaggle只允许每个题目每天提交2次结果，所以你不能线下疯狂尝试各种参数往上测试。 现在有一道机器学习的题目 Titanic: Machine Learning from Disaster 这个题数据量小而且问题简单就是
转载
2024-02-20 10:28:55
105阅读
在Kaggle比赛中最终要的步骤就是进行数据的分析，数据的清洗，以及特征的提取。因此我总结了最近常会用到的数据处理的方法，以便将来复习和使用。一、读取和存储csv文件从.csv文件中读取文件内容；将DataFrame对象存放到.csv文件中#读取文件内容
train = pd.read_csv('train.csv',index_col=0)#读取内容时，如果每行前面有索引值，舍去
#将Data
转载
2024-03-21 22:37:11
206阅读
Kaggle的技巧总结学习前面写了一些简单的pandas,numpy等使用方法，但是还是一直不清楚使用他们的目的和真正带来的好处是什么。我对于DS目前的总体理解目前DS notebook里面所做的数据处理有2个不同的目的：为了写分析报告（analysis report）：很多做了很多的图，比较了两个参数，然后就没有对于模型准确率的改善有任何帮助，但是却是报告的重要组成部分，帮助不认识这个数据的人尽
转载
2023-11-20 14:31:10
154阅读
参考：机器学习系列(3)_逻辑回归应用之Kaggle泰坦尼克之灾参考：Kaggle泰坦尼克特征工程和模型融合『解决一个问题的方法和思路不止一种』『没有所谓的机器学习算法优劣，也没有绝对高性能的机器学习算法，只有在特定的场景、数据和特征下更合适的机器学习算法。』 Kaggle上的大神们，也分享过一些experience，说几条我记得的哈： 『对数据的认识太重要了！』 『
转载
2024-06-12 22:26:01
46阅读
云栖君导读：很难找到一个特定的数据集来解决对应的机器学习问题，这是非常痛苦的。下面的网址列表不仅包含用于实验的大型数据集，还包含描述、使用示例等，在某些情况下还包含用于解决与该数据集相关的机器学习问题的算法代码。1 -Kaggle数据集 这是我最喜欢的数据集网站之一。每个数据集都有对应的一个小型社区，你可以在其中讨论数据、查找公共代码或在内核中创建自己的项目。该网站包含大量形状、大小、格
转载
2024-01-16 16:33:22
97阅读
Kaggle实例-家庭贫困水平预测**1. 数据背景****2. 数据目标****3. 问题和数据说明****3.1. 目标说明****3.2. 评估度量****4. 数据分析****4.1. Import****4.2. 读取数据并查看基本信息****4.3. 探索标签的分布****4.4. 解决错误的标签****4.4.1. 识别错误****4.4.2. 没有户主的家庭****4.4.3.
转载
2024-04-07 09:01:26
99阅读
1. kaggle介绍 Kaggle(官网：https://www.kaggle.com/)是由Anthony Goldbloom和Ben Hamner于2010年创立的一个数据科学社区。它为数据科学家和机器学习工程师提供了一个平台，可以在该平台上进行数据分析和建模活动，同时进行竞赛式的数据分析等活动。Kaggle除了提供竞赛外，还有数据及代码分享，知识讨论，实时赛事和基于云端的notebook
转载
2023-12-06 07:11:11
343阅读
在学习了一些数据挖掘和机器学习的算法之后，需要积累实际开发经验。在实践的过程中不仅需要自己摸索，还需要向牛人学习和请教。Kaggle就提供这样的数据平台，企业或者研究者可以将数据、问题描述、期望的指标发布到Kaggle上，开发者其数据下载到本地，分析，处理后将结果上传，Kaggle将结果排名显示，有的比赛设有资金。Kaggle还有活跃的讨论区，供大家交流。如何使用Kaggle 我们先来看看，Ka
在现代数据科学的应用场景中，Kaggle 作为数据分析和挖掘项目的主平台，吸引了越来越多的数据科学家和分析师的参与。本篇博文将系统详细记录一个Kaggle数据分析挖掘项目的全生命周期，涵盖从背景定位到演进历程，再到架构设计、性能攻坚、故障复盘和扩展应用的完整流程。通过理论模型、时间节点、架构设计、性能优化和故障管理，我们将搭建起一个成熟的技术框架。
### 背景定位
在当今商业环境中，数据的挖
0.76076。对数据进行统计并可视化import pandas as pd
import numpy as np
data_train=pd.read_csv("D:/Titanic/data/train.csv")
print(data_train.info())#查看数据缺失情况
print(data_train.describe())#查看数据基本统计信息输出为： &
转载
2024-02-04 00:41:01
58阅读
