索引0.了解Kaggle：1．观察大局：2.获得数据：3.从数据探索和可视化中获得洞见：4.机器学习算法的数据准备：5.选择和训练模型：6.微调模型： 0.了解Kaggle：Kaggle成立于2010年，是一个进行数据发掘和预测竞赛的在线平台。从公司的角度来讲，可以提供一些数据，进而提出一个实际需要解决的问题；从参赛者的角度来讲，他们将组队参与项目，针对其中一个问题提出解决方案，最终由公
大赛简介大赛名称：SETI Breakthrough Listen - E.T. Signal Searc赛题背景“我们一个人在宇宙里吗？”这是最深刻且长期存在的人类问题之一。随着技术的进步，我们正在寻找新的和更强大的方法来寻求答案。加州大学伯克利大学使用世界上最强大的望远镜对数百万颗恒星进行技术扫描。现在希望Kaggle社区能够帮助解释他们收到的信号。加州大学伯克利分校的Breakthrough
Kaggle实例-家庭贫困水平预测**1. 数据背景****2. 数据目标****3. 问题和数据说明****3.1. 目标说明****3.2. 评估度量****4. 数据分析****4.1. Import****4.2. 读取数据并查看基本信息****4.3. 探索标签的分布****4.4. 解决错误的标签****4.4.1. 识别错误****4.4.2. 没有户主的家庭****4.4.3.
转载
2024-04-07 09:01:26
99阅读
本人小白，请不要嘲笑； 如有错误，请不吝赐教。kaggle – House Prices：分数、思路、代码 题目：训练集是多套房的多项房屋信息指标和房价；测试集是多套房的多项房屋信息指标，要得到房价。成绩：0.12405 (RMSLE)，878名/2722。基础数据： 特征有79维，SalePrice为Label。训练集中多列有大量缺失值。特征兼具定性特征和定量特征。处理步骤 ：特征工程 +
未来是人工智能的时代！提到深度学习，逻辑回归是最经典的一个例子，也是很多教材的入门算法（比如吴恩达的深度学习）。鉴于本人零基础学习人工智能的痛苦经历，所以用通俗的语言把逻辑回归讲清楚。深度学习本身核心知识是数学知识，涉及到线性代数、概率论，微积分等。体会到很多读者都是像我一样，已经把这些知识早就还给老师了，所以我会逐步完善这个系列，用尽量通俗的语言来把深度学习的知识分享整理一遍。什么是“逻辑”？什
在 Kaggle竞赛中出现过奇怪的现象：一只队伍，靠着对极个别特征feature的充分利用（被称为魔法属性），立即将对手超越，成功霸占冠军位置。然而，这可能是竞赛方数据准备过程中出现的失误，使模型沿着有纰漏的，甚至是颠倒的因果关系进行预测，但在测试数据中得到预测结果是极好的。1.什么是机器学习中的 Data Leakage ?数据泄漏Data Leakage是在数据分析中需要解决的重要问题之一。
转载
2024-08-09 18:49:45
71阅读
0. 前言1.任务描述2.数据概览3. 数据准备4. 模型训练5. kaggle实战0. 前言“尽管新技术新算法层出不穷，但是掌握好基础算法就能解决手头 90% 的机器学习问题。”本系列参考书籍 "Hands-on machine learning with scikit-learn and tensorflow"以及kaggle相关资料1.任务描述预测任务：根据某时刻房价相关数据，预测区域内该时
转载
2024-03-14 17:38:35
95阅读
1. 引言Kaggle是一个进行数据挖掘和数据分析在线竞赛网站, 成立于2010年. 与Kaggle合作的公司可以提供一个数据+一个问题, 再加上适当的奖励, Kaggle上的计算机科学家和数据科学家们(也可能是像我这样的菜鸟)将会领取任务, 提供自己的解决方案. 你在提交自己的解决方案后, 在截止日期之前都可以做出修改. 全世界的人都可以在Kaggle上提供自己的解决方案, 充分发挥了集体智慧.
转载
2023-11-04 20:41:12
266阅读
一数据准备二查看各国影片的票房概况三通过简单线性回归研究豆瓣评分与票房之间的关系四小结 一、数据准备我们需要的票房数据来自CBO中国票房网，中国票房网记录了从2008年到目前为止的每年票房排名前25位的数据。豆瓣评分则来自于豆瓣API。最后我通过整合这两个数据生成了一个名为cmbo_data的数据表。（有机会会写一个如何通过简单的网络爬虫来获取数据的文章）如果你想自己实践以下操作的话，请从这里下
转载
2024-05-27 21:45:12
224阅读
1评论
# 如何实现Kaggle数据分析：新手指南
Kaggle是一种数据科学平台，既可以进行数据分析，也可以参与各种机器学习竞赛。对于初学者来说，从零开始进行数据分析可能会让人感觉有些复杂，但只要掌握了流程和主要步骤，任何人都可以轻松上手。本文将从流程、代码实现和必要的注意事项为您提供一个清晰的指导。
## 数据分析流程
以下是进行Kaggle数据分析的基本步骤：
| 步骤 | 描述 |
| -
通过数据堆叠、数据清洗、特征提取、特征选择、构建模型等方法，实现对泰坦尼克号生存人数的预测。因为是刚开始接触机器学习，所以会有很多模型还没学到，知识较为浅层，kaggle的得分是801.观察数据通过泰坦尼克号比赛中，很多很多的资料中，有一个非常重要的点便是对数据的理解，我们要打一个比赛，要去分析一些数据的前提是我们对于数据足够的了解，知道它们之间的关系，了解他们的数据类型……2.导入数据首先我们将
转载
2024-01-02 13:21:28
169阅读
1. 模型表示 让我们通过一个例子来开始：这个例子是预测住房价格的，我们要使用一个数据集，数据集包含俄勒冈州波特兰市的住房价格。在这里，我要根据不同房屋尺寸所售出的价格，画出我的数据集。比方说，如果你朋友的房子是1250平方尺大小，你要告诉他们这房子能卖多少钱。那么，你可以做的一件事就是构建一个模型，也许是条直线，从这个数据模型上来看，也许你可以告诉你的朋友，他能以大约220000(美元)左右的
转载
2024-02-22 00:27:16
68阅读
# Kaggle租房数据分析指南
在数据科学的世界中，Kaggle是一个非常受欢迎的平台，提供了大量的数据集供用户进行分析和建模。在这篇文章中，我将指导你如何进行一个Kaggle租房数据的分析，适合刚入行的新手。我们将一步一步来，形成清晰的流程。
## 流程概述
以下是进行Kaggle租房数据分析的步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 下载数据
原创
2024-10-27 04:02:09
101阅读
需求：将旅游线路进行分类并从数据库中取出数据进行页面展示分析分析数据库旅游线路表：tab_route 旅游线路分类表：tab_category 可以发现一个分类表可以对应多条路由线路，存在着一对多的关系。后台模块设计分析：前台旅游分类：页面分析（前台和后台的数据交互）： 前台需要通过ajax传到后台的数据：也就是前台展示分页内容需要请求的数据int currentPage：当前页码int page
3.1 为什么用MapReduce分布式+海量数据 3.2 MapReduce计算模型JobTracker，用户管理和调度工作TaskTracker，用于执行工作Job，每个个MapReduce任务被初始化为一个Job，每个Job又分为两个阶段，分别用Map函数和Reduce函数表示这两个阶段InputSplit，存储的不是数据本身，而是一个分片长度和
转载
2024-09-06 22:02:33
12阅读
什么是数据分析 数据分析指的是通过统计学方法对采集来的数据进行整理分析，从中提取有用信息并最终得出结论的过程数据分析的一般流程 明确数据分析目的 数据分析要根据目的选择分析方式。根据目的，选择刚刚好的分析方式是我们每位数据分析师应该把握的人生哲学 数据分析的目的分为三类： 1. 对现状进行描述性分析，给决策者提供未来发展方向的根据 2. 原因
转载
2024-09-05 06:03:52
43阅读
- 简介Kaggle 于 2010 年创立，专注数据科学，机器学习竞赛的举办，是全球最大的数据科学社区和数据竞赛平台。笔者从 2013 年开始，陆续参加了多场 Kaggle上面举办的比赛，相继获得了 CrowdFlower 搜索相关性比赛第一名（1326支队伍）和 HomeDepot 商品搜索相关性比赛第三名（2125支队伍），曾在 Kaggle 数据科学家排行榜排名全球第十，国内第一。笔者目
新建的kaggle如下图所示，点击上方的 add data, 即可搜索并添加想使用的数据集，新添加的数据集会放入input文件夹下。 在kaggle训练的数据集都是在线添加，如果想要训练自己的数据集，需要上传数据集，但是这需要翻（你懂的。。。）。此处以猫狗数据集为例。一、文件夹读取的路径问题需要特别注意的是，添加到input后显示的文件路径可能和实际的文件路径不一致，比如这个猫狗数据集的input
转载
2023-11-13 23:09:08
418阅读
打算用一下kaggle，试着做一下机器学习的项目，熟悉一下机器学习的步骤之类的。希望在学期结束后，有一些进步就很好了。第一个项目是titanic。项目目标是根据给定的数据集判断哪些人更有可能存活。由于是第一个项目，对于要看什么，要做什么是七窍通六窍--一窍不通（哈哈哈烂梗），所以先看一个写的很细致的notebook。根据这个notebook走一遍，了解一下相应的流程和基本的代码。使用的编程语言是p
转载
2023-12-15 17:23:51
63阅读
本文只涉及入门级的完成，所以对于数据的处理和模型较为粗略，并不涉及详细优化，所以kaggle的提交测试了一下应该是处于中间水平，后续优化请按照个人参考修改。数据集的读取与导入import numpy as np
import pandas as pd
train = pd.read_csv("路径/train.csv")
test = pd.read_csv("路径/test.csv")探索性可
转载
2023-11-30 09:22:59
204阅读
