文章目录0 前言1 简介2 数据准备2.1 导入数据2.2 检查空值2.3 正则化 Normalization2.4 更改数据维度 Reshape2.5 标签编码2.6 分割交叉验证集3 CNN3.1 定义网络模型3.2 设置优化器和退火器 optimizer and annealer3.3 数据增强4 评估模型4.1 训练和交叉验证曲线4.2 混淆矩阵 Confusion matrix5 生成
转载
2024-07-22 11:25:38
383阅读
大数据竞赛平台——Kaggle 入门篇 这篇文章适合那些刚接触Kaggle、想尽快熟悉Kaggle并且独立完成一个竞赛项目的网友，对于已经在Kaggle上参赛过的网友来说，大可不必耗费时间阅读本文。本文分为两部分介绍Kaggle，第一部分简单介绍Kaggle，第二部分将展示解决一个竞赛项目的全过程。如有错误，请指正！1、Kaggle简介 Kaggle是一个数据分析的竞赛平台，网址：ht
文章目录前言一、使用步骤（一）下载Yolov5源码（二）配置Yolov5所需的库（三）修改源码1.修改输出文件的保存路径2.添加mask.yaml3.修改models4.配置train.py（四）在Kaggle上部署项目1.把源码本地打包成.zip格式上传到Kaggle的Data上：2.在代码框中输入如下命令并运行：3.运行train.py：4.下载run中训练好的模型：5.本机上测试训练好的模
Kaggle在上周五开始了一个Research Prediction Competition，基于1）sMRI；2）FNC；3）IC-spatial maps预测年龄和4个匿名的变量。数据来源于UK Biobank。组织者来自The Tri-Institutional Georgia State University/Georgia Institute of Technology/Em
学习目录：1. Hello, Python简单介绍python的常量、变量赋值以及算术运算2. 练习: Syntax, Variables, and Numbers3. Functions and Getting Help函数定义及调用, 并使用python内建文档4. 练习: Functions and Getting Help5. Booleans and Conditionals使用布尔代数
转载
2024-06-06 14:53:41
116阅读
1. 介绍通常，在各种编码和特性生成之后，您将拥有数百或数千个特性。这可能导致两个问题。首先，您拥有的特性越多，就越有可能过度适应培训和验证集。这将导致模型在泛化新数据时性能下降。其次，拥有的特性越多，训练模型和优化超参数所需的时间就越长。此外，在构建面向用户的产品时，您希望尽可能快地进行推理。使用更少的特性可以加快推断速度，但这是以预测性能为代价的。为了帮助解决这些问题，您需要使用特性选择技术来
介绍集成模型是一种能在各种的机器学习任务上提高准确率的强有力技术。在这篇文章中，我会分享我在Kaggle比赛中的集成方法。在第一部分中，我们会讨论从提交文件中建立集成。主要包括：投票集成平均排名平均第二部分我们会讨论 通过 generalization/blending等方法来创建集成。我会在后续回答为什么集成能够减少泛化误差。最后我会展示不同的集成方法，包括它们的结果以及代码以供你自己去尝试。怎
转载
2024-05-19 12:51:00
144阅读
优质文章，第一时间送达！ Python开源机器学习建模库 PyCaret ，最近刚刚发布了2.0版本。这款堪称「调包侠神器」的模型训练工具包， 几行代码 就能搞定模型编写、改进和微调。从数据预处理到模型效果对比，PyCaret都能 自动实现 。所以，PyCaret长啥样，2.0的版本又做了什么改进？一起来看看。机器学习库的「炼丹炉」PyCaret说白了，有点像一个机器学习库的 炼丹炉 。
转载
2023-07-31 21:29:25
102阅读
文章目录使用单GPU训练模型一，GPU设置二，准备数据三，定义模型四，训练模型 使用单GPU训练模型深度学习的训练过程常常非常耗时，一个模型训练几个小时是家常便饭，训练几天也是常有的事情，有时候甚至要训练几十天。训练过程的耗时主要来自于两个部分，一部分来自数据准备，另一部分来自参数迭代。当数据准备过程还是模型训练时间的主要瓶颈时，我们可以使用更多进程来准备数据。当参数迭代过程成为训练时间的主要瓶
转载
2024-05-11 16:07:21
616阅读
近来非常多的朋友会向我询问Kaggle某个竞赛的开源代码或者Top的方案和思路在哪里可以获得？有时我不是很忙的时候会去对应的竞赛中把Top的链接找出来一起整理发过去，但也有的时候可能会比较忙，不一定会回复，久而久之可能就忘记回复了。不过最近我发现一个汇总了几乎所有Kaggle历史竞赛解决方案和Top思路的网页，新的比赛一结束，这个名单就会更新。这个网页包含了:几年前的数据竞赛到上个月竞赛的所有To
mmdetection调用模型训练 文章目录mmdetection调用模型训练转化数据集格式从labelme到coco首先data导进来改一下`coco.py`改一下`class_names.py`在模型跑了之后看生成文件然后掐了包版本设置`PYTHONPATH`diffustiondet模型模型训练跑完了检测模型yolo模型yolof模型 转化数据集格式从labelme到coco首先data导进
这两天在使用yolov3-tiny，记录下一些训练参数和其取值的意义。在不检测目标占比小的情况时，可以选用的yolov3-tiny模型1.模型训练参数yolo训练时输出的各项参数（这图用的是yolov3-tiny训练，所以只有16和23这二个yolo层），对比如上16层检测大的，23检测小的。count 是表示当前层与真实label正确配对的box数。其中所有参数都是针对这个值的平均值，除no o
转载
2024-04-25 17:30:37
59阅读
目前，深度学习已经进入大模型时代，虽然大模型有着诸多的其余深度学习模型无可比拟的优势，但是其庞大的规模却能让很多人望而却步，比如，训练一个大语言模型就是一件很困难的事。众所周知，目前的GPU内存是有限制的，就拿最有名的n卡来说，最大的内存容纳也只有80G，但是在训练大模型时，一个普通的训练过程其显存暂用量就有可能轻松超过80G，如果超过了80G后，我们就只能袖手旁观了吗？答案显然是否定
转载
2024-07-26 12:39:48
144阅读
1.Kaggle 基本介绍Kaggle 于 2010 年创立，专注数据科学，机器学习竞赛的举办，是全球最大的数据科学社区和数据竞赛平台。在 Kaggle 上，企业或者研究机构发布商业和科研难题，悬赏吸引全球的数据科学家，通过众包的方式解决建模问题。而参赛者可以接触到丰富的真实数据，解决实际问题，角逐名次，赢取奖金。诸如 Google，Facebook，Microsoft 等知名科技公司均在 Kag
设观测时间序列平稳过程序列满足三个条件：均值恒定。方差恒定。协方差仅与时滞k相关。即仅是k的函数白噪声过程白噪声是平稳过程的一个特例。即除了满足平稳过程的条件外，还满足如下条件：弱白噪声： 独立同分布白噪声: 相互独立高斯白噪声: 服从高斯分布 之所以命名为"白"噪声，是因为噪声谱与白光类似。差分差分通常用来获取平稳性，可用来对非平稳序列做一个预处理。p阶差分相距一期序列元素值的差值为1阶差分，记
转载
2024-09-28 21:49:01
100阅读
以图像识别为例有时候我们可以用别人训练好的模型来进行图像处理，那么如何使用呢，这里就以Keras为例我的配置：Win10笔记本自带的MX250显卡CUDA10.1+TF 2.3.2VSCode 程序的设计会使用到的函数和库，先导入，主要的还是os和numpy和keras以及Pillowfrom keras.models import load_model
import num
转载
2023-11-25 17:17:39
72阅读
坑 有没有知道人说一下？
转载
2021-03-29 14:16:00
1563阅读
2评论
文章目录1 决策树回归DecisionTreeRegressor2 岭回归Ridge3 弹性网回归ElasticNet4 算法融合 开发环境 jupyter notebook %run "基于Kaggle的经典AI项目四—特征筛选.ipynb"train_y = train_num['SalePrice_log']train_X = train_num.drop(
原创
2018-09-22 17:50:01
166阅读
step1：将模块、代码上传到kaggle1.1 创建自定义的模块假设自定义的模块文件夹名为【document】，文件夹内的代码文件为test5.py。其中test5.py代码内容如下：# test5.py
def my_print():
print('hello world')1.2 上传到kaggle将document文件夹作为一个模块上传到kaggle，作为一个dataset：在弹出
转载
2024-01-07 17:34:06
537阅读
本文翻译自kaggle learn，也就是kaggle官方最快入门kaggle竞赛的教程，强调python编程实践和数学思想（而没有涉及数学细节），笔者在不影响算法和程序理解的基础上删除了一些不必要的废话，毕竟英文有的时候比较啰嗦。一.决策树算法基本原理背景：假设你的哥哥是一个投资房地产的大佬，投资地产赚了很多钱，你的哥哥准备和你合作，因为你拥有机器学习的知识可以帮助他预测房价。你去问你的哥哥他是
转载
2023-10-23 16:09:51
357阅读
