第五届阿里天池中间件比赛经历分享本文记录了作者与队友们参加2019年第五届阿里天池中间件的经历。初赛排名175/4000+队伍，幸运进入决赛。虽然最终方案比较简单，但是过程很是曲折。最后通过高分选手开源的代码，总结下不足与经验。决赛正在进行中，本文会不断更新。初赛 自适应负载均衡算法题目三个provider，200:450:650，一个consumer。provider内部通过信号量模拟处理能力的
转载
2024-05-05 15:46:15
98阅读
背景介绍在这次比赛中，主办方提供了一组不同时间跨度（间隔为6分钟，共15个时间跨度）和不同高度下（0.5km、1.5km、2.5km、3.5km）测量的雷达图，每个雷达图都包含目标站点和目标站点周围区域的雷达反射率值。每个雷达图覆盖以目标站点为中心，面积为101 * 101平方公里的区域。该区域被标记为101×101格，目标站点位于中心，即（50,50）。数据集中包含真实的雷达图和气象观测中心收集
因原数据集过大，电脑和MySQL跑不动，故截取前一百万条数据进行实战演练、1、导入数据利用navicat软件直接导入下载好的Excel文件（较大数据集可用kettle导入） 2、数据预处理use aori;
desc userbehavior;
select * from userbehavior limit 5;
--更改字段名
alter table userbehavior c
转载
2024-04-19 13:27:07
120阅读
一：赛题理解1.1：数据说明数据可以直接在阿里云天池官网下载。其格式如下： 上图所示为训练数据，其中V0-V37共38个特征变量，target字段是目标变量。1.1：评估指标预测结果以均方差MSE为评判标准： from sklearn.metrics import mean_squared_error mean_squared_error(y_true, y_pred）1.2：赛题模型在机器学习中
转载
2024-04-23 16:26:41
78阅读
Jupyter Notebook 使用教程基本操作顶部的三个选项卡 顶部的3个选项卡是：Files(文件)、Running(运行)和 Cluster(集群)Files(文件)显示当前 notebook 工作文件夹”中的所有文件和文件夹点击 Running(运行)选项卡会列出所有正在运行的 notebook，可以在该选项卡中管理这些 notebookClusters一般不会用到，因为过去
转载
2024-03-19 10:38:17
346阅读
1. 实验室介绍1.1 LightGBM的介绍LightGBM是2017年由微软推出的可扩展机器学习系统，是微软旗下DMKT的一个开源项目，由2014年首届阿里巴巴大数据竞赛获胜者之一柯国霖老师带领开发。它是一款基于GBDT（梯度提升决策树）算法的分布式梯度提升框架，为了满足缩短模型计算时间的需求，LightGBM的设计思路主要集中在减小数据对内存与计算性能的使用，以及减少多机器并行计算时的通讯代
转载
2024-07-07 08:19:22
96阅读
1赛事理解赛题名称：零基础入门CV之街道字符识别赛题目标：通过这道赛题可以引导大家走入计算机视觉的世界，主要针对竞赛选手上手视觉赛题，提高对数据建模能力。赛题任务：赛题以计算机视觉中字符识别为背景，要求选手预测街道字符编码，这是一个典型的字符识别问题。 为了简化赛题难度，赛题数据采用公开数据集SVHN，因此大家可以选择很多相应的paper作为思路参考。1.1学习目标理解赛题背景和赛题数据完成赛题报
转载
2024-04-30 10:41:15
141阅读
``最近开始了本赛题特征工程部分的学习**概念：**特征工程就是从原始数据提取特征的过程，这些特征可以很好的描述数据，并且利用特征建立的模型在位置数据上的性能表现可以达到最优流程 1.去掉无用特征 2.去除冗余特诊，利用存在的特征，转换特征，内容中的特征以及其他数据源生成新特征 3.对特征进行处理赛题部分： 异常值分析plt.figure(figsize=(18,10))
plt.boxplot
转载
2024-07-10 07:45:26
52阅读
0.基础知识学习 （1）线性回归模型：线性拟合，梯度下降调参，正态分布 （2）决策树模型： 西瓜书 第四章 决策树学习 （3）梯度提升树GBDT学习 CART树：二分树，通过寻找最优特征及其最佳切分点划分输入空间 + 剪枝操作 GBDT模型是集成模型，是很多CART树的线性相加 （4）XGboost模型 （5）LightGBM模型import pandas as pd
import numpy a
下载相关创建表格和插入数据脚本这里为了方便大家，数据脚本已经给大家准备好啦。 点击下方链接直接下载 创建数据表脚本：http://tianchi-media.oss-cn-beijing.aliyuncs.com/dragonball/SQL/create_table.sql 插入数据脚本：http://tianchi-media.oss-cn-beijing.aliyuncs.com/drago
转载
2024-05-01 20:29:45
56阅读
1、DSW教程点击天池notebook，进入我的实验室选择一个私有项目，点击编辑 集成机器学习PAI DSW（DataScienceWorkshop）探索者版开发环境左边文件管理，中间工作区，右边是计算资源。 在文件资源管理区的顶部还有4个按钮，从左到右分别对应的是：打开DSW Launcher启动器，新建文件夹，上传文件以及刷新当前文件夹。文件夹左侧的一栏，从上到下依次代表牌： 文件资源管理器，
原创
2023-02-08 20:26:36
1895阅读
1. 任务描述本题目主要是为了练习docker的基本操作， 题目描述如下：2. 开始干活首先分析一下要准备的东西：docker环境镜像仓库需要pull的镜像文件
Dockerfile程序代码（py文件）run.sh2.1 搭建docker环境下面开始准备，本文使用的docker环境搭建在centos 7服务器上，其他操作系统命令可能有所不同搭建docker环境可以参考官方链接2.
转载
2024-09-25 16:58:52
57阅读
https://dsw-dev.data.aliyun.com/#/
原创
2022-02-19 11:57:33
149阅读
阿里天池更新PyTorch的问题，这里是我整理出的复盘记录，帮助大家理清思路，顺利完成更新过程。
## 环境准备
在更新PyTorch之前，我们需要确保环境的兼容性，以避免潜在的版本冲突或兼容性问题。
```mermaid
quadrantChart
title 技术栈匹配度
x-axis 环境稳定性
y-axis 版本兼容性
"Python 3.9": [0
https://dsw-dev.data.aliyun.com/#/
原创
2021-04-22 21:38:32
1518阅读
前几天参加天池比赛，第一个首要任务就是安装环境，前后捣鼓了很多天，终于在一位同学的帮助下成功装好了环境，这里分享一下这个过程，也算是一个记录吧，后面同学们参加天池比赛或者用pytorch和tensorflow时也会更加方便。1.首先查询自己电脑GPU版本. 这样固然也是可以的，按照推荐的来即可。结合实际情况找到对应的版本号. 进下面网站下载https://developer.nvidia.com/
转载
2024-04-19 20:57:58
627阅读
天池上的比赛，一般复赛阶段会让参赛选手使用docker封装好容器后，提交到线上得到结果，推理或者训练过程放在赛方提供的硬件环境下，选手一般是接触不到测试集的，更加保证了比赛的公平性。 笔者接触docker和使用已经有几次了经历了，但是都只是用于比赛，所以平时并不常使用，导致每次用的时候都要在查查资料回顾下，现在记录一下主要的提交步骤，以遍日后复习使用。一、机制天池平台提供了基于GPU计算资源的提交
转载
2024-10-27 19:35:36
190阅读
目的学习，实践，不同机器学习算法使用的包及安装pip install numpy
pip install Pandas数据获取阿里云天池大数据竞赛官网获取莫某引入包import pandas as pd
import numpy as np获取数据poke = pd.read_csv('./pokemon0820.csv')获取18项定向攻击的伤害指数# 获取数据
against_ = poke.
首先介绍题目与数据：特别提供一下数据，供后来看到的盆友下载研究（现在官网上剩下的数据是复赛的了），测试数据分AB榜，不了解的去看天池平台的介绍：链接：https://pan.baidu.com/s/1SGZi_o1UVobHfy275onoOw 密码：rf6s竞赛题目中国是世界上糖尿病患者最多的国家，病人达到1.1亿，每年有130万人死于糖尿病及其相关疾病。每年用于糖尿病的医疗费用占中国公共医疗卫
阿里云天池学习赛零基础入门数据分析-学术前沿趋势分析前言一、赛题描述及数据说明1：数据集的格式如下：2：数据集格式举例：二、task2论文作者统计（数据统计任务）：统计所有论文作者出现评率Top10的姓名；1.题目意思解读及整体思路分析2.各节代码展示与讲解3.完整代码展示4.代码中几个需要注意的地方： 前言本博客主要记录零基础入门数据分析-学术前沿趋势分析的自己的一些理解，主要是解题思路以及代
转载
2024-02-02 07:36:25
138阅读
