前方干货预警：这篇文章可能是你目前能够找到的可以无痛跑通LLM微调并基本理解整个流程的门槛最低的入门范例。门槛低到什么程度，本范例假设你是一个三无用户。1，无NLP经验：你没有扎实的NLP理论知识，只有一些基本的炼丹经验。没关系，我们会在恰当的时候告诉你必要的原理。2，无GPU：你没有任何一块可以使用的GPU。没关系，我们直接在Kaggle环境上使用免费的P100GPU，并给没有kaggle使用经
转载
2024-06-18 22:29:09
526阅读
1. 引言Kaggle是一个进行数据挖掘和数据分析在线竞赛网站, 成立于2010年. 与Kaggle合作的公司可以提供一个数据+一个问题, 再加上适当的奖励, Kaggle上的计算机科学家和数据科学家们(也可能是像我这样的菜鸟)将会领取任务, 提供自己的解决方案. 你在提交自己的解决方案后, 在截止日期之前都可以做出修改. 全世界的人都可以在Kaggle上提供自己的解决方案, 充分发挥了集体智慧.
目录一、安装NVIDIA驱动二、安装CUDA三、安装CUDNN一、安装NVIDIA驱动首先去NVIDIA官网下载自己机器显卡对应的驱动安装包，安装的驱动要和安装的CUDA版本对应，对应关系见下表：下载完成后，执行以下操作：# 1.对驱动文件赋予权限
sudo chmod 777 NVIDIA-Linux-x86_64-xxx.run
# 2.禁用nouveau驱动
sudo gedit /etc/
转载
2024-05-02 17:13:28
486阅读
学习了一些机器学习的算法，总想找个地方用一用试一试。上网搜索了一番，发现了 Kaggle 这个网站，是各种企业举办机器学习竞赛的地方。Kaggle 上有一个入门级的数据集，要我们通过分析泰坦尼克号上乘客的信息，来判断他们是否获救。
学习了一些机器学习的算法，总想找个地方用一用试一试。上网搜索了一番，发现了 Kaggle 这个网站，是各种企业举办机器学习竞
转载
2024-08-23 11:00:05
159阅读
最近发现kaggle每周给了30小时的GPU额度，直接使用在线jupyter notebook，非常方便。以后就直接在kaggle上练习了。第一版，尽量不要“Save Version”离线运行，因为离线运行只要一个语句出错，整个程序白跑。所以一般是第一版在线跑完，没有错，之后改动比较小的细调时再离线跑。比如这场比赛，因为数据集是压缩包，所以需要先导入库、然后在线解压到缓存里（大概需要20分钟），然
转载
2024-09-01 21:48:28
834阅读
导 论：Kaggle 每周可以白嫖GPU资源约40小时，Kaggle相比于Colab而言可以离线运行，而且运行时间挺长的。Colab如果不开pro会员的话只能使用Tesla k40 这种低级显卡约4小时，开会员的话可以用Tesla V100、P100等显卡。Kaggle侧重于数据竞赛，他们希望你使用Kaggle来跑竞赛题目而不是你的实验工程。然而Kaggle不同于Colab
转载
2024-05-22 18:22:02
275阅读
首先，简单介绍了一下卷积神经网络，卷积神经网络主要用于图片分类，或者在图片直接识别相似的特征，卷积神经网络接受的有色彩的图片，即是一个立方体，长宽由图片的长宽像素值决定(例如1920×1080)，深度为3，分别代表了RGB的值，这所谓的深度也常被人们称为 channel。为了简单起见，我们只考虑灰度图像，即黑白图像。当图片通过卷积神经网络，就想普通的神经网络一样，卷积神经网络识别不同的特征。但不是
前言Colab Pro(目前仅在美国、加拿大、日本、巴西、德国、法国、印度、英国和泰国可用)提供了随时可用和加速但是维护起来既昂贵又繁琐的云计算资源。和其免费版不同，Colab Pro 允许用户使用 TPUs 和高端的 GPUs，比如 V100 和 P100 等等，可以访问高内存的实例，并且保持 notebooks 运行的时间最长可以达到 24 小时，费用是每个月 10 美元。Colab Pro可
前言：window10+cuda9.0+cudnn+pycharm+py3.5+tensorflow1.9 这是本文的开发环境一、数据部分：从kaggle下载https://www.kaggle.com/c/dogs-vs-cats下载以后直接解压成两个文件，train和test，直接copy在eclipse的工程目录data中即可 二、结构部分： 三、代码部分： 1.input_data.
转载
2024-08-20 17:51:58
131阅读
这是 Kaggle 你问我答 (AMA) 的第一期活动，本期请到的嘉宾是 SueTao，他研究生毕业于东南大学，目前是腾讯的一名算法工程师。 Kaggle profile：https://www.kaggle.com/shentao
SueTao 擅长计算机视觉（Computer Vision），半年 5 战 5 金，也许是史上最快的 GrandMaster。截至
本文不包含Kaggle的入门步骤，如何上传数据集，如何选择GPU自行学习 文章目录*开头的话*一、Kaggle的使用1、**为什么选择Kaggle**2、Kaggle的操作难度二、Yolox代码的更改1.train.py更改2.callbacks.py部分更改3、训练数据的路径更改4、正式训练*末尾的话* 开头的话本文所用yolox的代码来自bubbliiing的pytorch yolox项目 链
转载
2024-01-10 23:01:55
160阅读
最近在参加：2023AIWIN——中文网页自动导航挑战赛
DataWhale的大佬们提供了baseline的讲解：如何手把手打一场世界人工智能大赛
下面就来记录一下使用Kaggle上提供的30小时15G免费GPU算力的运行情况。数据集预处理数据下载及配置首先从比赛官网上下载A榜的数据集：获取数据
在本地解压缩后，进入到路径：\2023S-T1-A-Data[供选手] 0513\指令数据&标
转载
2024-02-28 23:09:31
1016阅读
：投稿 作者：子苏 编辑：学姐之前一直在Googel Colab平台上薅羊毛(使用免费GPU)，但是很快就遇到了GPU使用达到上限的问题，如下图：limited GPU因此又来到Kaggle平台来薅羊毛，作为Kaggle小白，在此总结了一些常见的问题和实用tips。安装第三方包开始时一直安装不上任何包，把电脑wifi，工具检查了一遍，简直怀疑人生，后来发现原来是 Internet选项没开启
转载
2024-03-11 15:13:35
37阅读
文章目录写在前面安装必要的模块和文件1.模块2.文件下载数据读取数据训练模型训练过程评估模型效果测试集准备提交材料提交结果写在最后后面的训练 写在前面这篇接上一篇教程2，终于要看到autogluon在竞赛中的应用了。安装必要的模块和文件1.模块pip install kaggle2.文件下载API文件，通过在kaggle个人账号，点击头像 然后会得到一个kaggle.json文件，如果你是用ka
转载
2024-08-20 20:23:57
475阅读
前言因为使用Stable Diffusion进行AI绘图需要GPU，这让其应用得到了限制本文介绍如何在Kaggle中部署Stable Diffusion，并使用免费的P100 GPU进行推理（每周可免费使用30小时），部署好后可以在任意移动端使用。本项目在stable-diffusion-webui-kaggle基础上进行改进，原作者Github项目地址
欢迎大家Copy and Edit我的ka
转载
2024-05-21 14:25:20
79阅读
参考：机器学习系列(3)_逻辑回归应用之Kaggle泰坦尼克之灾参考：Kaggle泰坦尼克特征工程和模型融合『解决一个问题的方法和思路不止一种』『没有所谓的机器学习算法优劣，也没有绝对高性能的机器学习算法，只有在特定的场景、数据和特征下更合适的机器学习算法。』 Kaggle上的大神们，也分享过一些experience，说几条我记得的哈： 『对数据的认识太重要了！』 『
转载
2024-07-25 18:25:06
110阅读
什么是OPENGL？我们需要知道OpenGL是“开放图形库”的缩写。OpenGL是一种API，它允许我们相对容易地在屏幕上输出图形，而不必确切地知道背景中发生了什么。整个过程在某种程度上与Windows API相当。我们知道如何创建一个窗口，但我们不知道后台到底发生了什么。OpenGL属于跨平台，您可以在任何操作系统下使用OpenGL，并且您的程序可以在任何硬件上运行。然而，这有一个缺点，即某些功
在当今快速发展的计算环境中，如何有效地利用 GPU 进行处理已成为许多开发者的关注点。具体到 Ollama 框架，它为机器学习和大规模数据处理提供了一个高度可扩展的解决方案。然而，用户在启用 GPU 时常常遇到一些问题。本文将详细记录如何解决“ollama 如何启用 GPU”的问题, 并通过实际案例帮助用户更好地掌握这一过程。
## 问题背景
在使用 Ollama 作为机器学习框架的用户中，不
1 前言这是我一开始写的一篇安装教程:深度学习1-深度学习环境安装,有这一篇就够了!Anaconda-Python+Tensorflow2.0-GPU+Keras+Pycharm .总来的来说这一篇,也可以完成tensorflow2.0-GPU的搭建,但是有优化空间,不建议大家去看,有尤其是后面部分,一开始不懂,其实后面使用了pip 方式安装,这变成了原始python安装方式,等同于放弃
IntroKaggle提供免费访问内核中的NVidia K80 GPU。该基准测试表明，在深度学习模型的训练过程中，为您的内核启用GPU可实现12.5倍的加速。 这个内核是用GPU运行的。我将运行时间与在CPU上训练相同模型内核的运行时间进行比较。 GPU的总运行时间为994秒。仅具有CPU的内核的总运行时间为13,419秒。这是一个12.5倍的加速（只有一个CPU的总运行时间是13.5倍）。 将
转载
2024-02-05 00:57:37
389阅读
