MindSpore模型精度调优实践 引论：在模型的开发过程中，精度达不到预期常常让人头疼。为了帮助用户解决模型调试调优的问题，为MindSpore量身定做了可视化调试调优组件：MindInsight。还梳理了针对常见精度问题的调试调优指南，将以“MindSpore模型精度调优实战”系列文章的形式分享
转载
2021-02-07 15:58:00
72阅读
2评论
摘要：在模型的开发过程中，精度达不到预期常常让人头疼。为了帮助用户解决模型调试调优的问题，我们为MindSpore量身定做了可视化调试调优组件：MindInsight。 本文分享自华为云社区《技术干货 | 模型优化精度、速度我全都要！MindSpore模型精度调优实战（二）》，原文作者：HWClou ...
转载
2021-07-13 10:49:00
128阅读
2评论
在模型的开发过程中，精度达不到预期常常让人头疼。为了帮助用户解决模型调试调优的问题，我们为MindSpore量身定做了可视化调试调优组件：MindInsight。
原创
2021-07-13 10:58:59
319阅读
点赞
为大家梳理了针对常见精度问题的调试调优指南，将以“MindSpore模型精度调优实战”系列文章的形式分享出来，帮助大家轻松定位精度问题，快速优化模型精度。
原创
2021-07-07 09:56:13
507阅读
点赞
为大家梳理了针对常见精度问题的调试调优指南，将以“MindSpore模型精度调优实战”系列文章的形式分享出来，帮助大家轻松定位精度问题，快速优化模型精度。 引言：
转载
2021-07-07 09:59:00
170阅读
2评论
在ML中一个重要的任务就是模型选择，或者使用给定的数据为给定的任务寻找最适合的模型或参数。这个过程又称调优。调优可以是对单个阶段进行调优，也可以一次性对整个Pipeline进行调优。MLlib支持使用类似CrossValidator和TrainValidationSplit这样的工具进行模型选择。这些工具需要以下组件:Estimator:用户调优的算法或Pipeline。ParamMap集合:
随着深度学习在推荐系统中的应用，embedding成为绕不开的话题。无论是召回还是排序阶段，均应用到embedding技术。目前已经有很多文章在讨论item的embedding如何生成，本文希望讨论user embedding生成的几种方法，欢迎大家补充和讨论。Item2Vec+Pooling在word2vec提出后，给向量化学习提供了很好的思路。微软于2016年提出item2vec
一:spark-submit 提交job的参数说明示例:spark-submit --master yarn --class xxxx --executor-cores 5 --executor-memory 5G --num-executor 4 xxx.jar解释:1.–executor-cores作用: 决定了任务的并行度 假设一个任务要想运行完成需要200个task,一个cpu核数同一时间
转载
2023-09-04 15:11:41
53阅读
在算法项目落地过程中，如果只考虑机器学习相关部分，个人感觉最花时间的两个部分是数据质量问题处理和模型实验与迭
转载
2021-07-08 17:49:58
900阅读
近期接手了不少大数据表任务调度补数据的工作,补数时发现资源消耗异常的大且运行速度却不怎么给力.发现根本原因在于sparkSQL配置有诸多问题,解决后总结出来就当抛砖引玉了.具体现象内存CPU比例失调 一个Spark任务消耗 120(executor)*4G = 480G内存仅仅使用120个 core.几个SprakSQL任务就将整个系统资源吃光.设置超过40个executor,但未指定分区数,导致
1、scikit-learn GBDT类库概述在sacikit-learn中，GradientBoostingClassifier为GBDT的分类类， 而GradientBoostingRegressor为GBDT的回归类。两者的参数类型完全相同，当然有些参数比如损失函数loss的可选择项并不相同。这些参数中，类似于Adaboost，我们把重要参数分为两类，第一类是Boosting框架的重要参数，
作者：Xiaoyou Wang，编译：机器之心无论是 Kaggle 竞赛还是工业部署，机器学习模型在搭建起来之后都面临着无尽的调优需求。在这个过程中我们要遵循怎样的思路呢？如果准确性不够，机器学习模型在真实世界就没有什么实用性了。对于开发者们来说，如何提高性能是非常重要的工作，本文将介绍一些常用策略，包括选择最佳算法、调整模型设置和特征工程。如果你学习过正确的教程，很快就能训练起自己的第一个机器
转载
2022-10-20 12:27:55
71阅读
参数调优往往是数据挖掘和分析中至关重要的一步，一组好的参数能够使模型的预测或者分类更加的准确，使得模型能够完美的刻画数据的规律，在python中的sklearn中主要有两种参数调优的方法，分别为网格搜索法和随机搜索方法，下面分别介绍两种算法的核心思想： 1、网格搜索法-GridSearchCV 网格
转载
2019-05-27 02:43:00
401阅读
2评论
LR，GBDT，LR+GBDT，FM/FFM， 深度模型（wide & deep，DeepFM，DCN等等 ）
原创
2023-07-29 03:22:58
86阅读
探索未来：深度学习与PyTorch LSTM预测项目项目:https://gitcode/Tuniverj/Pytorch-lstm-forecast在这个数据驱动的时代，预测未来的趋势变得越来越重要，特别是在金融、天气预报和市场营销等领域。Tuniverj 在GitCode上分享的 PyTorch-LSTM-Forecast 是一个利用深度学习模型——长短期记忆网络（LSTM）进行时
作者：Xiaoyou Wang，编译：机器之心无论是 Kaggle 竞赛还是工业部署，机器学习模型在搭建起来之后都面临着无尽的调优需求。在这个过程中我们要遵循怎样的思路呢？如果准确性不够，机器学习模型在真实世界就没有什么实用性了。对于开发者们来说，如何提高性能是非常重要的工作，本文将介绍一些常用策略，包括选择最佳算法、调整模型设置和特征工程。如果你学习过正确的教程，很快就能训练起自己的第一个机
转载
2022-10-20 17:46:23
43阅读
Twitter 工程师谈 JVM 调优 Twitter 工程师谈 JVM 调优 2016年03月24日 10:22:30 wenniuwuren https://blog.csdn.net/wenniuwuren/article/details/50969363 一. 调优需要关注的几个方面内存调优
转载
2018-12-04 11:18:00
294阅读
2评论
深度学习模型调优方法（总结） 一、总结 一句话总结： 超参数的优化，其它比如正则化（regularization）、丢弃参数（dropout）、提前停止训练（early stopping） 1、如何判断模型好坏？ 【查看loss和accuracy】：通过模型训练跑代码，我们可以分别从训练集和测试集上
转载
2020-10-20 07:04:00
1369阅读
2评论
1 查看
less /proc/PID/status
less /proc/PID/statm
pmap PID(进程号)
memusage 命令 （yum install glibc-utils -y）
原创
2012-04-07 18:25:21
2147阅读
HDF/NiFi优化性能的设置方法Posted on Jul 07, 2017 简介NiFi的默认设置可以满足一般的运行和测试需求，但是如果想要处理大容量数据流，那就远远不够了。本文将介绍与NiFi性能有关的几个设置参数，让NiFi可以高效运转。本文重点在如何优化初始配置或者对默认参数进行小幅修改，并不会深入讨论如何优化数据流设计和NiFi处理器。这些优化可以简单地可以通过编辑
