一、引言 模型训练时，每次训练可以接受不同batch大小的数据进行迭代，同样，在推理时，也会遇到输入Tensor大小(shape)是不确定的情况，其中最常见的就是动态batch了。动态batch，故名思意，就是只batch大小不确定的情况，比如这次推理了一张图像，下次推理就需要同时推理两张图像。在Tensorflow中，定义一个动态batch的Tensor可以用 -1来表示动态的维度 t
## 如何在 Python 推理过程中有效释放显存
在进行深度学习模型推理时，显存（GPU内存）的管理是一个重要的环节，尤其是在资源有限的情况下。有效释放显存不仅可以提高推理效率，还可以减少因显存溢出导致的错误。在本文中，我们将逐步指导如何在 Python 中实现显存的释放。
### 流程概述
我们将按照以下步骤清理显存：
| 步骤 | 描述
原创
2024-08-15 09:54:12
381阅读
通过对MNIST的学习，对TensorFlow和机器学习快速上手。MNIST：手写数字识别数据集 MNIST数据集60000行的训练数据集 和 10000行测试集每张图片是一个28*28的像素图。用一个数字数组来表示这张图片。这里把这个数组展开成一个向量，长度为28*28=784。（其实展平图片丢失了许多关键的二维结构信息，但这里他这么做了）训练集包括两部分:索引图片集[60000,78
## 深度学习推理过程也要 Resize：一个不可忽视的步骤
在深度学习的应用中，尤其是在计算机视觉领域，图像数据的处理与利用一直是一个重要的研究方向。在进行深度学习模型推理时，我们通常关注模型的架构、训练数据等。因此，图像数据的预处理，特别是图像的 Resize（调整大小），常常被忽视。然而，这一环节在推理过程中却至关重要。本文将详细探讨为什么 Resize 对于深度学习推理至关重要，并提供相
在之前的课程中，我们分享的推理任务大部分都只由一个模型构成，但在真实的业务场景下，往往需要我们将多个模型放在一起去运行，才能获取到这个任务的最终预期结果。因此，本次分享将通过一个简单的示例演示如何使用 OpenVINO™ 完成多模型串行的推理任务部署，看如何通过一个 Notebook 完成从车辆检测到车辆特征识别的具体任务的落地。01 前期操作打开 Jupyter Notebo
转载
2024-09-09 15:04:37
71阅读
小学时，不愿意做口算、学心算，老师说，多训练，才能让你的大脑更聪明！中学时，不愿意学几何证明，老师说，多推理，才能让你的逻辑分析能力更强！经过学校里的各种计算和推理训练，我们的大脑的确越来越聪明。人工智能的“大脑”APU，经过各种推理推理推理，训练训练训练，它也能变得更聪明！Helio P90内置的“大脑”APU2.0做人工智能运算，它不但有超级强的AI算力，还大大降低了功耗。可以这样理解，你已经
转载
2023-10-29 18:55:28
84阅读
我有两个GPT2的模型，只有1亿参数，并以16位浮点数存储，也就是250MB左右
原创
2023-03-25 08:15:17
1885阅读
pytorch节省显存Our final move into the new house is this weekend. We did a three phase, three week move. First week - anything small not nailed down. Second week, medium-sized stuff...basically every
转载
2024-01-15 00:42:45
106阅读
基于案例的推理（Case-BasedReasoning，简称CBR）是人工智能发展较为成熟的一个分支，它是一种基于过去的实际经验或经历的推理。对基于案例的推理来说，求解一个问题的结论是从记忆里或案例库中找到与当前问题最相关的案例，然后对该案例做必要的改动以适合当前需解决的问题。1、CBR简介1.1 CBR的概念例如：当你早上坐进轿
5.1 演绎推理5.1.1 演绎推理的步骤演绎推理：你们通常将演绎推理解释为三段论，即由一个大前提和一个小前提推导出一个结论的论述形式。演绎推理的过程可以概括为以下3步：阐述世界上已存在的某种情况。阐述世界上同时存在的相关情况。如果第二则表述是针对的第一则表述的主语或谓语，那么就说明这两则表述是相关的。说明这两种情况同时存在时隐含的意义。演绎推理也可以呈现为以下三步：出现的问题或存在的现象。产生问
转载
2023-10-24 10:52:38
116阅读
在软考项目管理中，风险管理是一个至关重要的环节。它贯穿于项目的整个生命周期，涉及到项目的各个阶段。软考项目风险管理过程中，需要对风险进行识别、分析、评估、应对和监控，以确保项目的顺利实施。本文将详细介绍软考项目风险管理过程中的各个环节，帮助读者更好地理解项目风险管理的本质和重要性。
一、风险识别
风险识别是软考项目风险管理的第一步，也是非常关键的一步。风险识别是对项目中可能出现的风险进行预测和
原创
2023-11-01 15:20:32
115阅读
现有一个问题：/*5位运动员参加了10米台跳水比赛，有人让他们预测比赛结果： A选手说：B第二，我第三； B选手说：我第二，E第四； C选手说：我第一，D第二； D选手说：C最后，我第三； E选手说：我第四，A第一； 比赛结束后，每位选手都说对了一半，请编程确定比赛的名次。*/按照正常的推理，即就是判断在保证每个人说对一半的时候排名12345均有对应的人，那么就可以判断比赛的名次了。由于计算机不好
转载
2023-12-16 07:26:28
71阅读
2月份，美国麻省理工大学在顶级生物医学杂志Cell发表了题为“一种发现抗生素的深度学习方法” （A Deep Learning Approach to Antibiotic Discovery）的论文。这个结果是该团队把AI成功运用到生物工程的最新研究成果。笔者仔细阅读了论文，给大家分析一下论文背后的AI原理。 不断发现新型抗生素的意义是重大的。首先抗生素的发明为
软件项目从角色分工方面可以划分为研发、开发和实施三类，每个类型的项目有各自的管理过程。下面笔者就公司实施类项目的经历，从项目经理的角度谈一谈实施类项目管理过程中应该注意的一些问题，希望大家共勉。 确定项目概况 俗话说：“万事开头难”，项目开始阶段是一个非常重要的阶段。项目经理在接手一个新项目的时候，首先要尽可能的多从各个方面了解项目的情况。要在项目启动阶段就要了解：这个项目是什么类型的项目，
转载
精选
2008-07-31 16:44:15
708阅读
数据治理是大数据领域中非常重要的一环，从早期的学术研究到如今的各大企业落地实践，经历了漫长的过程，数据治理的实践落地本身也是一场马拉松。 从百度学术通过精确关键词匹配，搜索中文期刊的“数据治理” 和外文期刊的“
摘要部分： 描述承担的项目背景；扣题要求说明从项目范围管理的5个过程出发对项目的范围进行确认及变更控制；描述项目中我承担的角色及任务；最后说明项目取得了成功。 正文部分： 第一段：介绍项目背景，着重点出该项目的复杂性。顺便
原创
2015-10-08 18:16:35
932阅读
工欲善其事，必先利其器。而对于一个软件开发项目，最重要的器就是方法，工具和技术。而这三要素中重要的又是方法论，方法是基础，工具和技术更多是我们根据方法论选择的实现手段，是辅助要素。知己知彼，百战百胜
转载
2021-06-21 11:24:23
787阅读
监理过程中核心过程检查工具实务的设想 [ 2009-12-21 ） 信息系统工程项目，每个项目都有其特点，是否可以在监理实务中总结出一套有效的操作性极强的核心过程检查单一类的工具表单呢，以在一定程度上促进监理阶段性报告的编制，甚至可以做为报告的附件，以便在监理项目绩效考核体系下，统一、规范检查监理过程，格式化检查成
原创
2010-11-19 12:33:51
498阅读
导读 你应该知道的18个PyTorch小技巧。调试深度学习的pipelines就像找到最合适的齿轮组合你为什么要读这篇文章？ 深度学习模型的训练/推理过程涉及很多步骤。在有限的时间和资源条件下，每个迭代的速度越快
转载
2023-08-08 11:32:40
593阅读
负负为何得正？ (-3)+3=0 (-3)ｘ(-4)+3ｘ(-4)=0 (-3)ｘ(-4)+(-12)=0 12+(-12)=0 所以： (-3)ｘ(-4)=12
原创
2021-08-06 14:31:30
230阅读
