前言\\ 2月13日，雅虎宣布开源TensorFlowOnSpark。TensorFlowOnSpark 为 Apache Hadoop 和 Apache Spark 集群带来可扩展的深度学习。 通过结合深入学习框架 TensorFlow 和大数据框架 Apache Spark 、Apache Hadoop 的显着特征，TensorFlowOnSpark 能够在 GPU 和 CPU 服务器集群上
测试faster-rcnn时，cpu计算速度较慢，调整代码改为gpu加速运算 将 with tf.Session() as sess: 替换为1 gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.9)
2 with tf.Session(config=tf.ConfigProto(gpu_options=gpu_option
转载
2024-03-05 12:10:43
619阅读
win10使用tensorflow和tensorflow-gpu时踩过的坑最初要使用tensorflow-gpu是因为要使用inception-resnet-v2，这个模型在cpu上跑，速度实在是太慢，两天跑1000个batch的样子，实在难受。于是搬出了我四年前的电脑（NIVIDA 840M）来准备用GPU跑。遇到了一些坑，一一解决了，记录一下。first最开始的时候，以为安装了tensorfl
转载
2024-04-03 08:53:05
138阅读
Tensorflow环境下的深度学习框架的配置主要包含以下几步：0、前言1、PyCharm的安装步骤：2、Python的安装步骤：3、AnaConda的安装步骤：4、CUDA的安装步骤：5、cuDNN安装步骤：6、Tensorflow—GPU配置步骤：7、在PyCharm中使用Tensorflow 0、前言我们需要安装的内容如下：Windows10 操作系统
Pycharm ：python的开发
转载
2024-05-07 10:41:10
586阅读
1、tensorflow-gpu+anaconda环境配置（1）下载anaconda并安装https://anaconda.en.softonic.com/ 选择合适的版本下载（2）根据当前环境下的cuda和cudnn版本来确定tensorflow-gpu的版本目前环境下以安装好cuda和cudnn ①查看cuda版本cat /usr/local/cuda/version.txt②查看cudnn
转载
2024-02-26 17:18:03
188阅读
前言为了在实验室工作站搭个gpu训练环境，前后大概花了一整天时间搭完。先简要说一下经验：先找一篇新一点的教程进行配置，我这边只是给个参考；最好暂时不要用最新的CUDA、py、tf，因为很有可能不支持。配置显卡：GTX 1070Python 3.6.2CUDA 9.0cuDNN 7.5 CUDA 9.0tensorflow-gpu 1.10这都9012年了，Py已经3.7，CU
转载
2024-03-28 13:27:08
53阅读
讲得很好，记下来以后可以借鉴：
如何跑通第一个模型面对一个全新的任务时，可能会遇到深度神经网络的训练不收敛的情况：loss不下降或者计算过程中浮点数越界，处理这种情况有一些常见的技巧。总体的思路是尽量简化训练，使得网络参数很容易学，即使性能不够优，切忌在跑通第一个模型前就做很多为性能优化服务的、增加训练难度的事项，例如数据增强、网络加宽加深等。模型参数选择尽量找一个已经跑通过的、与当前任务相似的任
转载
2023-07-27 17:06:56
195阅读
小白学TensorFlow（一）tensorflow安装在安装之前，您必须选择以下类型的TensorFlow之一来安装：TensorFlow仅支持CPU支持。如果您的系统没有NVIDIA®GPU，则必须安装此版本。请注意，此版本的TensorFlow通常会更容易安装（通常在5或10分钟内），因此即使您有NVIDIA GPU，建议先安装此版本。TensorFlow支持GPU。TensorFlow程序
转载
2024-05-26 17:40:50
59阅读
折腾4天终于装好 tensorflow-gpu 版，此教程一是按照实际操作给自己做个记录，二是给各位一个参考尽量节省安装时间。 硬件：CPU: i5-7400,GPU: GeForce GTX1050Ti系统：Ubuntu 16.04, cuda 8.0, cudnn v5 1 安装前准备工作1.1 检查自己的 GPU 是否满足安装条件 打开终端输入以下指令： lspci
转载
2024-08-21 11:12:00
79阅读
# 如何用Python跑模型？
## 引言
在机器学习和数据科学领域，使用Python进行模型训练和预测是非常常见的。Python具有丰富的库和工具，可以方便地进行数据处理、特征工程和模型训练等操作。本文将介绍使用Python跑模型的流程和步骤，并给出相应的代码示例。
## 整体流程
下面是使用Python跑模型的整体流程，包括数据准备、特征工程、模型训练和预测等步骤。
| 步骤 | 描述
原创
2023-09-16 17:59:05
601阅读
作者：凌逆战从事深度学习的研究者都知道，深度学习代码需要设计海量的数据，需要很大很大很大(重要的事情说三遍)的计算量，以至于CPU算不过来，需要通过GPU帮忙，但这必不意味着CPU的性能没GPU强，CPU是那种综合性的，GPU是专门用来做图像渲染的，这我们大家都知道，做图像矩阵的计算GPU更加在行，应该我们一般把深度学习程序让GPU来计算，事实也证明GPU的计算速度比CPU块，但是(但是前面的
转载
2024-08-06 08:29:53
137阅读
一、.ckpt转.pb用于模型上线.ckpt转.pb主要应用于将训练模型发布上线，.pb模型的跨平台和跨框架性能更好。这里由于在保存.pb模型前需要将模型变量freezing。在应用tensorflow训练模型时，输入数据的batch_size>1，直接保存.pb模型时会在inference阶段出现问题，所以需要从.ckpt转为.pb。在加载.ckpt时可以重新定义输入数据的batch_si
转载
2024-03-20 15:28:22
46阅读
先上一个seq2seq的图片，有几点需要注意这是两个RNN，编码RNN会将一个序列最后的状态作为解码RNN的初始状态编码的RNN我们是不需要输出，主要是没啥用，但是attention的时候需要解码的RNN是有输入的上图的例子就是，一个输入序列是[A,B,C]，原始标签是[W,X,Y,Z]，编码是我们将序列[A,B,C]依次输入到编码RNN，输完之后得到最终的状态C，解码RNN的输入就是标签前添加&
转载
2024-04-25 15:05:41
29阅读
BERT六大瘦身大法网络剪枝：包括从模型中删除一部分不太重要的权重从而产生稀疏的权重矩阵，或者直接去掉与注意力头相对应的整个矩阵等方法来实现模型的剪枝，还有一些模型通过正则化方法实现剪枝。 低秩分解：即将原来大的权重矩阵分解多个低秩的小矩阵从而减少了运算量。这种方法既可以用于标记嵌入以节省磁盘内存，也可以用到前馈层或自注意力层的参数矩阵中以加快模型训练速度。 知识蒸馏：通过引入
Tensorflow加载预训练ResNet-50一.核心代码二.问题总结1.训练时正确率很快达到90%+，测试结果全部归为一类2.加载预训练模型报missing警告三.网络结构 之所以想搞这个，起因是想实现RCNN。因为电脑配置太差，自己预训练根本跑不起来，百度了解到官方是有提供预训练权重的，开开心心拿来用，特此记录。 Kaggle猫狗大战比赛链接预训练权重下载链接一.核心代码预处理，即预处理特
转载
2024-02-23 19:42:56
56阅读
在安装Tensorflow之前，首先我们需要准备一些东西。Anaconda安装包、Anaconda换源文件等等。 若是不想去官网下载，我会在文章最后给出百度云链接。对自己显卡没有信息的可以先去NVIDIA官网查一下自己显卡的算力，推荐算力≥3.5以上安装第一步就是安装Anaconda. 在Anaconda安装开始选择Next，然后再是 I Agree 在选择安装类型的时候一般选择Just Me，这
转载
2024-09-11 10:22:07
50阅读
sagemaker 是aws的托管机器学习的服务，具体的请看什么是 Amazon SageMaker？ - Amazon SageMakerAmazon SageMaker 是一项完全托管的机器学习服务。借助 SageMaker，数据科学家和开发人员可以快速、轻松地构建和训练机器学习模型，然后直接将模型
转载
2024-06-15 17:03:42
80阅读
手把手教你使用TensorFlow训练出自己的模型一、前言 搭建TensorFlow开发环境一直是初学者头疼的问题，为了帮忙初学者快速使用TensorFlow框架训练出自己的模型，作者开发了一款基于TensorFlow 2.3.0的图形化工具AiSuperTool，可以一键加载数据集训练出模型，支持导出h5、tflite格式的模型文件。二、软件简介 2.1 双击AiSuperTool.exe文件即
转载
2023-11-20 18:55:14
204阅读
在之前写的一篇文章 TensorFlow，从一个 Android Demo 开始 中通过编译官方的 Demo 接触到了 TensorFlow 实际使用场景。这篇文章打算从一个Android 开发者的角度切入，看看构建一个基于 TensorFlow 的 Android 应用的完整流程。相关代码可查看：GitHub 项目地址通过 TensorFlow 用已有模型构建 Android 应用在 Googl
转载
2024-05-13 10:32:49
27阅读
环境配置：Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX（Webstorm也行）+ Eclispe（IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM + mybatis + Maven + Vue 等等组成，B/S模式 + Maven管理等等。环境需要1.运行环境：最好是java jdk 1.8，我们在这个平台上运行的。
转载
2024-07-14 10:21:03
49阅读
