这两天琢磨了下spark-deep-learning和spark-sklearn两个项目，但是感觉都不尽人如意。在training时，都需要把数据broadcast到各个节点进行并行训练，基本就失去实用价值了(tranning数据都会大于单节点内存的好么)，而且spark-deep-learning目前还没有实现和tf cluster的结合。所以这个时候转向了开源已久的yahoo的TensorFl
前段时间实践tensorflow目标检测模型再训练，过程见博文tf2目标检测-训练自己的模型总结目标检测模型再训练过程，有以下几点需注意：1 训练集和测试集训练图片每张只包含一个目标，因此可用小尺寸图片，且统一训练图片大小，有助于加快训练过程。测试图片则用大图片，包含多个需检测目标，同时包括应排除的目标，检验模型训练成果。2 模型处理窗口和输入图片resize问题每个再训练模型有处理窗口，例如ss
转载
2024-04-24 16:05:34
72阅读
看过 TensorFlow-slim 训练 CNN 分类模型（续） 及其相关系列文章的读者应该已经感受到了 tf.contrib.slim 在训练卷积神经网络方面的极其方便之处，特别是它让构建模型变得非常直观。但不可忽视的是，它还存在一在很大的缺点，就是它在训练模
转载
2024-05-09 15:18:30
75阅读
引言文本使用 tensorflow 2.8, CUDA 11.2 以及 cuDNN 8.1.1 训练了 cifar10 数据集. 代码没有那么重要, 主要是完成了环境的安装以及各种问题排查, 最后用一个简单的网络结构跑了一下训练. 如果本文对你有用, 麻烦不吝点个赞; 如果有啥问题, 请不要犹豫, 赶紧联系我.下载数据集和查看数据import tensorflow as tf
from keras
转载
2024-07-23 15:12:15
88阅读
这篇博客适合初学者了解模型训练是怎么一回事，用最简单的代码实现模型训练，但是你需要一点python的知识和一个你擅长的开发环境（比如：jupyter notebook）总共需要下面几个步骤导入包引入数据数据处理创建模型编译模型传入数据并训练导入包import tensorflow as tf
from tensorflow.keras.layers import Dense, Flatten, C
转载
2023-12-15 09:53:26
108阅读
官方给的Tensorflow lite demo是ImageNet 中训练的1000类物体识别，基于移动端的项目需要，现在要用模型训练自己的数据，提供两种训练方法，这也是自己在摸索Tensorflow过程中，尝试的两种方法。 （一）利用examples中的retrain.py 脚本进行迁移学习 https://github.com/tensorflow/tensorflow/tree/r1.8/
转载
2024-05-02 23:03:03
93阅读
在 TensorFlow 中，推荐使用 Keras ( tf.keras ) 构建模型。Keras 是一个广为流行的高级神经网络 API，简单、快速而不失灵活性，现已得到 TensorFlow 的官方内置和全面支持。Keras 有两个重要的概念： 模型（Model） 和 层（Layer） 。层将各种计算流程和变量进行了封装（例如基本的全连接层，CNN 的卷积层、池化层等），而模型则将各种层进行组织
升级版见：TensorFlow 使用 tf.estimator 训练模型（预训练 ResNet-50）。 前面的文章已经说明了怎么使用 TensorFlow 来构建、训练、保存、导出模型等，现在来说
转载
2024-02-29 15:14:22
157阅读
Tensorflow slim最近在做这个迁移学习，看了一本书，叫《21个项目玩转深度学习》里面的第三章介绍如何用自己的数据集去训练自己的深度模型，当然了 这本书的python版本好像是2.x，用现在的3.会有一些bug,不过去网上都可以解决，在这里我搜到的第三章解决问题的链接(http://www.pianshen.com/article/500471432/)基本都可以解决按照这个连接去解决，
转载
2023-12-21 16:14:38
89阅读
TensorFlow学习（八）TensorFlow学习（八）训练自己模型的三种方法采用方法二进行训练模型第一步第二步训练过程：通过模型进行预测（代码）采用方法一进行训练模型（未完待续）准备工作数据装换成tfrecord读取tfrecordtrain.bat文件 TensorFlow学习（八）训练自己模型的三种方法1、准备一个需要的模型（如：inception）,然后确定算法的框架，初始化参数都是
转载
2023-11-02 06:43:10
157阅读
今天我来结合代码详细介绍一下如何用SciSharp STACK的TensorFlow.NET来训练一个线性回归的基本模型。线性回归模型是初入机器学习领域必修的基本模型。TensorFlow.NET为广大.NET开发者提供了一个除了ML.NET的第二个机器学习框架选择。什么是线性回归？线性回归是一种线性方法，利用数理统计中回归分析对因变量与一个或多个独立变量之间的关系进行建模，运用十分广泛。考
转载
2024-07-29 15:59:56
42阅读
做东西，最重要的就是动手了，所以这篇文章动手跑了一个fcn32s和fcn8s以及deeplab v3+的例子，这个例子的数据集选用自动驾驶相关竞赛的kitti数据集， FCN8s在训练过程中用tensorflow2.0自带的评估能达到91%精确率, deeplab v3+能达到97%的准确率。这篇文章适合入门级选手，在文章中不再讲述fcn的结构，直接百度就可以搜到。 文章使用的是tenso
转载
2024-05-13 13:57:08
78阅读
使用object detection训练并识别自己的模型1.安装tensorflow(version>=1.4.0)2.部署tensorflow models - 在这里下载 - 解压并安装 - 解压后重命名为models复制到tensorflow/目录下 - 在linux下 - 进入tensorflow/models/research/目录，运行protoc ob
转载
2023-10-05 11:35:44
233阅读
手把手教你使用TensorFlow训练出自己的模型一、前言 搭建TensorFlow开发环境一直是初学者头疼的问题，为了帮忙初学者快速使用TensorFlow框架训练出自己的模型，作者开发了一款基于TensorFlow 2.3.0的图形化工具AiSuperTool，可以一键加载数据集训练出模型，支持导出h5、tflite格式的模型文件。二、软件简介 2.1 双击AiSuperTool.exe文件即
转载
2023-11-20 18:55:14
204阅读
文章目录 **1、运行环境2、获取本人人脸图片集 3、获取其他人脸图片集 4、cnn训练模型 5、使用模型进行识别**1、运行环境系统: window或linux 软件: python 3.X 、 pycharm (软件安装可以看——最详细的anaconda+python+pycharm安装）2、获取本人图片集获取本人的照片，我们需要通过代码来打开摄像头给自己拍照，如果你自己有照片，也可以用那些现
转载
2024-06-14 16:28:00
79阅读
上篇博客主要介绍了tensorflow_slim的基本模块，本篇主要介绍一下如何使用该模块训练自己的模型。主要分为数据转化，数据读取，数据预处理，模型选择，训练参数设定，构建pb文件，固化pb文件中的参数几部分。一、数据转化：主要目的是将图片转化为TFrecords文件，该部分属于数据的预处理阶段，可以参考datasets中的download_and_conver_flower中的run函数实现。
转载
2024-05-13 11:17:23
59阅读
现在让我们用Tensorflow实现一个具体的Input pipeline，我们使用CoCo2014作为处理对象，网上应该可以下载到CoCo训练集，train2014这个文件。下载链接： http://msvocds.blob.core.windows.net/coco2014/train2014.zip 一共13.5G，解压完以后大概会有8万多张图，这
转载
2023-11-09 09:12:54
84阅读
estimator是tensorflow高度封装的一个类，里面有一些可以直接使用的分类和回归模型，例如tf.estimator.DNNClassifier，但这不是这篇博客的主题，而是怎么使用estimator来实现我们自定义模型的训练。它的步骤主要分为以下几个部分：构建model_fn，在这个方法里面定义自己的模型以及训练和测试过程要做的事情；构建input_fn，在这个方法数据的来源和喂给模型
转载
2024-04-22 08:53:44
36阅读
1.介绍TensorFlowOnSpark 为 Apache Hadoop 和 Apache Spark 集群带来可扩展的深度学习。 通过结合深入学习框架 TensorFlow 和大数据框架 Apache Spark 、Apache Hadoop 的显着特征，TensorFlowOnSpark 能够在 GPU 和 CPU 服务器集群上实现分布式深度学习。2.为了满足什么应用场景为了利用Tensor
转载
2023-12-25 20:52:09
63阅读
在所有的数据都处理完了之后，接下来就可以进行模型的训练了。在Github上FaceNet项目的介绍中有softmax和论文中提到的三元损失训练triplet两种方式，这边简单的介绍下softmax的训练方法。FaceNet已经将所有的方法都已经封装好，训练程序在src目录下的train_softmax.py文件中，在训练之前，我们首先要简单的修改下这份文件，让它适用于当前版本。找到260行，搜索i
转载
2024-04-12 19:52:06
33阅读
