TensorFlow内置常用指标：AUC()Precision()Recall()等等有些时候我们的指标不止这些，需要根据我们自己特定的任务指定自己的评
原创
2023-01-17 01:47:04
272阅读
# Spark MLlib 评估器简介
Apache Spark 是一个强大的分布式计算框架，而 Spark MLlib 是其中用于机器学习的库。MLlib 提供了丰富的工具来构建和评估机器学习模型。在机器学习的生命周期中，评估器(evaluator)在模型验证与性能评分中扮演着至关重要的角色。
## 什么是评估器？
评估器是 MLlib 中用于评估所构建模型的性能的工具。它通常包括一些统计
PySpark ML (评估器)评估器简介ML中的评估器主要是对于机器学习算法的使用，包括预测、分类
原创
2023-02-17 09:16:03
161阅读
TensorFlow 支持多种常用运算符（Operations，简称 Op），如矩阵乘 matmul、卷积 conv2d 等。 由这些运算符可以构建复杂的计算图（Graph）。核函数（Kernel）是运算符的特定实现，可以运行在特定类型设备上（如 CPU 或 GPU ）。 TensorFlow 通过注册机制来确定支持的运算符集合和核函数，便于进一步扩展。 今天给一个利用 C++ 编写 Tenso
转载
2024-05-24 22:40:36
116阅读
当我们在说GPU并行计算时，其实是指的基于CPU+GPU的异构计算架构。典型的CUDA程序的执行流程如下： 分配host内存，并进行数据初始化； 分配device内存，并从host将数据拷贝到device上； 调用CUDA的核函数在device上完成指定的运算； 将device上的运算结果拷贝到host上； 释放device和host上分配的内存。kernel是在device上线程中并行执行的函数
转载
2024-08-27 17:47:25
0阅读
## Spark各模型评估器实现流程
Spark是一个强大的分布式计算框架，提供了各种机器学习算法和模型评估器。本文将介绍如何使用Spark来实现各种模型评估器。首先，我们将通过一个表格展示整个流程，然后逐步解释每个步骤需要做什么，并注释相应的代码。
### Spark各模型评估器实现流程
```mermaid
journey
title Spark各模型评估器实现流程
se
原创
2023-10-16 09:03:01
72阅读
TensorFlow定制模型和训练算法（上）5、自定义层要构建自定义的有状态层（有权重的层），需要创建Keras.layers.Layer类的子类。 例如（实现Dense层的简化版本）：class MyDense(keras.layers.Layer):
def __init__(self, units, activation=None, **kwargs):
//负责处理标准参
转载
2024-06-22 21:20:33
77阅读
今天讲解的内容是自定义层，和我们之前所学的构建层的方法相比，自定义层要复杂一些，而且要多一些注意事项，同时对python的要求也提高了不少，下边我们根据老师给出的案例代码进行讲解(注释)。#首先说一下自定义层的三种方法
import tensorflow as tf
#自定义全连接层
class Linear(tf.keras.layers.Layer):
#在__init__中进行所有
转载
2024-05-15 12:31:22
99阅读
添加自定义op本文介绍如何在tensorflow中增加一个新得OP以及op对应得kernel，还有如何编译和使用新增加得op。1.新增加op对应得kernel实现，新的op ZeroOutOp类继承自OpKernel，重新实现Compute接口，在该接口内实现op对应得kernel（tensorflow/core/user_ops/zero_out.cc cpu设备上的实现）：REGISTER_O
转载
2024-03-27 20:15:10
64阅读
tensorflow2.0建议使用tf.keras作为构建神经网络的高级API
接下来我就使用tensorflow实现VGG16去训练数据背景介绍：2012年 AlexNet 在 ImageNet 上显著的降低了分类错误率，深度神经网络进入迅速发展阶段。在2014年牛津大学机器人实验室尝试构建了更深的网络，文章中称为"VERY DEEP CONVOLUTIONAL NETWORKS"，如VGG16
转载
2024-02-18 13:20:39
70阅读
常量、变量、占位符、会话是tensorflow编程的基础也是最常用到的东西，tensorflow中定义的变量、常量都是tensor（张量）类型。常量tf.constant()tensorflow中定义的变量、常量都是tensor（张量）类型常用是在运行过程中不会改变的量，如作线性回归Y = w*X + b ，知道一系列(X, Y) ，通过梯度下降找w和b，X和Y的值在程序运行时就不会去改变，只不断
转载
2024-05-08 09:33:09
32阅读
一图看懂tensorflow模型存储和恢复一图讲解仅保存权重和偏置模型的保存方法 一图讲解每次跟随教程进行深度学习模型训练过程中，都要把下载数据，搭建模型，训练模型，预测的过程走一遍，尤其是我们针对同一个数据进行不同方向学习的时候，我们要把一个相同的模型来回跑数次，大量的时间写重复的代码会极大的降低我们的学习积极性，那么如何将我们计算好的模型封装起来，下次遇到相同情况直接调用呢？下面我将结合te
tensorflow 自定义 op
可能需要新定义 c++ operation 的几种情况：
现有的 operation 组合不出来你想要的 op
现有的 operation 组合 出来的 operation 十分低效
如果你想要手动融合一些操作。
为了实现你的自定义操作，你需要做一下几件事：
在 c++ 文件中注册一个新op： Op registration 定义了 op 的功能接口，它和 o
转载
2021-08-26 14:14:15
1044阅读
import numpy as npimport tensorflow as tfimport osfrom tensorflow.python.framework import
原创
2022-07-09 00:01:05
88阅读
这篇教程是翻译Morgan写的TensorFlow教程，作者已经授权翻译，这是原文。目录TensorFlow学习系列（一）：初识TensorFlowTensorFlow学习系列（二）：形状和动态维度TensorFlow学习系列（三）：保存/恢复和混合多个模型TensorFlow学习系列（四）：利用神经网络实现泛逼近器（universal approximator）TensorFlow学习系列（五）
函数里也只能用 TF自己的算子 对tensor操作import tensorflow as tfbatch_size = 4hidden_size = 2input_ten
原创
2022-07-19 11:38:25
210阅读
前言在深度学习中，有时候我们需要对某些节点的梯度进行一些定制，特别是该节点操作不可导(比如阶梯除法如 )，如果实在需要对这个节点进行操作，而且希望其可以反向传播，那么就需要对其进行自定义反向传播时的梯度。在有些场景，如[2]中介绍到的梯度反转(gradient inverse)中，就必须在某层节点对反向传播的梯度进行反转，也就是需要更改正常的梯度传播过程，如下图的 所示。在tensorflow中
目录tensorflow 自定义层扩展tf.keras.Layer类并实现init()build()add_weight()组合层创建ResNet残差快实例对象调用build()函数查看模型整体 tensorflow 自定义层通常机器学习的模型可以表示为简单层的组合与堆叠，使用TensorFlow中的tf.keras来构建模型。 扩展tf.keras.Layer类并实现init：在其中执行所有与输
转载
2024-05-16 15:08:09
79阅读
官网的mnist和cifar10数据之后，笔者尝试着制作自己的数据集，并保存，读入，显示。 TensorFlow可以支持cifar10的数据格式， 也提供了标准的TFRecord 格式，而关于 tensorflow 读取数据， 官网提供了3中方法 1 Feeding： 在tensorflow程序运行的每一步， 用Python代码在线提供数据 2 Reader ： 在一个计算图（
转载
2024-01-30 06:37:52
60阅读
自定义模型 4.3自定义层 通过对 tf.keras.layers.Layer 进行子类化并实现以下方法来创建自定义层：build：创建层的权重。使用 add_weight 方法添加权重。call：定义前向传播。compute_output_shape：指定在给定输入形状的情况下如何计算层的输出形状。 或者，可以通过实现 get_config 方法和 from_config 类方法序列化层。cla
转载
2024-04-08 07:58:29
124阅读
