（1）RNNCell如果要学习TensorFlow中的RNN，第一站应该就是去了解“RNNCell”，它是TensorFlow中实现RNN的基本单元，每个RNNCell都有一个call方法，使用方式是：(output, next_state) = call(input, state)。借助图片来说可能更容易理解。假设我们有一个初始状态h0，还有输入x1，调用call(x1, h0)后就
转载
2024-10-22 22:46:18
17阅读
前言听说下一个项目 可能要用微服务开发，趁着项目的空档期，对于go微服务的框架进行了学习。目前go的微服务框架个人认为处于百家齐放的时代，可能这也是go的生态的一个特点吧，也曾简单用过go-miecro，gin+micro+gorm+mysql+redis 常见方案使用起来还是蛮顺手的，可惜该框架成了个人仓库，生成的依赖会出现引用错误，其他的都蛮ok的。版本浅介go：1.17.6protoc：3.
转载
2024-11-01 16:16:39
41阅读
文章目录Nginx介绍Nginx环境准备配置文件Nginx启动、停止自定义错误页访问控制虚拟主机设置基于端口号基于域名基于ip反向代理设置适配PC或移动设备Gzip压缩配置 也入门前端挺久的了，但一直对Nginx的理解比较模糊，每次需要的时候就去百度如何配置，学习比较零散，本周末终于奋起看了一个非常系统的教程 Nginx介绍“Nginx是一款轻量级的HTTP服务器，采用事件驱动的异步非阻塞处
转载
2024-04-21 09:58:41
80阅读
这个分为两部分，手写RNN是用最基础的语法实现RNN，尽量不用PyTorch的模块，用来清理思路的。下一节的RNN简介实现才是快速手写RNN。onehot独热编码在写RNN之前先会议一下独热码。独热码是只有0和1的向量，独热嘛，肯定只有一个“热”，所以只有一个是1，用来区分不同的元素。举个例子用独热码来区分物体。!image.png(https://s2.51cto.com/images/2022
原创
2022-02-08 11:29:37
462阅读
1. 引言CLIP代表语言图像对比预训练模型，是OpenAI于2021年开发的一个深度学习模型。CLIP模型中图像和文本嵌入共享相同的潜在特征空间，从而能够在两种模式之间直接进行对比学习。这是通过训练模型使相关的图像和文本更紧密地结合在一起，同时将不相关的图像在特征空间距离分开来实现的。闲话少说，我们直接开始吧！2. 相关应用关于CLIP模型的一些应用总结如下：图像分类和检索：CLIP可以通过将图
原创
精选
2024-01-07 11:46:27
2950阅读
本文会先介绍动态系统的概念，然后介绍两种简单的反馈神经网络，然后再介绍两种门控神经网络(LSTM, GRU)，最后是关于反馈神经网络的应用(本次以语音识别为例)。RNN: Recurrent neural network，一般叫它“反馈神经网络”或者“循环神经网络”。一、动态系统日常生活中，动态系统随处可见，蝴蝶扇动翅膀，它的翅膀是随着时间变化的，人走路、内燃机工作、股票等等，都是随着时间变化的。
一、前言 我们将从零开始实现整个方法，包括数据流水线、模型、损失函数和小批量随机梯度下降优化器。虽然现代的深度学习框架几乎可以自动化地进行所有这些工作，但从零开始实现可以确保你真正知道自己在做什么。 例子中我们先用自己设置好的w和b去生成数据集，再用建立的模型去跑数据生成w和b。比较，熟悉流程。 二 ...
转载
2021-07-26 16:55:00
277阅读
2评论
在TensorFlow中，RNN相关的源码主要分为两类，一类是表示基础Cell实现逻辑的类，这些类都继承自RNNCell类，主要包括BasicRNNCell、BasicLSTMCell、GRUCell等。另外一类就是让cell在不同时间轴上运转起来的循环流程控制类，包括动态单向RNN流程类tf.nn.dynamic_rnn、动态双向RNN流程类tf.nn.bidirectional_dynamic
转载
2024-03-27 09:43:09
240阅读
1 从单层网络谈起在学习RNN之前，首先要了解一下最基本的单层网络，它的结构如图：输入是x，经过变换Wx+b和激活函数f得到输出y。2 经典的RNN结构（N vs N）在实际应用中，我们还会遇到很多序列形的数据：如：自然语言处理问题。x1可以看做是第一个单词，x2可以看做是第二个单词，依次类推。语音处理。此时，x1、x2、x3……是每帧的声音信号。时间序列问题。例如每天的股票价格等等。序列形的数据
转载
2024-05-07 19:57:37
27阅读
前言 没有我想象中的难，毕竟站在前人的肩膀上，但还是遇到许多小困难，甚至一度想放弃 用时：两整天（白天） 目的：训练一个transformer模型，输入[1,2,3,4]，能预测出[5,6,7,8] 最终效果：transformer model各层及维度符合预期，能train，predict还有一点 ...
转载
2021-10-29 23:49:00
3591阅读
2评论
BPE，字节对编码。
原创
2024-07-01 15:16:15
117阅读
本文介绍 10 个最受欢迎的 CMS 系统，这 10 个系统的共同特点就是采用 Java 语言开发。Walrus CMS 是一个易用直观的 Java 开发的 CMS 内容管理系统。Walrus CMS 不提供单独的管理界面，一切管理操作直接在当前页面上进行，通过点击和拖拉即可实现内容编辑。使用 Spring 框架。OpenCms是一个专业级别的开源网站内容管理系统。OpenCms可以非常容易的帮助
# 从零实现的Chrome扩展 `Chrome`扩展是一种可以在`Chrome`浏览器中添加新功能和修改浏
原创
2023-07-23 00:46:59
87阅读
假如我们有如下两个JS文件：假即两个 esm 的模块， 并且 main.mjs 依赖 utils.mjs。如上代码可以被支持 ESM 的浏览器所识别，但并不意味着其可以直接被运行。比如我的代码依赖了 npm 包和一些相对路径，这些浏览器是无法识别的。而 vite 则解决了这个问题。由于 vite 本质还是依赖了浏览器的特性，因此可以直接利用浏览器的诸如缓存的特点来提高性能。
转载
2021-08-03 15:36:25
275阅读
在这一篇博文中，我们将深入探讨如何使用 PyTorch 从零实现 Stable Diffusion。这是一个值得关注的主题，许多人希望能够理解其背后的技术原理和实现过程。以下是我们对这一问题的全面整理与复盘。
## 背景描述
Stable Diffusion 是一款用于生成高质量图像的深度学习模型，已经引起了广泛的关注及研究。以下是一些关于该技术的重要背景信息：
1. **生成模型的广泛应用
词嵌入基本知识维基百科中文语料分析（附实际评论案例） 阅读感想： word2vec的输入是由多句话组成的语料。在使用word2vec必须要进行分词，分词之后才能得到词的向量，如果某个词，没有被正确分词出来，则不会有该的词向量。 为啥大家需要大的语料，因为要尽量包括中国所有汉字，还要尽可能地包括每个汉字的使用语法。 https://www.zhihu.com/question/357636409
1 什么是RNNRNN又称循环神经网络，是一种在序列数据处理中广泛使用的神经网络模型。具有循环连接，允许信息在网络中持续传递。能够处理任意长度的输入序列，并且在处理序列时共享参数，这也是该模型在自然语言处理、语音识别、时间序列预测等任务中取得出色表现的主要原因。2 RNN原理RNN的目的就是用来处理序列数据的。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节
转载
2024-07-26 16:26:21
41阅读
循环神经网络 RNN（recurrent neural network）特点：RNN对具有序列特性的数据非常有效 能挖掘数据中的时许信息及语义信息 序列特性：符合时间顺序、逻辑顺序或其他顺序的。如：人的语言、语音、股票结构： 如果先不看W，展开，图就变成了 全连接神经网络结构：X是某个字或词的特征向量，作为输入层。上图是三维向量U是输入层到隐藏层的
转载
2024-05-14 16:42:48
57阅读
目录 简介 模型结构 前向传播过程 反向传播BPTT 算法推导 算法实现一 简介RNN 是一种时序链特征的循环神经网络。主要应用于：① 自然语言处理(NLP): 主要有视频处理, 文本生成, 语言模型, 图像处理② 机器翻译,
转载
2024-03-13 20:14:20
24阅读
Pytorch框架,CharRNN自动唐诗生成RNN简单解析实验部分初始语料处理载入到数据类定义Pytorch神经网络预测生成部分主函数部分结果展示 RNN简单解析RNN(RecurrentNeuralNetwork)又称循环神经网络, 以其独有的隐藏状态的输入h在序列问题和文本问题上,有比较好的实现.为了做个对比我们先来看看普通的神经网络长什么样子: 然后我们再来看看RNN的标准架构: 其实R
转载
2023-12-24 00:15:35
63阅读
