论文： TRANSFORMER TRANSDUCER: A STREAMABLE SPEECH RECOGNITION MODELWITH TRANSFORMER ENCODERS AND RNN-T LOSS思想： 论文作者借助RNN-T的整体架构，利用transformer替换RNN结构；因为transformer是一种非循环的attention机制，所以可以并行化计算，提升计算效率；此外
转载
2024-06-04 07:04:36
37阅读
作者：萧瑟
训练技巧对深度学习来说是非常重要的，作为一门实验性质很强的科学，同样的网络结构使用不同的训练方法训练，结果可能会有很大的差异。这里我总结了近一年来的炼丹心得，分享给大家，也欢迎大家补充指正。参数初始化。下面几种方式,随便选一个,结果基本都差不多。但是一定要做。否则可能会减慢收敛速度，影响收敛结果，甚至造成Nan等一系列问题。
参数初始化
下面几种方式,随便选一个,结果基本都差不多。
转载
2021-09-09 13:45:18
363阅读
No.1总结一下在旷视实习两年来的炼丹经验，我主要做了一些 RL，图像质量，图像分类，GAN 相关的任务，日常大概占用 5 - 10 张卡。可复现性和一致性有的同学在打比赛的时候，从头到尾只维护若干份丹方（代码），每次载入前一次的训练参数，调一下丹方再炼，俗称老丹。这样会有几个问题：某次引入一个 bug，过了很久才发现，然后不知道影响范围；炼出一个金丹，但是不知道它是怎么来的；忘了自己的 base
转载
2021-04-10 13:31:48
134阅读
深度调参经验总结。
转载
2022-10-19 15:22:47
42阅读
完整的工作代码可在github.com/lilianweng/stock-rnn找到。如果你不知道什么是循环神经网络（RNN）或长短期记忆网络（LSTM）单元互联网上也有很多类似教程，比如：· 使用Tensorflow实现RNN-LSTM的noob指南· TensorFlow R
No.1总结一下在旷视实习两年来的炼丹经验，我主要做了一些 RL，图像质量，图像分类，GAN 相关的任务，日常大概占用 5 - 10 张卡。可复现性和一致性有的同学在打比赛的时候，从头到尾...
转载
2022-07-30 00:01:18
79阅读
各位好，我是DASOU。前两天在B站直播讲课的时候，谈到初始化模型，一般来说会做两个事情，第一个是要选定模型架
转载
2023-07-14 14:41:01
100阅读
介绍optuna作为调参工具适合绝大多数的机器学习框架，sklearn，xgb，lgb，pytorch等。主要的调参原理如下：
1 采样算法
利用 suggested 参数值和评估的目标值的记录，采样器基本上不断缩小搜索空间，直到找到一个最佳的搜索空间，
其产生的参数会带来 更好的目标函数值。optuna.samplers.TPESampler 实现的 Tree-structured Parzen
转载
2023-11-09 12:05:27
258阅读
机器学习算法与知识图谱声明：仅做...
原创
2021-09-24 09:43:29
10000+阅读
深度强化学习
编辑：DeepRL 最近，谷歌大脑David Ha等人的论文《Weight Agnostic Neural Networks》占据了学术各大头条，引爆了机器学习圈。其「颠覆性」的理论让人惊呼：「到头来我们对神经网络一无所知？」，但一些无知公众各种写着各种不需调参、不用学习的标题，真的是哗众取宠！Reddit 上有一些研究者认为该论文更有趣的意
# Python 逻辑回归调参指南
逻辑回归是一种广泛使用的分类算法。调参是提高模型性能的重要步骤。初学者可能会对如何调参感到困惑，下面我将详细阐述这整个过程。
## 调参流程
我们可以将逻辑回归的调参过程简化为几个步骤。以下是一个简单的流程图，展示了整个流程：
```mermaid
flowchart TD;
A[数据准备] --> B[模型选择与训练];
B --> C
原创
2024-10-10 04:50:34
550阅读
选择弱评估器：参数booster在XGB中，除了使用梯度提升树（默认gbtree）以外，还可以使用gbtlinear和dart。 在原库中，在xgb.train()中输入xgb_model进行选择（但是注意这个参数只能由params参数导入！）；sklearn中在xgb.XGBregressor()输入booster进行选择。 如果数据是线性的，可以使用gbtlinear。XGB目标函数：重要参数
转载
2024-07-11 12:01:53
135阅读
原文： 考虑下下面代码输出结果public class test3 {
public static void main(String[] args) {
new Child("mike");
}
}
class People {
String name;
public People() {
System.out.pri
训练技巧对深度学习来说是非常重要的，作为一门实验性质很强的科学，同样的网络结构使用不同的训练方法训练，结果可能会有很大的差异。
原创
2021-07-16 16:51:58
174阅读
深度学习之循环神经网络（4）RNN层使用方法1. SimpleRNNCell2. 多层SimpleRNNCell网络3. SimpleRNN层 在介绍完循环神经网络的算法原理之后，我们来学习如何在TensorFlow中实现RNN层。在TensorFlow中，可以通过layers.SimpleRNNCell来完成 的计算。需要注意的是，在TensorFlow中，RNN表示通用意义上的循环神经网
转载
2024-08-03 15:33:15
168阅读
本文，探讨下LSTM的一些高级应用，比如双向LSTM。前面的探讨过程中， 我们使用到的RNN或者LSTM都是单向的，即按照时间顺序排列的一维序列；而在实际应用中，双向的RNN由于考虑到更充足的上下文，往往能起到更好的效果：Bi-RNN又叫双向RNN，是采用了两个方向的RNN网络。 RNN网络擅长的是对于连续数据的处理，既然是连续的数据规律，我们不仅可以学习它的正向规律，还可以学习它的反向规律。这样
转载
2023-12-10 10:41:51
86阅读
一、learning rate 简述lr全称learning rate（一下简称lr），是机器学习和深度学习中最为重要的超参数之一，会影响模型训练结果的好坏，有时候甚至会直接导致整个模型无法使用。lr最直接的可观测的影响就是loss值的变化，较大的学习率会更容易收敛也更容易出现陷入局部最优解的情况，而过大的学习率会导致loss无法收敛甚至出现nan的情况；较小的学习率更容易找到全局最优解但是los
转载
2024-03-26 23:39:53
219阅读
调参数是深度学习工作中，必不可少的一步。“得参数者，得天下“那么，调参的方法常见的有哪些？小编为您总结一番~01寻找合适的学习率(learning rate)学习率是一个非常非常重要的超参数在面对不同规模、不同batch-size、不同优化方式、不同数据集时，学习率的最合适的值都是不确定的，所以，我们无法光凭经验来准确地确定学习率的值。策略：在训练中不断寻找最合适当前状态的学习率。下图利用fast
转载
2024-03-18 20:15:06
60阅读
# Java方法入参回参规范
## 一、流程图
```mermaid
flowchart TD
A(开始)
B{定义方法}
C{定义参数}
D{设置返回值}
E(结束)
A --> B
B --> C
C --> D
D --> E
```
## 二、关系图
```mermaid
erDiagram
METH
原创
2024-02-26 05:56:12
77阅读
一、简介所谓回调：就是A类中调用B类中的某个方法C，然后B类中反过来调用A类中的方法D，D这个方法就叫回调方法。举个生活中的例子：我打电话向你请教问题，是个难题，你一时想不出解决方法，于是我们约定：等你想出办法后打手机通知我，我就挂掉电话办其它事情去了。过了一段时间，你打过来告诉我答案。 C在调用a后是不会自己调用b的，C提供b的目的就是让S来调用。但是S并不知道C提供的b是什么，因此需要约定统一
转载
2024-07-08 10:27:01
47阅读
