TechOnly的博客_深度学习

Practice Lessons for AI Applications

Rule-based data cleaning is very important in rule-match and fuzzy-match algorithm.Everything is classification, so classification solves all. Also, e

人工智能

sed

API

原创 2月前 46 阅读

LOMO: LOw-Memory Optimization 阅读笔记

文章贡献：减少对GPU内存的占用，从而能让GPU容纳更大的模型参数。

深度学习

人工智能

原创 2023-07-01 00:12:15 73 阅读

LoRA 核心代码

有效？和输入向量和输出向量和原来。，进行微调的是两个小矩阵，把原来。到一起的，所以预训练的信息也都在。核心思想是用两个MLP矩阵。

深度学习

人工智能

数据集

github

原创 2023-06-24 09:44:58 226 阅读

Prefix-Tuning 阅读笔记

微调的时候，把预训练好的大transformer固定住不训练，在大transformer前面拼接几个token的参数，

深度学习

数据集

拟合

原创 2023-06-24 09:13:07 313 阅读

GPT文本生成，训练数据中有同一个prompt对应两个response，会怎样（下）

所以，造成上面类似分类问题里的（存在一个输入对应两个类的）歧义问题，这种情况，就是看两种response的重复次数了，重复次数就等于learning-rate。

gpt

深度学习

人工智能

数据

原创 2023-05-13 09:25:49 96 阅读

文本生成，随着loss降低，生成多样性是在提升的

训练后期，loss不再降低，说明生成的结果多样性已经接近训练数据的多样性。在训练数据本身多样性足够的情况下，训练中期，生成的结果多样性提升，训练初期，生成的结果都雷同，

人工智能

数据

原创 2023-05-13 00:41:32 74 阅读

GPT文本生成，训练数据中有同一个prompt对应两个response，会怎样

所以对prompt-response-pair去重，不会造成分类问题里的（存在一个输入对应两个类的）歧义问题。

深度学习

gpt

chatgpt

数据

原创 2023-04-29 06:07:09 64 阅读

ChatGPT的Reward模块的可能替代方案

因为本质我们需要的是优质的text-generation格式的数据而已。

chatgpt

深度学习

nlp

数据

原创 2023-04-08 09:18:12 123 阅读

从 Supervised Learning 到 Policy Gradients

http://karpathy.github.io/2016/05/31/rl/ 的翻译。

深度学习

人工智能

机器学习

深度网络

强化学习

原创 2023-03-25 12:07:08 128 阅读

GPT-4 / ChatGPT 解读3---没有前置的任务分类模型

意图分类‘内置’在prompt里了。

chatgpt

深度学习

伪代码

数据格式

数据

原创 2023-03-20 10:17:12 349 阅读

GPT-4 / ChatGPT 解读2---训练数据示例

68页的InstructGPT paper：60页的GPT-4 technical report：

chatgpt

深度学习

人工智能

数据

原创 2023-03-19 08:13:25 1115 阅读

GPT-4 / ChatGPT 解读1---把公开数据集转成GPT的prompt型模版

68页的InstructGPT paper：60页的GPT-4 technical report：https://cdn.openai.com/papers/gpt-4.pdf举例：举例：举例：举例：

人工智能

深度学习

数据集

模版

原创 2023-03-19 08:13:10 563 阅读

decoder-only transformer可以实现pre-train和fine-tune的一致性

LLM(large language model)

transformer

深度学习

人工智能

数据格式

伪代码

原创 2023-03-11 07:11:19 167 阅读

memory network 没有成为BERT的基石的原因

transformer在预训练时，靠attention matrix能学到预训练数据里两两token之间的关系，也就是所说的上下文关系，然

bert

人工智能

自然语言处理

数据集

数据

原创 2023-01-28 06:24:57 87 阅读

数据分布不均匀，或有重复数据，影响的只是每个数据的学习率

进一步就是相当于这些重复的数据的学习率大了

深度学习

数据

数据分布

重复数据

原创 2023-01-07 00:21:04 81 阅读

命名实体识别NER模型，用B-M-E标记比用0-1标记准确率高

NER

自然语言处理

深度学习

原创 2022-09-18 00:44:59 59 阅读

各种attention的代码实现

base attentiondot attention mlp attention multihead attention no attention pooling attentionhttps

github

原创 2022-08-08 09:03:55 474 阅读

讲Transformer不错的一篇文章

https://jalammar.github.io/illustrated-transformer/

github

转载 2022-08-08 09:03:46 38 阅读

劳逆讲Neural Symbolic Machines的视频，以及他的其他工作

Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervisioili.com/video/a...

ide

转载 2022-08-08 09:01:58 28 阅读

向量对向量求导

上面这个的推导过程已知参考资料 https://en.

线性代数

参考资料

矩阵相乘

矩阵求导

原创 2022-07-19 19:51:04 326 阅读

Deep Learning (Yoshua Bengio, Ian Goodfellow, Aaron Courville) 翻译 Part 1

http://download.csdn.net/detail/stormsunshine/916451967页，3.10到正无穷，

翻译

最小化

特征值

输入输出

翻译 2022-07-19 19:49:29 139 阅读

Deep Learning (Yoshua Bengio, Ian Goodfellow, Aaron Courville) 翻译 Part 2 第6章

http://www.deeplearningbook.org/第6章 Deep Feedfor

翻译

神经网络

拟合

线性模型

翻译 2022-07-19 19:49:07 163 阅读

End-to-end LSTM-based dialog control optimized with supervised and reinforcement learning

摘要模型的主要部分是一个循环神经网络（一个LSTM），它把粗糙的对话历史直接映射到系统的行动分布，LSTM自动从对话历史推理，也就释放了开发者人工的编辑对话状态，然后开发者可以提供表示商业规则的软件和到一个合

paper

强化学习

监督学习

概率分布

翻译 2022-07-19 19:48:46 118 阅读

史上最好的BP算法图解

http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/ba这个推导我最喜欢：我是按这个自己实现的：

DL

javascript

html

原创 2022-07-19 19:48:39 66 阅读

IRGAN里REINFORCE算法的推导过程的理解方式

IRGAN里的上面这个推导用了policy gradient based reinforcem的参数

神经网络

sed

github

原创 2022-07-19 19:48:17 77 阅读

relative position embedding 相关论文和代码

https://github.com/tensorflow/tensor2tensor/blob/maO...

tensorflow

github

原创 2022-07-19 19:45:09 235 阅读

各种attention的论文里的总结

https://arxiv.org/pdf/1711.07341.pdf

java

原创 2022-07-19 19:45:03 115 阅读

The Evolved Transformer 学习笔记

摘要通过neural architecture search的方法提升普通tran本文搜索空间包括两个stackable cell，一个在...

搜索空间

tensorflow

机器翻译

原创 2022-07-19 19:44:57 144 阅读

adversarial loss的tensorflow实现

def adversarial_loss(embedded, loss, loss_fn):

tensorflow

github

原创 2022-07-19 19:44:37 68 阅读

tensorflow AttentionCellWrapper 实例和使用

cell = multilayer_dropout_cell( RNN_CELL_DICT[cell_type], hidden_size, n_layers, rnn_dropout) if bidirectional: cell_bw = multilayer_dropout_cell( RNN_CELL_DICT[cell_type], ...

github

原创 2022-07-19 19:44:25 163 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

踏雪至山巅

Practice Lessons for AI Applications

LOMO: LOw-Memory Optimization 阅读笔记

LoRA 核心代码

Prefix-Tuning 阅读笔记

GPT文本生成，训练数据中有同一个prompt对应两个response，会怎样（下）

文本生成，随着loss降低，生成多样性是在提升的

GPT文本生成，训练数据中有同一个prompt对应两个response，会怎样

ChatGPT的Reward模块的可能替代方案

从 Supervised Learning 到 Policy Gradients

GPT-4 / ChatGPT 解读3---没有前置的任务分类模型

GPT-4 / ChatGPT 解读2---训练数据示例

GPT-4 / ChatGPT 解读1---把公开数据集转成GPT的prompt型模版

decoder-only transformer可以实现pre-train和fine-tune的一致性

memory network 没有成为BERT的基石的原因

数据分布不均匀，或有重复数据，影响的只是每个数据的学习率

命名实体识别NER模型，用B-M-E标记比用0-1标记准确率高

各种attention的代码实现

讲Transformer不错的一篇文章

劳逆讲Neural Symbolic Machines的视频，以及他的其他工作

向量对向量求导

Deep Learning (Yoshua Bengio, Ian Goodfellow, Aaron Courville) 翻译 Part 1

Deep Learning (Yoshua Bengio, Ian Goodfellow, Aaron Courville) 翻译 Part 2 第6章

End-to-end LSTM-based dialog control optimized with supervised and reinforcement learning

史上最好的BP算法图解

IRGAN里REINFORCE算法的推导过程的理解方式

relative position embedding 相关论文和代码

各种attention的论文里的总结

The Evolved Transformer 学习笔记

adversarial loss的tensorflow实现

tensorflow AttentionCellWrapper 实例和使用