TechOnly的博客_深度学习原创博文

Practice Lessons for AI Applications

Rule-based data cleaning is very important in rule-match and fuzzy-match algorithm.Everything is classification, so classification solves all. Also, e

人工智能

sed

API

原创 1月前 46 阅读

LOMO: LOw-Memory Optimization 阅读笔记

文章贡献：减少对GPU内存的占用，从而能让GPU容纳更大的模型参数。

深度学习

人工智能

原创 2023-07-01 00:12:15 67 阅读

LoRA 核心代码

有效？和输入向量和输出向量和原来。，进行微调的是两个小矩阵，把原来。到一起的，所以预训练的信息也都在。核心思想是用两个MLP矩阵。

深度学习

人工智能

数据集

github

原创 2023-06-24 09:44:58 225 阅读

Prefix-Tuning 阅读笔记

微调的时候，把预训练好的大transformer固定住不训练，在大transformer前面拼接几个token的参数，

深度学习

数据集

拟合

原创 2023-06-24 09:13:07 307 阅读

GPT文本生成，训练数据中有同一个prompt对应两个response，会怎样（下）

所以，造成上面类似分类问题里的（存在一个输入对应两个类的）歧义问题，这种情况，就是看两种response的重复次数了，重复次数就等于learning-rate。

gpt

深度学习

人工智能

数据

原创 2023-05-13 09:25:49 93 阅读

文本生成，随着loss降低，生成多样性是在提升的

训练后期，loss不再降低，说明生成的结果多样性已经接近训练数据的多样性。在训练数据本身多样性足够的情况下，训练中期，生成的结果多样性提升，训练初期，生成的结果都雷同，

人工智能

数据

原创 2023-05-13 00:41:32 74 阅读

GPT文本生成，训练数据中有同一个prompt对应两个response，会怎样

所以对prompt-response-pair去重，不会造成分类问题里的（存在一个输入对应两个类的）歧义问题。

深度学习

gpt

chatgpt

数据

原创 2023-04-29 06:07:09 62 阅读

ChatGPT的Reward模块的可能替代方案

因为本质我们需要的是优质的text-generation格式的数据而已。

chatgpt

深度学习

nlp

数据

原创 2023-04-08 09:18:12 119 阅读

从 Supervised Learning 到 Policy Gradients

http://karpathy.github.io/2016/05/31/rl/ 的翻译。

深度学习

人工智能

机器学习

深度网络

强化学习

原创 2023-03-25 12:07:08 128 阅读

GPT-4 / ChatGPT 解读3---没有前置的任务分类模型

意图分类‘内置’在prompt里了。

chatgpt

深度学习

伪代码

数据格式

数据

原创 2023-03-20 10:17:12 343 阅读

GPT-4 / ChatGPT 解读2---训练数据示例

68页的InstructGPT paper：60页的GPT-4 technical report：

chatgpt

深度学习

人工智能

数据

原创 2023-03-19 08:13:25 1059 阅读

GPT-4 / ChatGPT 解读1---把公开数据集转成GPT的prompt型模版

68页的InstructGPT paper：60页的GPT-4 technical report：https://cdn.openai.com/papers/gpt-4.pdf举例：举例：举例：举例：

人工智能

深度学习

数据集

模版

原创 2023-03-19 08:13:10 563 阅读

decoder-only transformer可以实现pre-train和fine-tune的一致性

LLM(large language model)

transformer

深度学习

人工智能

数据格式

伪代码

原创 2023-03-11 07:11:19 167 阅读

memory network 没有成为BERT的基石的原因

transformer在预训练时，靠attention matrix能学到预训练数据里两两token之间的关系，也就是所说的上下文关系，然

bert

人工智能

自然语言处理

数据集

数据

原创 2023-01-28 06:24:57 87 阅读

数据分布不均匀，或有重复数据，影响的只是每个数据的学习率

进一步就是相当于这些重复的数据的学习率大了

深度学习

数据

数据分布

重复数据

原创 2023-01-07 00:21:04 81 阅读

命名实体识别NER模型，用B-M-E标记比用0-1标记准确率高

NER

自然语言处理

深度学习

原创 2022-09-18 00:44:59 59 阅读

各种attention的代码实现

base attentiondot attention mlp attention multihead attention no attention pooling attentionhttps

github

原创 2022-08-08 09:03:55 468 阅读

向量对向量求导

上面这个的推导过程已知参考资料 https://en.

线性代数

参考资料

矩阵相乘

矩阵求导

原创 2022-07-19 19:51:04 317 阅读

史上最好的BP算法图解

http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/ba这个推导我最喜欢：我是按这个自己实现的：

DL

javascript

html

原创 2022-07-19 19:48:39 68 阅读

IRGAN里REINFORCE算法的推导过程的理解方式

IRGAN里的上面这个推导用了policy gradient based reinforcem的参数

神经网络

sed

github

原创 2022-07-19 19:48:17 77 阅读

relative position embedding 相关论文和代码

https://github.com/tensorflow/tensor2tensor/blob/maO...

tensorflow

github

原创 2022-07-19 19:45:09 235 阅读

各种attention的论文里的总结

https://arxiv.org/pdf/1711.07341.pdf

java

原创 2022-07-19 19:45:03 115 阅读

The Evolved Transformer 学习笔记

摘要通过neural architecture search的方法提升普通tran本文搜索空间包括两个stackable cell，一个在...

搜索空间

tensorflow

机器翻译

原创 2022-07-19 19:44:57 144 阅读

adversarial loss的tensorflow实现

def adversarial_loss(embedded, loss, loss_fn):

tensorflow

github

原创 2022-07-19 19:44:37 68 阅读

tensorflow AttentionCellWrapper 实例和使用

cell = multilayer_dropout_cell( RNN_CELL_DICT[cell_type], hidden_size, n_layers, rnn_dropout) if bidirectional: cell_bw = multilayer_dropout_cell( RNN_CELL_DICT[cell_type], ...

github

原创 2022-07-19 19:44:25 163 阅读

virtual adversarial loss的tensorflow实现

def virtual_adversarial_loss(logits, embedded, i

git

tensorflow

scala

原创 2022-07-19 19:44:19 54 阅读

REINFORCE算法代码实现

https://github.com/yrlu/reinforcement_learning/tree/master/policy_gradient

github

原创 2022-07-19 19:44:12 202 阅读

glyce 源码走读

核心在https://github.com/ShannonAI/glyce/blob/master

github

原创 2022-07-19 19:44:04 111 阅读

Manifold Mixup 摘要速览

https://arxiv.org/pdf/1806.05236.pdfhttps://github.com/vikasv我们提出Manifold Mixup，即一种简单的正则化方法，Manifold Mixu...

神经网络

测试数据

数据

原创 2022-07-19 19:42:25 127 阅读

Online Meta-Learning 摘要速览

https://arxiv.org/pdf/1902.08438.pdf智能系统想要解决：

sed

智能系统

泛化

原创 2022-07-19 19:42:18 204 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

踏雪至山巅

Practice Lessons for AI Applications

LOMO: LOw-Memory Optimization 阅读笔记

LoRA 核心代码

Prefix-Tuning 阅读笔记

GPT文本生成，训练数据中有同一个prompt对应两个response，会怎样（下）

文本生成，随着loss降低，生成多样性是在提升的

GPT文本生成，训练数据中有同一个prompt对应两个response，会怎样

ChatGPT的Reward模块的可能替代方案

从 Supervised Learning 到 Policy Gradients

GPT-4 / ChatGPT 解读3---没有前置的任务分类模型

GPT-4 / ChatGPT 解读2---训练数据示例

GPT-4 / ChatGPT 解读1---把公开数据集转成GPT的prompt型模版

decoder-only transformer可以实现pre-train和fine-tune的一致性

memory network 没有成为BERT的基石的原因

数据分布不均匀，或有重复数据，影响的只是每个数据的学习率

命名实体识别NER模型，用B-M-E标记比用0-1标记准确率高

各种attention的代码实现

向量对向量求导

史上最好的BP算法图解

IRGAN里REINFORCE算法的推导过程的理解方式

relative position embedding 相关论文和代码

各种attention的论文里的总结

The Evolved Transformer 学习笔记

adversarial loss的tensorflow实现

tensorflow AttentionCellWrapper 实例和使用

virtual adversarial loss的tensorflow实现

REINFORCE算法代码实现

glyce 源码走读

Manifold Mixup 摘要速览

Online Meta-Learning 摘要速览