蜗牛_的博客_每日一摸,考研,杂类

万字逐行解析与实现Transformer，并进行德译英实战（一）

1. Transformer各模块的逐行代码实现2. Transformer逐行代码的详细注释3. Transformer的训练和推理4. 利用Transformer进行德译中实战

transformer

python

深度学习

类对象

执行过程

原创 2022-11-15 12:45:53 648 阅读

万字逐行解析与实现Transformer，并进行德译英实战（二）

Transformer各模块的逐行代码实现Transformer逐行代码的详细注释Transformer的训练和推理利用Transformer进行德译中实战

transformer

深度学习

人工智能

正则化

打印日志

原创 2022-11-15 12:44:56 827 阅读

详解Git合并(Merge)错误如何回退。（包括Reset, Revert和页面回滚三种，并说明其优缺点）

git

github

回滚

解决方案

原创 2022-11-14 06:12:36 7145 阅读

Pytorch加载模型后optimizer.step()报RuntimeError: output with shape...错误

存储模型参数后，重新加载接着训练，结果optimizer.step()报错。

pytorch

深度学习

python

加载

初始化

原创 2022-10-30 06:55:27 681 阅读

BERT源码实现与解读(Pytorch)

使用nn.Transformer构建BERT模型，并使用样例样本使用MLM任务和NSP任务训练BERT

bert

pytorch

深度学习

数据集

词向量

原创 2022-10-21 13:56:18 1359 阅读 2点赞

【论文阅读】Read, Listen, and See: Leveraging Multimodal Information Helps Chinese Spell Checking

多模态中文拼写检查

深度学习

自然语言处理

人工智能

编码器

sed

原创 2022-10-19 22:11:51 289 阅读

【论文复现】MDCSpell: A Multi-task Detector-Corrector Framework for Chinese Spelling Correction论文复现

本文为MDCSpell: A Multi-task Detector-Corrector Frame

词向量

环境配置

多任务

原创 2022-10-03 14:32:43 394 阅读

中文文本纠错（CSC）任务Benchmark数据集SIGHAN介绍与预处理

SIGNHAN是台湾学者（所以里面都是繁体字）公开的用于中文文本纠错4(测试集)106250.0771。

深度学习

NLP

数据集

预处理

数据

原创 2022-10-03 14:32:10 1413 阅读

【论文笔记】MDCSpell: A Multi-task Detector-Corrector Framework for Chinese Spelling Correction

作者基于Transformer和BERT设计了一个多任务的网络来进行CSC（Chinese Spell Checking）任务（中文拼写纠错）。多任务分别是找出哪个字是错的和对错字进行纠正。

论文阅读

深度学习

人工智能

词向量

初始化

原创 2022-09-24 01:14:27 174 阅读

Python利用LCU接口实现LOL(英雄联盟)一键载入自定义天赋(符文)

本文会介绍如何编写一个LOL一键载入自定义天赋。

python

json

github

python实现

原创 2022-09-24 01:14:17 2753 阅读

挑战52天背完小猪佩奇(第02天)

英语学习

ide

语法基础

常用词

原创 2022-09-23 19:22:58 273 阅读

Hugging Face快速入门（重点讲解模型(Transformers)和数据集部分(Datasets)）

1. Hugging Face是什么，提供了哪些内容2. Hugging Face模型的使用（Transformer类库）3. Hugging Face数据集的使用（Datasets类库）

深度学习

人工智能

机器学习

数据集

sed

原创 2022-09-23 19:22:35 6730 阅读

【论文阅读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT全称BEncoderRTransformers，其是一个基于Transformer模型、使用无监督方式训练的预训练模型。只要简单的在BERT下游接个输出

论文阅读

bert

深度学习

全连接

数据

原创 2022-09-17 01:20:23 328 阅读

万字逐行解析与实现Transformer，并进行德译英实战（三）

文章目录Part 3: 实战：德译英数据加载Iterators训练模型测试结果你也可以在该项目找到本文的源码。Part 3: 实战：德译英现在我们来进行一个案例实战，我们使用Multi30k German-English 翻译任务。虽然这个任务远小于论文中的WMT任务，但也足以阐明整个系统。数据加载我们将使用torchtext进行数据加载，并使用s

transformer

人工智能

深度学习

加载

sed

原创 2022-09-16 18:35:45 762 阅读

Pytorch入门实战（7）：基于BERT实现文本隐喻二分类（Kaggle入门题目）

Bert入门实战，文本二分类问题

pytorch

bert

分类

加载

数据

原创 2022-09-12 10:05:46 1090 阅读 1点赞

【强化学习】 OpenAI Gym入门：基础组件（Getting Started With OpenAI Gym: The Basic Building Blocks）

强化学习

深度学习

OpenAI

重置

初始化

原创 2022-09-12 10:05:09 1221 阅读

【论文阅读】Spelling Error Correction with Soft-Masked BERT

使用Soft-Masked BERT完成中文拼写纠错(Chinses Spell Checking, CSC)任务，并且该方法

bert

自然语言处理

深度学习

损失函数

数据集

原创 2022-09-11 00:05:45 582 阅读

【论文阅读】Contextual Similarity is More Valuable ...: Curriculum Learning for Chinese Spell Checking

使用课程学习(curriculum learning)完成中文拼写纠错(Chinese Spell Checking)任务

机器学习

深度学习

人工智能

html

相似度

原创 2022-09-10 00:56:04 202 阅读

挑战52天背完小猪佩奇(第03天)

英语生活口语

英语学习

ide

语法基础

播放音乐

原创 2022-08-29 22:46:03 535 阅读

Pytorch入门实战（8）：小样本学习实现图片分类（Few-shot Learning, Meta Learning）

本文会使用Omniglot数据集训练一个孪生网络（相似网络），其可以用来判断两

pytorch

深度学习

数据

2d

数据集

原创 2022-08-29 22:45:47 505 阅读

如何批量下载hugging face模型和数据集文件

git

github

数据集

批量下载

原创 2022-08-13 01:24:06 10000+阅读

挑战52天背完小猪佩奇(第01天)

英语生活用语学习

英语学习

ide

语法基础

原创 2022-08-07 00:14:30 577 阅读

Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解

1. Transformer的训练过程讲解2. Transformer的推理过程讲解3. Transformer的入参和出参讲解4. nn.Transfor使用nn.Transformer训练一个copy任务。

transformer

pytorch

深度学习

默认值

推理过程

原创 2022-08-01 08:47:03 10000+阅读 1点赞 3收藏 2评论

MultiHead-Attention和Masked-Attention的机制和原理

二. MultiHead Attention三. Masked Attention3.1 为什么要使用Mask掩码3.2 如何进行mask掩码3.3 为什么是负无穷而不是0

深度学习

人工智能

机器学习

词向量

线性变换

原创 2022-07-25 08:53:05 2164 阅读

动态新增、修改Logback的Appender（可实现动态调整日志级别，Appender参数）

log4j

java

sed

spring

类对象

原创 2022-07-25 08:52:29 1793 阅读

Tips and tricks for Neural Networks 深度学习训练神经网络的技巧总结（不定期更新）

Tips and tricks for Neural Networks 深度学习训练神经网络的技巧总结

神经网络

深度学习

人工智能

数据

卷积

原创 2022-07-24 00:15:05 280 阅读

pytorch 自定义损失函数、优化器（Optimizer）和学习率策略

梯度下降回顾Pytorch 实现梯度下降与参数更新自定义损失函数自定义优化器自定义学习率策略使用 `LambdaLR` 实现简单的学习率策略通过继承 `_LRScheduler` 实现自定义的学习率策略通过手动更新Optimizer中的学习率来自定义学习策略...

pytorch

学习

机器学习

自定义

初始化

原创 2022-07-21 23:05:22 2973 阅读 1点赞

文本预处理库spaCy的基本使用（快速入门）

spaCy（官方网站，github链接）是一个NLP领域的文本预处

自然语言处理

python

机器学习

加载

词性标注

原创 2022-07-21 23:05:03 846 阅读

DJL快速入门（纯Java跑深度学习模型）

DJL快速入门（纯Java跑深度学习模型）1. DJL核心内容讲解2. DJL加载Pytorch模型3. DJL的Tensor操作4. DJL简单案例（DJL使用Pytorch模型完成图片分类）5. OpenPose项目实战

深度学习

java

pytorch

python

ide

原创 2022-07-21 23:04:40 1480 阅读 1点赞

李宏毅2021春季spring作业数据集汇总（百度网盘链接）

视频地址: https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.php作业Github: https://github.com/ga642381/ML2021-Spring数据集汇总：

深度学习

spring

github

数据集

原创 2022-07-17 00:05:07 55 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

11456419

万字逐行解析与实现Transformer，并进行德译英实战（一）

万字逐行解析与实现Transformer，并进行德译英实战（二）

详解Git合并(Merge)错误如何回退。（包括Reset, Revert和页面回滚三种，并说明其优缺点）

Pytorch加载模型后optimizer.step()报RuntimeError: output with shape...错误

BERT源码实现与解读(Pytorch)

【论文阅读】Read, Listen, and See: Leveraging Multimodal Information Helps Chinese Spell Checking

【论文复现】MDCSpell: A Multi-task Detector-Corrector Framework for Chinese Spelling Correction论文复现

中文文本纠错（CSC）任务Benchmark数据集SIGHAN介绍与预处理

【论文笔记】MDCSpell: A Multi-task Detector-Corrector Framework for Chinese Spelling Correction

Python利用LCU接口实现LOL(英雄联盟)一键载入自定义天赋(符文)

挑战52天背完小猪佩奇(第02天)

Hugging Face快速入门（重点讲解模型(Transformers)和数据集部分(Datasets)）

【论文阅读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

万字逐行解析与实现Transformer，并进行德译英实战（三）

Pytorch入门实战（7）：基于BERT实现文本隐喻二分类（Kaggle入门题目）

【强化学习】 OpenAI Gym入门：基础组件（Getting Started With OpenAI Gym: The Basic Building Blocks）

【论文阅读】Spelling Error Correction with Soft-Masked BERT

【论文阅读】Contextual Similarity is More Valuable ...: Curriculum Learning for Chinese Spell Checking

挑战52天背完小猪佩奇(第03天)

Pytorch入门实战（8）：小样本学习实现图片分类（Few-shot Learning, Meta Learning）

如何批量下载hugging face模型和数据集文件

挑战52天背完小猪佩奇(第01天)

Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解

MultiHead-Attention和Masked-Attention的机制和原理

动态新增、修改Logback的Appender（可实现动态调整日志级别，Appender参数）

Tips and tricks for Neural Networks 深度学习训练神经网络的技巧总结（不定期更新）

pytorch 自定义损失函数、优化器（Optimizer）和学习率策略

文本预处理库spaCy的基本使用（快速入门）

DJL快速入门（纯Java跑深度学习模型）

李宏毅2021春季spring作业数据集汇总（百度网盘链接）