本篇文章讲解了机器学习中较为简单的线性回归算法，虽然很多细节没有涉及到，例如噪声的处理和正则化问题、方差和偏差问题、多元特征回归…… 但是本篇文章的核心目的还是想让大家能够利用numpy实现线性回归模型，从最后的代码中可以看出，利用numpy我们就是在把前面的各种数学语言一个一个实现，求误差、求偏导、求梯度，这还只是最简单的回归问题，如果更复杂呢？我们也这样，怕是能让你秃头。 也因此，我们不得不引出我们接下来要讲的框架，他有什么好处，他的好处就是把我们上面的是三个函数封装好了，你需要做的仅仅只是调个函数，传个参数即可。
博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看配套 github 链接：https://github.com/nickchen121/Pre-training-language-modelRNN无法做长序列，当一段话达到 50 个字，效果很差了LSTMLSTM 通过各种门
博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看配套 github 链接：https://github.com/nickchen121/Pre-training-language-modelAttention（注意力机制）你会注意什么？大数据（什么数据都有，重要的，不重要的
博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看配套 github 链接：https://github.com/nickchen121/shui-water--paperTransformer 和 BERT：https://www.bilibili.com/video/
博客配
博客配套视
套 github 链接
#!/usr/bin/env python # -*- coding:utf-8 -*-
博客
博客配套
上节课回顾《Attention is all you need》AttentionSelf-Attention（Self--》自--》QKV 同源）句法结构，语义结构自注意力机制明确的知道这句话有多少个单词，并且一次性给足，而掩码是分批次给，最后一次才给足Masked（掩码） Self-Attention--》在自注意力模型上面做了改进为什么要做这个改进：生成模型，生成单词，一个一个生成的当我们做
博
通过 pytorch 去构建一个 transformer 的框架 不是导包，不是调包侠 注意力机制是
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号
