It is important to write code, but to get a better salary, are more
dependent on others know your talents. In other words, you need to sell
yourself. Here's how to selling the secret of success.Deve
翻译
精选
2015-08-02 21:20:29
598阅读
After half a year of linux, I have some post-it memo's sticked to my monitor with some commands that are really usefull, but that I keep forgetting (I forget a lot, that is why I write it down. Unlike people that think they are really cool because they can remember everything, I tend to think that all the great new impressions I get just need so much room, they push out others).
转载
精选
2008-01-24 11:43:00
1405阅读
点赞
Attention的产生起因：《Sequence to Sequence Learning with Neural Networks》Attention模型的引入原因：seq2seq将输入序列都压缩成一个固定大小的隐变量，就像我们的压缩文件一样，这个过程是有损压缩的，会迫使丢失许多输入序列中的信息。存在着难以对齐的问题。比如中译音“我爱你”“I love you”,输入序列中的“我”应该与“I”对
原创
2021-02-05 19:16:56
273阅读
https://www.jianshu.com/p/25fc600de9fb 谷歌最近的一篇BERT取得了卓越的效果，为了研究BERT的论文，我先找出了《Attention is All You Need》，看看里面的Transformer模型作为基础。 Transformer是为了机器翻译任务中的
转载
2019-02-27 19:38:00
377阅读
2评论
attention机制将整个句子作为输入，从中抽取有用的信息。 每个输出都跟整个句子优化，输出的值为输入的句子的词向量的一个加权求和值。 “This is what attention does, it extracts information from the whole sequence, a ...
转载
2021-08-16 18:31:00
204阅读
2评论
tention的产生起因：《Sequence to Sequence Learning with Neural ...
转载
2022-11-14 16:36:15
93阅读
1 J2me开发网 ://.j2medev.com/bbs/index.asp2 J2me社区 ://.j2meforums.com/forum/3 ://..net/4 Vc知识库 ://.vckbase.com
原创
2022-03-18 14:10:58
230阅读
Transformer
最近看了Attention Is All You Need这篇经典论文。论文里有很多地方描述都很模糊，后来是看了参考文献里其他人的源码分析文章才算是打通整个流程。记录一下。
Transformer整体结构
数据流梳理
符号含义速查
N: batch sizeT: 一个句子的长度E: embedding sizeC: attention_size（num_units）h:
转载
2018-12-20 10:26:00
608阅读
提示要获取root权限解决方式1：切换为root用户(su root->输入密码)解决方式2：sudo 执行命令
原创
2023-03-21 20:37:25
125阅读
『人生苦短，我用 Python』，作为一个 Pythoner，这句话再熟悉不过了。 一起用心来感受下吧！只看图，不说话。
原创
2022-09-12 06:55:23
377阅读
GPT is all you need for the backend
原创
2023-07-23 00:43:35
41阅读
人事苦短，我用python。 这句话应该大部分都听过吧，意思就是体现了Python的简洁、明了。 没代码说个xx： 多线程： >>> for thread in [ready, aim, fire]: >>> ... thread.start() Fibonacci序列： fib = lambda
转载
2017-08-07 15:39:00
190阅读
2评论
梯度下降法可以分为：批量梯度下降、随机梯度下降以及小批量梯度下降三种形式。目前，在训练深层神经网络时，训练数据的规模比较大。如果在梯度下降时，每次迭代都要计算整个训练数据上的梯度需要比较多的计算资源。此外，大规模训练集中的数据通常也会非常冗余，也没有必要在整个训练集上计算梯度。因此，在训练深层神经网络时，经常使用小批量梯度下降算法。令f(x,y)f(\boldsymbol{x},y)f(x,y)表示一个深层神经网络，θ\thetaθ为网络模型，在使用小批量梯度下降进行优化时，每次选取KKK 个训练样本
原创
2021-06-22 11:13:12
436阅读
你好，我是让算法变得更简单的Giant。最近我的个人B站刚升到LV6，发现首页推荐的画风变了，居然为我推荐了李沐大佬的AI课程。Oh My God! 难道这就是B站隐藏的针对LV6大佬的特...
转载
2022-11-28 18:00:57
272阅读
如果你理解 POSTGRESQL 的原理，尤其是在MVCC 上关于事务，在Update 或者 Delete
转载
2022-06-10 09:32:08
60阅读
no-need-jquery & You don't need jQuery anymore!
转载
2018-06-21 19:35:00
77阅读
前言基础语法，后附福利。【1】先来个小程序镇镇场面提问：用递归法求正整数N的阶乘回答：（SHOW TIME ）C语言版C++版Python版是不是感觉各有千秋呀？学过C或者C++的小伙伴们一起来对比看看Python的独特之处在哪里吧？没有学过的小伙伴也能看懂哦（偷偷告诉你们，这三种语言我都是小白哈哈）。【2】Python的“头文件”写一个程序第一步写什么？想想C或者其他编程语言，没错就是头文件。头
原创
2018-02-03 13:59:14
933阅读
前言【一】Python 日期和时间转换日期格式是Python一个常见的功能，它提供了一个time和calender模块用于格式化日期和时间，时间间隔是以秒为单位的浮点小数。1、时间戳每个时间戳都以自从1970年1月1日午夜（历元）经过了多长时间来表示。Python 的 time 模块下有很多函数可以转换常见日期格式。如函数time.time()用于获取当前时间戳, 其单位最适于做日期运算
原创
2018-02-03 14:08:46
1850阅读
https://.zhihu.com/question/337886108/answer/770243956 https://yiyibooks.cn/yiyibooks/Attention_Is_All_You_Need/index.html Abstract 模型在质量上更优越，并行性更好
转载
2020-10-16 10:45:00
275阅读
2评论
