【原理篇】一文读懂Transformer前言一、Transformer是什么？1-1、 Transformer的结构：1-2、 自注意力机制1-3、使用位置编码表示序列的顺序1-4、Add&Normalize1-5、全连接层Feed Forward1-6、Decoder整体结构1-7、输出1-8、transformer的优缺点：二、Self-Attention的实现2-0、过程2-1、准
转载
2024-05-20 20:36:32
179阅读
注意力Attention这种操作具有**排列不变性**，输入元素位置的变动不会对注意力结果产生影响，从而模型无法感知位置信
原创
2024-10-30 15:07:44
198阅读
文章目录1. transformer的基本结构2. 模块详解2.1 模块1：Positional Embedding2.2 模块2：Multi-Head Attention2.2.1 Scaled Dot-Product Attention2.2.2 Multi-Head2.3 模块3：ADD2.4 模块4：Layer Normalization2.5 模块5：Feed Forward NetWo
转载
2024-05-21 16:09:36
119阅读
架构设计师与SOA（第一部分）
SOA(
Service-Oriented Architecture)，即面向服务的架构，这是最近一两年出现在各种技术期刊上最多的词汇了。现在有很多架构设计师和设计开发人员简单的把SOA和Web Services技术等同起来，认为SOA就是Web Service的一种实现。本质上来说，SOA体现的是一种新的系统架构，SOA的
bff项目一、bff1. Back-end For Front-end： 服务于前端的后端 可以调用不同的系统的一个或者多个接口进行数据的聚合、过滤，而只向外部暴露一个接口即可2.优点：前后端彻底分离业务更向前靠拢，琐碎的api由前端开发自己决定留给后端更清晰的服务边界，只需要提供粗粒度的接口即可3.缺点：响应时间延迟（服务如果是内网之间访问，延迟时间较低）编写起来较为浪费时间（因为在基础服务上添
BWBW是端对端的数据仓库解决方案，它采用了SAP公司企业解决方案中的众多技术，基于三层体系结构构建，编程语言是ABAP(Advanced Business ApplicationProgramming,高级企业应用程序)，它使用ALE（Application Link Enabling,应用程序链接）和BAPI（Business Applicat
MVP（Model View Presenter）目前在Android开发中越来越重要了，MVP能够有效地降低View复杂性，避免业务逻辑被塞进View中，使得View变成一个混乱的泥坑。MVP模式会解除View与Model的耦合，同时又带来了良好的可扩展性、可测试性，保证了系统的整洁性、灵活性。可能对于简单的应用来说MVP稍显麻烦，各种各样的接口与概念，使得整个应用充斥着零散的接口，
转载
2024-10-29 10:15:27
27阅读
目录一、认识 REST二、RESTful 的 注解三、RESTful 优点四、注解练习五、HTTP Client 工具六、RESTful 总结 一、认识 RESTREST (英文：Representational State Transfer，简称 REST，中文：表现层状态转换）。一种互联网软件架构设计的风格，但它并不是标准，它只是提出了一组客户端和服务器交互时的架构理念和设计原则，基于这种理
转载
2023-12-12 15:00:43
70阅读
Serverless时代已经到来！企业的技术架构，总是伴随着不断增长的数据与日趋复杂的业务持续演进。如何通过构建更易用的技术架构来聚焦在业务本身，而不必在底层基础设施的管理上投入过多的精力，是数据驱动型企业需要思考的重要议题。Serverless Data作为云原生数据服务的下一代技术架构与“新常态”，正在推动云计算的进一步发展，并且已经成为云原生数据库、大数据分析乃至人工智能等云计算服务的重要发
旋转位置编码RoPE（Rotary Position Embedding）是一种Transformer模型中的位置编码策略，它广泛应用于LLama，ChatGLM等大
原创
2024-10-30 00:17:14
670阅读
点赞
第二期：什么是神经网络？：神经网络简述：人工神经网络是受到人类大脑结构的启发而创造出来的，这也是它能拥有真智能的根本原因。在我们的大脑中，有数十亿个称为神经元的细胞，它们连接成了一个神经网络。人工神经元也有相似的工作原理。如下图所示。 上面的x是神经元的输入，相当于树突接收的多个外部刺激。w是每个输入对应的权重，它影响着每个输入x的刺激强度。大脑的结构越简单，那么智商就越低。单细胞生物是智商最低的
转载
2023-11-17 16:58:04
67阅读
DevOps通俗理解
在软件开发领域中，DevOps是一个热门的话题。但对于非技术背景的人来说，这个术语可能会让人感到困惑。究竟什么是DevOps？为什么它如此重要？让我们以通俗易懂的方式来解释一下。
DevOps是“开发”（Development）和“运维”（Operations）这两个词的缩写。它是软件开发和运维团队之间一种协作的文化、工具和实践方式。传统上，开发团队负责编写代码，而运维团
原创
2024-02-04 10:37:46
63阅读
MPLS通俗理解
MPLS，全称为Multi-Protocol Label Switching，是一种网络传输技术，常用于构建更加高效和可靠的网络服务。MPLS技术可以在网络层实现数据的转发，它通过标记（Label）数据包，将数据包传递到目的地，而无需在每个路由器上都进行路由表查找。这种标记和传输的方式，使得MPLS技术在提高网络传输效率和质量方面具有很大的优势。
MPLS技术的原理非常简单，
原创
2024-03-08 10:52:46
136阅读
旋转位置编码RoPE（Rotary Position Embedding）是一种Transformer模型中的位置编码策略，它广泛应用于LLama，ChatGLM等大模型，本篇先介
通俗理解信息熵前段时间德川和我讲解了决策树的相关知识，里面德川说了一下熵，今天整理了一下，记录下来希望对大家理解有帮助~1信息熵的公式先抛出信息熵公式如下：其中代表随机事件X为的概率，下面来逐步介绍信息熵的公式来源！2信息量信息量是对信息的度量，就跟时间的度量是秒一样，当我们考虑一个离散的随机变量x的时候，当我们观察到的这个变量的一个具体值的时候，我们接收到了多少信息呢？多少信息用信息量来衡量，我
原创
2020-11-23 14:40:45
236阅读
通俗理解条件熵前面我们总结了信息熵的概念通俗理解信息熵,这次我们来理解一下条件熵。1信息熵以及引出条件熵我们首先知道信息熵是考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。公式如下：我们的条件熵的定义是：定义为X给定条件下，Y的条件概率分布的熵对X的数学期望这个还是比较抽象，下面我们解释一下：设有随机变量（X,Y），其联合概率分布为条件熵H（Y|X）表示在已知随机变量X的条件
原创
2020-11-23 14:45:39
998阅读
# 如何实现Java IO通俗理解
## 一、整体流程
首先让我们来看一下实现Java IO的整体流程：
| 步骤 | 描述 |
| --------------- | ---------------------------------------------
原创
2024-07-09 04:32:47
19阅读
先看下关系型数据库中的一些基本概念：实体：现实世界中客观存在并可以被区别的事物。比如“一个学生”、“一本书”、“一门课”等等。值得强调的是这里所说的“事物”不仅仅是看得见摸得着的“东西”，它也可以是虚拟的，不如说“老师与学校的关系”。 属性：教科书上解释为：“实体所具有的某一特性”，由此可见，属性一开始是个逻辑概念，比如说，“性别”是“人”的一个属性。在关系数据库中，属性又是个物理概念，属性可以
原创
2014-04-02 15:51:11
1788阅读
文章目录1.人工神经网络1.1 神经元1.2 激活函数1.3 神经网络2.卷积神经网络之层级结构3. CNN之卷积计算层3.1 CNN怎么进行识别3.2 什么是卷积3.3 图像上的卷积3.4 GIF动态卷积图4.CNN之激励层与池化层4.1 ReLU激励层4.2 池化pool层1.人工神经网络
转载
2021-06-18 15:42:00
470阅读
通俗理解KMP算法前言如果要比较字符串是否相等或包含，通常的情况下一般是一个个迭代的去比较，比如要比较的字符串长度为20，那么就要比较20次，这样的效率是非常低的。作用上面的字符串比较效率太低，我们是否能够获得已知的情况，来减少对字符串判断的次数呢？比如说子字符串(要比较的字符串)和父字符串(被比较的字符串)来比较是否相等，首先子字符串匹配了前面的3个字符都相等，那我们是否...
原创
2021-07-14 16:55:38
441阅读
