本文介绍了 5 大常用机器学习模型类型：集合学习算法，解释型算法，聚类算法，降维算法，相似性算法，并简要介绍了每种类型中最广泛使用的算法模型。我们希望本文可以做到以下三点：1、应用性。 涉及到应用问题时，知识的普适性显然非常重要。所以我们希望通过给出模型的一般类别，让你更好地了解这些模型应当如何应用。2、相关性。 本文并不包括所有的机器学习模型，比如Naïve Bayes（朴素贝叶斯）和SVM这种
最近看完《这就是chatgpt》对于大语言模型的三种架构演进图印象颇深，今日就专题盘点一下三种大模型架构理论，同时做一个简单对比。
原创
2024-03-18 16:43:23
1406阅读
泛化能力更强（1）Next Token Prediction的预训练目标任务难度更高：Decoder-only模型通过自回归（AR）逐词预测下一个token，每个位置仅能依赖历史信息（无法“偷看”未来），迫使模型学习更强的上下文建模能力。Zero-shot/Few-shot表现更好：论文通过实验证明，在相同参数量和数据规模下，Decoder-only架构在零样本（zero-shot）任务上的泛化性能显著优于Encoder-Decoder（如T5）或纯Encoder架构（如BERT）。
一、结构1.编码器Transformer模型---encoder - nxf_rabbit752.解码器（1）第一个子层也是一个多头自注意力multi-head self-attention层，但是，在计算位置i的self-attention时屏蔽掉了位置i之后的序列值，这意味着：位置i的attention只能依赖于它之前的结果，不能依赖它之后的结果。因此，这种self-attention也被称作
转载
2019-11-27 20:25:00
220阅读
0. 引言 有监督学习是日常使用最多的建模范式，它有许多更具体的名字，比如预测模型、回归模型、分类模型或者分类器。这些名字或来源统计，或来源于机器学习。关于统计学习与机器学习的区别已经有不少讨论，不少人认为机器学习侧重于目标预测，而统计学习侧重于机制理解和建模。个人更加直观的理解是，统计学习侧重于从概率分布来描述数据生成机制，除了预测之外，还关心结果（参数假设、误差分布假设）的检验，而机器学习侧
论文提出了一种用于大型语言建模的解码器-解码器体系结构(YOCO)。与Transformers相比，YOCO具有更好的推理效率和竞
原创
2024-06-10 22:18:50
71阅读
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模书籍手册、视频教程、实战学习、面试题等，资料免费分享！
原创
2024-09-18 15:43:06
1609阅读
一个 Decoder Block 核心由两个核心子层构成：自注意力层 (Self-Attention) 和 前馈神经网络
Transformer 的三大变体：Decoder-Only 专注生成文本，Encoder-Only 擅于分析文本，Encoder-Decoder 融合编解码实现文本生成和文本分析。
encoder decoder 模型是比较难理解的，理解这个模型需要清楚lstm 的整个源码细节，坦率的说这个模型我看了近十天，不敢说完全明白。我把细胞的有丝分裂的图片
原创
2023-01-20 10:13:56
1000阅读
Transformer编码器的作用是特征提取，而解码器的作用是特征重建像很多人一样，一直在奇怪Transformer架构经过多层编码和解码之
# 如何实现 Encoder-Decoder 架构
在深度学习中，Encoder-Decoder 架构是一种常用的模型，尤其是在自然语言处理（NLP）和计算机视觉等领域。这种架构通常用于序列到序列的任务，如机器翻译、文本摘要等。本文将指导你实现一个基本的 Encoder-Decoder 模型，分步骤进行，确保你能清晰理解每一步。
## 流程概述
在实现 Encoder-Decoder 架构之
Seq2Seq（Sequence-to-Sequence，
原创
2023-06-21 19:58:59
1760阅读
MVC 架构引用自 WiKi: MVC模式（Model–view–controller）是软件工程中的一种软件架构模式，把软件系统分为三个基本部分：模型（Model）、视图（View）和控制器（Controller）。结构示意图通过下图可以看到，视图（View）层: 一般指可视化界面模型（Model）层: 指业务逻辑控制器（Controller）层: 用来调度View层和Model层,起到桥接的作
转载
2024-07-04 20:23:00
113阅读
title: 【CUDA 基础】4.1 内存模型概述
categories:
- CUDA
- Freshman
tags:
- CUDA内存模型
- CUDA内存层次结构
- 寄存器
- 共享内存
- 本地内存
- 常量内存
- 纹理内存
- 全局内存
toc: true
date: 2018-04-28 22:28:08Abstract: 本文介绍CUDA编程的内存模型个概述，主要讲解CUDA
在大模型发展历程中，有两个比较重要点：第一，Transformer 架构。它是模型的底座，但 Transformer 不等于大模型，但大模型的架构可以基于 Transformer；第二，GPT。严格意义上讲，GPT 可能不算是一个模型，更像是一种预训练范式，它本身模型架构是基于 Transformer，但 GPT 引入了“预测下一个词”的任务，即不断通过前文内容预测下一个词。之后，在大量的数据上进
转载
2024-01-22 12:50:05
121阅读
DAC简介 DAC为数字/模拟转换模块，故名思议，它的作用就是把输入的数字编码，转换成对应的模拟电压输出，它的功能与ADC相反。 在常见的数字信号系统中，大部分传感器信号被化成电压信号，而ADC把电压模拟信号转换成易于计算机存储、处理的数字编码， 由计算机处理完成后，再由DAC输出电压模拟信号，该电压模拟信号常常用来驱动某些执行器件，使人类易于感知。如音频信号的采集及还原就是这样一个过程。STM3
用于任意形状文本检测1.Fourier Contour Embedding for Arbitrary-Shaped Text Detection任意形状的文本检测所面临的主要挑战之一是设计一个好的文本实例表示法，好使网络可以学习不同的文本几何差。现有的大多数方法在图像空间域中通过掩码或直角坐标系中的轮廓点序列来模拟文本实例。问题：掩码表示法可能会导致昂贵的后处理，而点序列表示法对具有高度弯曲形状
# 大模型工程架构的探索
随着人工智能技术的飞速发展，大型预训练模型（如GPT、BERT等）在自然语言处理等多个领域展现出了巨大的潜力。要有效利用这些模型，合理的工程架构至关重要。本文将简要介绍大模型工程架构的基本组成部分，并通过代码示例强调其实现方式。
## 1. 工程架构的组成
大模型工程架构通常包括几个关键模块：
- **数据处理模块**：用于清洗和准备训练数据。
- **模型训练模
原创
2024-10-20 04:06:01
66阅读
