云端FFF的博客_论文理解

论文理解【LLM-CV】—— 【MAE】Masked Autoencoders Are Scalable Vision Learners

本文介绍何凯明的经典之作MAE，它将BERT类模型的MLM自监督训练方法用到了ViT类CV模型上，通过设置大比例mask r

MAE

CV

自监督

计算机视觉

数据集

原创 9天前 56 阅读

论文理解【LLM-agent】—— 【Reflexion】Language Agents with Verbal Reinforcement Learning

本文介绍 LLM agent 领域的经典方法 Reflexion，它通过引入 episodic memory 为 agent 提供长期记忆，在不微调模型的参数的同时实现了基于上下文的试错学习，性能提升显著

Reflexion

反思

反射

LLM

agent

原创 1月前 53 阅读

论文速览【LLM】 —— 【ORLM】Training Large Language Models for Optimization Modeling

LLM 有能力将自然语言描述的工业场景问题建模为数学运筹优化问题，然后通过写代码调用经典求解器的方式加以解决。本文提出或微调这种领域模型

数学建模

LLM

运筹优化

大语言模型

数据

原创 1月前 62 阅读

论文理解【LLM-CV】An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

本文介绍经典的 ViT 论文，它是第一个将 Transformer 模型有效应用到较大规模 CV 任务上的工作，并且保持了 Transformer 模型本身的 Sc

ViT

VIT

Transformer

CV

目标识别

原创 1月前 58 阅读

论文速览【LLM-agent】—— 【ReAct】Synergizing Reasoning and Acting in Language Models

本文介绍LLM-agent领域的经典方法ReAct，它将LLM的自然语言推理能力和动作生成能力结合，使其同时适用于各类NLP和控制任务，并起到1+1>2的效果

LLM

Agent

ReAct

大语言模型

智能体

原创 1月前 80 阅读

论文理解【CV-目标检测】——【YOLO-V1】You Only Look Once: Unified, Real-Time Object Detection

首先简介了CV领域的主流任务，然后对最重要的目标检测算法之一YOLO-V1进行了详细介绍

目标检测

YOLO

YOLOV1

目标识别

二分类

原创 2月前 137 阅读

论文理解【LLM】—— TinyStories: How Small Can Language Models Be and Still Speak Coherent English?

本文在儿童故事这个非常垂直的领域数据上训练小规模语言模型（SLM），发现其具有和 LLM 相似的性能，相关分析对于理解 LMs 的能力很有参考意义

LLM

SLM

TinyStory

语言模型

小语言模型

原创 3月前 57 阅读

论文理解【LLM】—— What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot...

本文通过对模型架构、预训练目标、是否多任务微调等进行大规模排列组合实验，找到了 LLM 的最佳训练方案，得到的工程结论对于我们设计实验很有帮助

LLM

预训练

多任务微调

模型架构

多任务

原创 3月前 26 阅读

序列模型（4）—— Scaling Laws

本文介绍 LLM 训练过程中重要的经验规律 Scaling Laws，它可以指导我们如何最大化训练效率，我们还可以借助它通过小规模实验预测大模型的性能表现

LLM

Sacaling Law

数据集

过拟合

拟合

原创 9月前 169 阅读

论文理解【Offline RL】——【BooT】Bootstrapped Transformer for Offline Reinforcement Learning

；领域：离线强化学习（offline/batch RL）—— Transformer-Based / 数据增强

BooT

Offline RL

离线强化学习

TT

数据

原创 2023-01-14 20:33:23 309 阅读

论文理解【Offline RL】——【RvS】What is Essential for Offline RL via Supervised Learning?

RvS: What is Essential for Offline RL via Supervised Learning?；ICLR 2022；离线

离线强化学习

Offline RL

RvS

监督学习

sed

原创 2022-12-18 00:11:04 194 阅读

论文理解【Offline RL】——【BCQ】Off-Policy Deep Reinforcement Learning without Exploration

Off-Policy Deep Reinforcement Learning without Exploration；ICML 2019；离线强

离线强化学习

Offline RL

BCQ

数据集

数据

原创 2022-12-10 07:09:57 633 阅读

论文理解【RL - Episodic Control】 ——【MFEC】Model Free Episodic Control

论文理解 —— Model Free Episodic Control（强化学习 - 情节控制）

强化学习

情节控制

MFEC

episodic

sed

原创 2022-11-27 10:30:31 144 阅读

论文理解【RL - Exp Replay】—— An Equivalence between Loss Functions and Non-Uniform Sampling in Exp Replay

标题：An Equivalence betweeay Buffer

强化学习

论文

经验重放

均匀经验重放

非均匀经验重放

原创 2022-11-27 10:30:16 189 阅读

论文理解【IL - BC】—— An autonomous land vehicle in a neural network

in Neural Information Processing Systems, 1989 （NIPS）领域：IL-BC

自动驾驶

神经网络

模仿学习

ALVINN

数据

原创 2022-11-22 10:24:55 84 阅读

论文理解【IL - 数据增广】 —— Adversarial Imitation Learning with Trajectorial Augmentation and Correction

标题：Adversarial Imitation Learning with Trajectorial Augmentation and Correction发表：ICRA 2021领域：模仿学习 - 轨迹级数据增强

模仿学习

数据增广

轨迹

数据

生成器

原创 2022-11-22 10:24:52 505 阅读

论文理解【IL - BC】—— End to End Learning for Self-Driving Cars

论文理解 —— End to End Learning for Self-Driving Cars

自动驾驶

深度学习

神经网络

模仿学习

行为克隆

原创 2022-11-22 10:24:42 314 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

佚失的诗篇

论文理解【LLM-CV】—— 【MAE】Masked Autoencoders Are Scalable Vision Learners

论文理解【LLM-agent】—— 【Reflexion】Language Agents with Verbal Reinforcement Learning

论文速览【LLM】 —— 【ORLM】Training Large Language Models for Optimization Modeling

论文理解【LLM-CV】An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

论文速览【LLM-agent】—— 【ReAct】Synergizing Reasoning and Acting in Language Models

论文理解【CV-目标检测】——【YOLO-V1】You Only Look Once: Unified, Real-Time Object Detection

论文理解【LLM】—— TinyStories: How Small Can Language Models Be and Still Speak Coherent English?

论文理解【LLM】—— What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot...

序列模型（4）—— Scaling Laws

论文理解【Offline RL】——【BooT】Bootstrapped Transformer for Offline Reinforcement Learning

论文理解【Offline RL】——【RvS】What is Essential for Offline RL via Supervised Learning?

论文理解【Offline RL】——【BCQ】Off-Policy Deep Reinforcement Learning without Exploration

论文理解【RL - Episodic Control】 ——【MFEC】Model Free Episodic Control

论文理解【RL - Exp Replay】—— An Equivalence between Loss Functions and Non-Uniform Sampling in Exp Replay

论文理解【IL - BC】—— An autonomous land vehicle in a neural network

论文理解【IL - 数据增广】 —— Adversarial Imitation Learning with Trajectorial Augmentation and Correction

论文理解【IL - BC】—— End to End Learning for Self-Driving Cars