aiweker的博客_transformer_51CTO博客

鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

在线学习

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

51CTO博客

首页
关注
排行榜
精品课程
免费资料
软考题库

科目全、试题精、讲解专业，扫码免费刷

搜索历史清空

热门搜索

查看【】的结果
写文章
创作中心
登录注册

# transformer

大语言模型中常用的tokenizer算法

我们说了三个tokenize不同粒度：word/subword/char，现在最常用的是subword字词的模式，今天就和大家分享下字词的三个经典的算法：WordPiece、BPE/BBPE和unigram。

字符编码

语言模型

初始化

原创精选 3月前 443 阅读

Transformers从入门到精通：token和它的三种粒度

大家对于token的概念可能司空见惯了，现在的大语言模型的计费方式一般都采用输入和输出的token数量来计费。那到底什么是token，它的作用是什么？

未登录词

神经网络

复杂度

原创 4月前 141 阅读

Transformers从入门到精通-Transformers介绍

Transformers介绍

加载

语言模型

模态

原创 4月前 66 阅读