作者提出了CPP辅助任务，可以让Encoder模型学会对汉语拼音进行编码。作者提供了一个 预训练好的SCOPE模型，后续的CS约束矫正方法），可以用在预测阶段。
论文提出了一种token-level的自蒸馏对比学习(self-distillation contrastive learning)方法。作者并没有直接使用BERT的输出作为token embedding，而了BERT的输出和word embeddings。
简单的线性回归就是使用一根直线去拟合一种趋势。例如：我们有一批房屋面积与房价的数据。X = [100, 110, 120, 130, 140] # 并不知道aaa和。
本文是参考大神bryanyzhu对MoCo论文的解读视频，并按照他的解读结合论文进行笔记
文章目录1. 相关信息2. 论文内容3. 论文模型3.1 Glyph Embedding3.2 Pinyin Embedding4. 实验与结论5. 模型使用方式1. 相关信息论文年份：2021论文地址：https://aclanthology.org/2021.acl-long.161.pdf论文代码(官方) : https://github.com/ShannonAI/ChineseBertH
SWA，
用BERT做具体任务时效果不够好？这篇论文教你如何微调BERT
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
