微调原理想象一下,你有一个超大的玩具,现在你想改造这个超大的玩具。但是,对整个玩具进行全面的改动会非常昂贵。※ 因此,你找到了一种叫 LoRA 的方法:只对玩具中的某些零件进行改动,而不是对整个玩具进行全面改动。※ 而 QLoRA 是 LoRA 的一种改进:如果你手里只有一把生锈的螺丝刀,也能改造你的玩具。微调过后得到的文件将 HuggingFace ada
今天学习的内容是大模型评测,是针对具有标准答案的客观问题,我们可以我们可以通过使用定量指标比较模型的输出与标准答案的差异,并根据结果衡量模型的性能。同时,由于大语言模型输出自由度较高,在评测阶段,我们需要对其输入和输出作一定的规范和设计,尽可能减少噪声输出在评测阶段的影响,才能对模型的能力有更加完整和客观的评价。首先加载数据集模型,通过gitub镜像下载启动模型评测得到结果
整个过程相比于上次来说比较顺利,除了前期pip安装缺少有关库导致报错报错,其他都没有什么问题配置NLTK 过程遇到加载很慢,最后发现可能是算力太少导致服务器响应太慢导致,经过重装之后,解决了问题最后配置成功
300字小故事huggingface
是课堂操作笔记
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号