Langchain提供了PromptTemplates提示文本技术，可以大大降低模型设计、调试和优化成本。这是一种可复制的生成prompt的方式，包含一个文本字符串，可以接收来自终端用户的一组参数，并生成prompt。PromptTemplates可以包含指令、少量实例和一个向语言模型提出的问题。通过使用该技术，可以指导语言模型生成更高质量的文本，从而更好的完成任务。1.prompt模板如果每次用
随着AI技术的发展，大型预训练模型在图像识别、自然语言处理等领域表现出色，不过为了使其适应特定的任务和数据集，这些模型通常需要针对特定应用进行微调。
原创
2024-08-13 10:35:23
322阅读
老生常谈的一句话吧：有没有技术含量取决于这个工作你怎么做，尤其是 llm方向，上手门槛相比传统 NLP变得更低了。 我举一些例
涵盖了模型基本设置，如预训练模型的选择、数据集信息和训练过程中的一些基本参数（如批大小、学习率等）。：指定了用于训练的模型和分词器的
原创
2024-05-07 14:30:33
431阅读
随着人工智能技术的快速发展，大型语言模型（Large Language Models）已经成为了自然语言处理（NLP）领域的研究热点。这些大模型具备强大的语言生成和推理能力，为各种实际应用提供了强大的支持。近年来，许多开源的 LLM 大模型被发布，使得广大开发者可以自由地使用和调整这些模型。本文将对这些开源 LLM 大模型进行简要汇总，并探讨微调策略的重要性和实施方法。一、开源 LLM 大模型汇总
原创
2023-09-14 11:11:24
439阅读
在设计一个特定于领域的企业级会话式问答系统来回答客户问题时，Conviva 发现要么/要么的方法是不够的。译自Improving LLM Output by Combining RAG and Fine-Tuning，作者 Haijie Wu; Junhwi Kim。大语言模型 (LLM)和会话式 AI 具有让应用程序更易于使用的巨大潜力，特别是对于新用户而言。它们可以回答有关产品的问题、协同操作
翻译
2024-05-01 23:52:17
113阅读
2021年微软提出的 LORA，斯坦福提出的 Prefix-Tuning，谷歌提出的 Prompt Tuning，2022年清华提出的 P-tuning v2、2
原创
2024-04-11 14:48:11
136阅读
在prefix-tuning之前的工作主要是人工设计离散的template或者自动化搜索离散template，问题在于最终的性能对人工设
该系列文章将从 LLM 基础、LLM 微调方式、模型压缩、数据质量处理、微调应用范式、模型评测和实战应用几个部分循序渐进进行展开
原创
精选
2023-11-24 16:24:50
675阅读
如果说，rerank能够让RAG的效果实现百尺竿头更进一步，那么LLM微调应该是RAG效果提升的最后一步。把召回的数据，经过粗排，重排序后
原创
2024-07-23 12:19:58
327阅读
在深度学习中，权重矩阵通常具有完整秩，这意味着研究（2020）得出的。
原创
2023-06-17 13:01:21
2622阅读
**Tunix(Tune-in-JAX)**是一个**用于LLM后训练的JAX原生库**,旨在通过JAX的速度和可扩展性简化监督微调、强化学习和蒸馏，
在人工智能（AI）领域，近年来大规模语言模型（LLM）的发展给我们带来了巨大的惊喜。无论是文本生成、翻译、摘要，还是问答任务，
大模型是深度学习是当前AI和NLP研究与产业中最重要的方向之一。本书用PyTorch 2.0作为学习大模型的基本框架，
金融行业需要垂直领域LLM，因为存在金融安全和数据大多数
原创
2023-07-24 08:49:39
2518阅读
根据特定用例调整LLM的行为之前，我写过关于与Langchain和Vicuna等当地LLM一起创建人工智能代理的文章。如果你不熟悉这个话题，并且有兴趣了解更多，我建议你阅读我之前的文章，开始学习。今天，我将这个想法向前推进几步。首先，我们将使用一个更强大的模型来与Langchain Zero Shot ReAct工具一起使用，即WizardLM 7b模型。其次，我们将使用LLM中的几个提示来生成一
原创
2024-01-08 15:45:13
189阅读
在本文中，我们介绍了如何估计transformer 模型的内存消耗。这个方法不适用于transformer以外的其他体系结构的模型低，因为它们不使用注意力机制。
原创
2024-05-05 17:34:39
150阅读
使用Qwen2ForSequenceClassification实现文本分类任务。一、实验结果和结论这几个月，在大模型分类场景做了很多实验，攒了一点小小经验。1、短文本1）query情感分类，一般不如BERTps：结论和，，基本一致2、长文本1）通话ASR转译长文本，BERT截断512不如LLMLLM没有截断（如果都阶段512，可能效果差不多）没有对比，BERT进行文本滑动窗口的版本2）Base
