以ChatGPT为代表的自然语言处理大模型技术大火出圈，微软、谷歌、百度系等生成式大模型接连发布和不断升级优化，人工智能的快速发展，进一步促使AI产业带动生产力变革，正式拉开一个AI时代的全新序幕。国内多家头部AI企业都在加大大型语言模型（Large Language Model, LLM）领域的研发和布局，而大型语言模型在文本、图片、视频等语义理解和内容生成领域的应用及商业化落地也在全面展开。实
现阶段chatGPT非常火热。带动了第三方开源库：LangChain火热。它是一个在大语言模型基础上实现联网搜索并给出回答、总结 PDF 文档、基于某个 Youtube 视频进行问答等等的功能的应用程序。什么是LangchainLangChain 是一个用于开发由语言模型驱动的应用程序的框架。 langchain的目标：最强大和差异化的应用程序不仅会通过 API 调用语言模型，它主要拥有 2 个能
转载
2024-04-23 12:52:44
222阅读
原标题：NLP大赛冠军总结：300万知乎多标签文本分类任务(附深度学习源码)源码(PyTorch实现)github 地址：PT即可获取。七月，酷暑难耐，认识的几位同学参加知乎看山杯，均取得不错的排名。当时天池AI医疗大赛初赛结束，官方正在为复赛进行平台调试，复赛时间一拖再拖。看着几位同学在比赛中排名都还很不错，于是决定抽空试一试。结果一发不可收拾，又找了两个同学一起组队(队伍init)以至于整个暑
一、自然语言处理 NLP二、自然语言理解 NLU三、自然语言生成 NLG四、使用 提示词 + 大模型 实现 NLU五、使用 提示词 + 大模型 实现 NLG
原创
2024-07-08 14:53:52
135阅读
核心要点：诸如GPT-3等大预训练语言模型（PLM）以服务的形式发布。允许用户设计特定于任务的提示(Task specified Prompt)，并通过黑盒API查询PLM。将这种不能访问梯度参数，只能通过推理API查询模型推理结果的场景称为LMaaS（Language Model as a Service）本文在此场景下提出了一种黑盒优化框架，通过无导数优化来优化输入文本前的连续提示。大型PLM
转载
2024-04-04 09:48:54
210阅读
一句话解释：知识蒸馏是一种模型压缩技术（model compression technique），通过让小模型（学生模型）学习大模型（教师模型）的输
如何使大型语言模型更加事实、正确和可靠？检索增强生成（RAG）是一种有效的方法，可以缓解大型语言模型的基本局限性，如幻觉和缺乏最新知识。然而，如果您曾尝试过RAG，您会同意我所说的RAG易于原型设计，但很难达到理想的水平。在本文中，我将讨论一篇关于自我RAG的新研究论文：Self-RAG: Learning to Retrieve, Generate, and Critique through S
转载
2024-08-12 17:11:54
103阅读
现在深度学习越来越火了，在NLP领域主要使用CNNs、RNNs、GNNs以及attention机制。尽管这些模型取得了一些成绩，但是和CV相比，还是有些差距的，主要原因是大部分NLP任务的监督学习数据很少，而深度学习模型的参数有很多，需要大量的数据才可以学习好，否则就会发生过拟合现象，这就导致NLP模型一般都是1-3层的浅层神经网络。 
转载
2023-11-16 23:42:10
344阅读
© 作者｜王禹淏本篇综述“Dense Text Retrieval based on Pretrained Language Models: A Survey”由中国人民大学和百度合作完成。为了支持这项研究，作者团队创建了一个参考网站，包括稠密检索研究的相关资源：（例如：论文，数据集和代码资源库），链接: https://github.com/RUCAIBox/DenseRet
转载
2024-05-20 09:16:53
129阅读
目录Text-based Person Retrieval 任务介绍常用数据集CUHK-PEDES 数据集ICFG-PEDES 数据集RSTPReid 数据集 Text-based Person Retrieval 任务介绍博主是做多模态相关的，最近刚刚接触了语言行人检索 (Text-based Person Retrieval) 这个任务，觉得挺有意思，开一个专栏来记录一下该任务的常用数据集和
目录1 摘要 2 基础prompt方法1.1 Zero-shot1.2 Few-shot3 Instruct Prompt4 一些高级的Prompt 用法4.1 Self-Consistent Sampling温度（Temperature）Top_K4.2 Chain of Thought4.3 Tree of Thought5 自动prompt 设计6
文章目录所解决的问题？背景所采用的方法？取得的效果？所出版信息？作者信息？ 论文题目：Mastering Atari, Go, chess and shogi by planning with a learned model所解决的问题？ 规划planning一直都是人工智能研究领域中，人们追逐的一个比较难的研究点，基于树的规划算法，像AlphaGo这类算法已经取得了巨大的成功，然而基于树模型
转载
2024-07-21 23:07:08
44阅读
语言模型 对于很多自然语言处理领域的问题，比如机器翻译，处理要确定预测结果中的字词集合以外，还有一个非常重要的方面就是要评估文本序列是否符合人类使用的习惯。也就是要判断文本是否通顺、自然、甚至在翻译问题上，“信”、“达”、“雅”是一种高级的要求。语言模型就是用于评估文本符合语言使用习惯程度的模型。 &nbs
转载
2024-06-28 23:46:45
318阅读
代码生成所包含的面非常之广，但是对于目前最普遍的层生成器，所使用的技术有很多是共通的。下面简单介绍层生成器所普遍使用的几项技术，以及为你的层生成器选择一门开发语言所要考虑的要点。 编写代码生成器经常使用的技术：n 文本模板，代码生成通常意味着创建具有复杂结构文本类型的文件。为了维护生成器的简单
昨天的时候，简单学习了跟语言模型相关的内容。其实主要的内容都是word2vec的内容；本质上我想找的内容是，能够给我建立一个模糊的说法。我是使用这个模型，能带来的好处是什么。但是感觉上来说，完全就是从反向的角度来说明。使用了这个模型，然后告诉你这个模型的好处。对于语言模型来说，我简单看了一下，这里来简单总结一下，不涉及具体原理。 首先就是最开始的one-hot模型，假设不是用n-gram，（其实
转载
2024-05-11 19:16:58
69阅读
1.语言模型语言模型仅仅对句子出现的概率进行建模，并不尝试去“理解”句子的内容含义。语言模型告诉我们什么样的句子是常用句子（挑选较为合理的句子的作用），但无法告诉我们两句话的意思是否相似或者相反。 SeqSeq模型可以看作一个条件语言模型，它相当于是在给定输入的情况下对目标语言的所有句子估算概率，并选择其中概率最大的句子作为输出。 假设一门语言的词汇量为V，如果将p(Wm|W1,W2,W3,…Wm
转载
2024-10-09 16:47:50
23阅读
微调大语言模型-ChatGLM-Tuning大语言模型-微调chatglm6b大语言模型-中文chatGLM-LLAMA微调大语言模型-alpaca-lora本地知识库大语言模型2-document ai解读大语言模型-DocumentSearch解读大语言模型-中文Langchain大语言模型的学习，首先来看简单有效的document.aidocument.aihttps://github.co
转载
2024-05-27 17:07:54
115阅读
书籍：Building LLM Powered Applications: Create intelligent apps and agents with large language models作者：Valentina Alto出版：Packt Publishing编辑：陈萍萍的公主@一点人工一点智能01 书籍介绍本书深入探讨了大语言模型（LLMs）提供的基本概念、尖端技术和实际应用，最终为大
在这数字化的风正吹着世界每个角落的时代，大语言模型虽好，但个人开发者和企业级应用开发、构建和调优自己的大语言模型是很困难的，于是，Amazon Bedrock便应运而生。Bedrock最重要的特色，就是让开发者能够轻松定制大语言模型，并构建属于自己的生成式AI应用程序。
原创
2023-11-30 16:19:13
253阅读
计算机的发展，促使了一个新的职业的出现，程序员是近些年出现的并且得到了广泛关注的一个职业，相信这也是很多莘莘学子的职业梦想。但程序员也有很多种，并不是每一个程序员能够精通所有的编程语言。所谓术业有专攻，如果将来志在编程世界的网友就要注意了，今天西安卓新思创移动互联网教育产业联盟的雷老师给大家推荐一下2014年最流行的编程语言，他们可以说是未来程序员们生存的工具。
1.Java
首先我要推荐的就是J
转载
2024-04-14 10:00:52
517阅读
