总的来说，这一章节为我提供了使用 LLM API 进行应用开发的基础知识和方法，让我对大模型应用开发
原创
2024-06-26 17:09:06
62阅读
一、背景最近智能客服产品给到一个游戏客户那边，客户那边的客服负责人体验后认为我们产品回答的准确率是还是比较高的。同时，他反馈了几个需要改进的地方，其中一个就是机器人回复慢。机器人回复慢有很多原因，也有优化方式，其中一个就是流式响应。二、原理我们在微信需要发送比较长一段文字的时候，我们需要花比较长的时间去写，跟你聊天的人那边的感触就是要有一段时间的等待。如果我们每写好一句话就先发送过去，对方的等待的
原创
精选
2024-02-09 23:19:42
266阅读
基本原理1 Token文本变为数字2 训练3 超系数温度越高，越随机top_概率排在前?percent 让生成内容，确定性高 惩罚 越大越不重复这段代码是用于生成一个大小为 (2, 4) 的随机张量 logits，然后计算其对应的概率 scores 和概率 probs。以下是代码的详细解释：np.random.seed(42)
原创
2023-06-03 00:26:21
1669阅读
这是基于LangChain的大语言模型应用开发系列的第一篇。
文章内容会参考deeplearning.ai的短课程（https://learn.deeplearning.ai/langchain/），加上其他的资料和个人的理解。
Harrison Chase是谁
Harrison Chase是LangChain的创始人和首席执行官。
在创立LangChain之前，Harrison Chase在Ro
原创
2023-10-18 14:14:36
385阅读
【摘要】本文介绍了基于华为云Flexus云服务器X实例快速部署Dify-LLM应用开发平台的完整方案。通过创建云服务器、
此情可待成追忆，只是当时已惘然。我们人类会有很多或美好或痛苦的回忆，有的回忆会渐渐模糊，有的回忆午夜梦醒，会浮上心头。然而现在的大语言模型都是没有记忆的，都是无状态的，大语言模型自身不会记住和你对话之间的历史消息。根本用不着“时时勤拂拭”，天然就是“本来无一物”。每一次的请求交互、api调用都是独立的，完全没有关联。那些聊天机器人看起来有记忆，是因为借助代码的帮助，提供历史消息作为和LLM对话的上
原创
2023-10-22 17:47:58
320阅读
目前，业界一般认为基于大模型的应用集中在两个方向上：RAG 和 Agent，无论哪一种应用，设计、实现和优化能够充分利用大模型(LLM)潜力的应用都需要大量的努力和专业知识。随着开发人员开始创建日益复杂的LLM应用程序，开发流程不可避免地变得更加复杂。这种流程的潜在设计空间可能是巨大而复杂的，《如何构
原创
2023-10-23 15:41:35
0阅读
llm-axe 提供了不少工具类，可以方便进行llm 应用开发 提供的一个能力 自定义agent 函数调用 在线agent pdf 内容读取
原创
2024-08-27 10:19:44
59阅读
主要的记忆组件ConversationBufferMemory这个记忆组件允许储存对话的消息，并且可以把消息抽取到一个变量。ConversationBufferWindowMemory这个记忆会保持K轮对话的列表。只保存最近的K轮对话。旧对话会清除。ConversationTokenBufferMemory这个记忆组件跟ConversationBufferWindowMemory差不多，同样把旧对
原创
2023-10-22 19:02:41
256阅读
LLVM是编译器的框架系统,以C++编写而成,用于优化以任意程序语言编写的程序编译时间,链接时间,运行时间,以及空闲时间,对开发这保持开放,并兼容已有的脚本(来自百度百科),它的全称是Low Level Virtual MachineLLVM的优势以下来自机翻LLVM使用具有严格定义语义的简单低级语言。它包括C和C++前端。Java、Scheme和其他语言的前端正在开发中。它包括一个积极的优化器，
转载
2024-01-18 16:16:03
206阅读
市场上开源LLM应用开发平台有哪些？在这个快速发展的领域，有几个引人注目的平台各自发挥着不同的作用。接下来，我将带你了解如何搭建和优化这些平台的开发环境，并深入探讨相关技术，以便你能够充分利用它们开展自己的项目。
## 环境配置
为了顺利搭建开源LLM应用开发平台，我们首先需要配置开发环境。这里给出了一张思维导图，展示了环境配置的步骤和注意事项。
```mermaid
mindmap
r
自然语言编程与编程语言编程的融合：LLM调用自定义函数。
原创
精选
2024-02-16 13:33:57
285阅读
归纳介绍开源语音模型Silero VAD应用于GO语言LLM应用开发的典型领域方案。
如果你常逛技术社区，大概率听过 “大语言模型（LLM）能做很多事”—— 写文案、答问题、
爱学it学无止境-LLM应用开发：技术架构与实践探索随着人工智能技术的飞速发展，大型语言模型（Large Language Model, LLM）在各个领域的应用日益广泛，成为推动技术创新的重要力量。本文将从技术架构、开发框架及实践应用三个方面，深入探讨LLM应用开发的关键技术与实施路径。一、LLM应用开发的技术架构LLM应用开发的技术架构通常包括四层：存储层、模型层、服务层和交互层。1. 存储层
原创
2024-07-22 16:21:56
181阅读
在之前的课程中，我带领小伙伴们使用开源项目实现了将星火模型的OpenAI-API接口适配转换封装，没有看过的小伙伴可以点击链接查看：
AI课程合集
但是这种做法的局限性也很强，只能使用开源项目适配过的大模型，并且由于多了一层适配代理，接口的性能也存在一定损耗。今天，我将给大家介绍一个更加通用的方案，基于LangChain平台提供的LLM基础模型，完成任意模型接口的封装。
LangChain与大模
原创
2023-12-07 08:28:54
691阅读
2评论
1.为什么说java是跨平台语言这里所谓平台通常指操作系统，java可以在不同的操作系统上运行跨平台原理：java针对不同的操作系统开发了不同的JVM也就是虚拟机，而我们的java程序是其实是运行在虚拟机上的，因此可以说java程序可以运行在不同的虚拟机上，不同的虚拟机又运行在不同的操作系统上因此说java是跨平台语言2.执行一个简单的Helloworld程序，都会经历哪些步骤javac Hell
转载
2024-09-24 05:56:45
92阅读
LLM在OCR中的应用
原创
精选
2024-05-19 22:03:49
913阅读
这固然有当前模型的基础能力尚没有那么强大的原因，但是我们要知道，任何一个破坏性创新的技术，其推出产品的时候，都不是那么完美的
原创
2024-10-08 14:14:14
0阅读
0 前言随LLM技术演进，AI应用开发部署越来越复杂。LangServe应运而生，旨在简化AI服务部署和运维的框架。专为LLM部署和管理而设计；本文旨在讲解LangServe的功能特点和实践运用。1 概述LangServe 提供一整套将LLM部署成产品服务的解决方案。可将LLM应用链接入常见Python Web框架（如FastAPI、Pydantic、uvloop、asyncio），进而生成一套R
原创
2024-10-14 21:31:18
65阅读
