0 前言随LLM技术演进，AI应用开发部署越来越复杂。LangServe应运而生，旨在简化AI服务部署和运维的框架。专为LLM部署和管理而设计；本文旨在讲解LangServe的功能特点和实践运用。1 概述LangServe 提供一整套将LLM部署成产品服务的解决方案。可将LLM应用链接入常见Python Web框架（如FastAPI、Pydantic、uvloop、asyncio），进而生成一套R
原创
2024-10-14 21:31:18
65阅读
这固然有当前模型的基础能力尚没有那么强大的原因，但是我们要知道，任何一个破坏性创新的技术，其推出产品的时候，都不是那么完美的
原创
2024-10-08 14:14:14
0阅读
1.为什么说java是跨平台语言这里所谓平台通常指操作系统，java可以在不同的操作系统上运行跨平台原理：java针对不同的操作系统开发了不同的JVM也就是虚拟机，而我们的java程序是其实是运行在虚拟机上的，因此可以说java程序可以运行在不同的虚拟机上，不同的虚拟机又运行在不同的操作系统上因此说java是跨平台语言2.执行一个简单的Helloworld程序，都会经历哪些步骤javac Hell
转载
2024-09-24 05:56:45
92阅读
基本原理1 Token文本变为数字2 训练3 超系数温度越高，越随机top_概率排在前?percent 让生成内容，确定性高 惩罚 越大越不重复这段代码是用于生成一个大小为 (2, 4) 的随机张量 logits，然后计算其对应的概率 scores 和概率 probs。以下是代码的详细解释：np.random.seed(42)
原创
2023-06-03 00:26:21
1669阅读
一、背景最近智能客服产品给到一个游戏客户那边，客户那边的客服负责人体验后认为我们产品回答的准确率是还是比较高的。同时，他反馈了几个需要改进的地方，其中一个就是机器人回复慢。机器人回复慢有很多原因，也有优化方式，其中一个就是流式响应。二、原理我们在微信需要发送比较长一段文字的时候，我们需要花比较长的时间去写，跟你聊天的人那边的感触就是要有一段时间的等待。如果我们每写好一句话就先发送过去，对方的等待的
原创
精选
2024-02-09 23:19:42
266阅读
llm-axe 提供了不少工具类，可以方便进行llm 应用开发 提供的一个能力 自定义agent 函数调用 在线agent pdf 内容读取
原创
2024-08-27 10:19:44
59阅读
机器之心 编辑：Panda WLLM 面临哪些挑战又有哪些应用？
转载
2023-08-09 12:30:18
6010阅读
文章目录key words:介绍**MMU****物理地址**线性地址虚拟内存逻辑地址内存管理内存及寻址地址变换地址变换分段机制分页机制启用分页机制实现线性地址到物理地址转换的过程分页机制和分段机制的不同页表结构两级页表结构不存在的页表页表项格式虚拟存储任务之间的保护 和 特权级保护 key words:物理地址: 内存单元所看到的地址，机器内主存的地址，包括RAM和ROM逻辑地址: cpu生成
转载
2024-04-05 12:15:04
140阅读
此情可待成追忆，只是当时已惘然。我们人类会有很多或美好或痛苦的回忆，有的回忆会渐渐模糊，有的回忆午夜梦醒，会浮上心头。然而现在的大语言模型都是没有记忆的，都是无状态的，大语言模型自身不会记住和你对话之间的历史消息。根本用不着“时时勤拂拭”，天然就是“本来无一物”。每一次的请求交互、api调用都是独立的，完全没有关联。那些聊天机器人看起来有记忆，是因为借助代码的帮助，提供历史消息作为和LLM对话的上
原创
2023-10-22 17:47:58
320阅读
目前，业界一般认为基于大模型的应用集中在两个方向上：RAG 和 Agent，无论哪一种应用，设计、实现和优化能够充分利用大模型(LLM)潜力的应用都需要大量的努力和专业知识。随着开发人员开始创建日益复杂的LLM应用程序，开发流程不可避免地变得更加复杂。这种流程的潜在设计空间可能是巨大而复杂的，《如何构
原创
2023-10-23 15:41:35
0阅读
【摘要】本文介绍了基于华为云Flexus云服务器X实例快速部署Dify-LLM应用开发平台的完整方案。通过创建云服务器、
本文介绍观测云通过集成 OpenLLMetry，实时采集和分析大语言模型（LLM）的链路信息，帮助用户监控模型的运行状态，优化模型的性能和资源利用率，同时快速和解决潜在问题，从而提升大语言模型在生产环境中的稳定性和效率。
总的来说，这一章节为我提供了使用 LLM API 进行应用开发的基础知识和方法，让我对大模型应用开发
原创
2024-06-26 17:09:06
62阅读
这是基于LangChain的大语言模型应用开发系列的第一篇。
文章内容会参考deeplearning.ai的短课程（https://learn.deeplearning.ai/langchain/），加上其他的资料和个人的理解。
Harrison Chase是谁
Harrison Chase是LangChain的创始人和首席执行官。
在创立LangChain之前，Harrison Chase在Ro
原创
2023-10-18 14:14:36
385阅读
本文主要介绍如何通过 OpenLIT 实现对大规模语言模型（LLM）的全面可观测性，并借助观测云对 LLM 的应用场景进行统一的数据收集、处理和实时监控。
1、概述 大型语言模型(LLM)的输出行为可以通过多种配置参数进行精细控制。这些参数共同决定了模型生成文本的质量、风格和多样性。理解这些配置选项及其相互作用对于有效使用LLM至关重要。 2、输出长度 (Output length) 一个重要的配置设置是响应中要生成的令牌数量。生成更多令牌需要 LLM
在AI发展的早期，模型往往只能处理单一模态（如文本或图像），就像一个只会说中文的翻译官，看不懂英文报纸。而人
::: hljs-right
DATE: October 17, 2024
:::
基于多模态大模型的多智能体教育游戏场景融合应用研究
AI+游戏结合具体方向
全局AI语音助手（AI Agent)
npc接入大预言模型 + 提示词或者微调指定人格
多模态大模型：视频图片生成
npc动作部分交由LLM决策（具身智能）(可选)
拟定游戏
全局应用技术
语音转文本+文本转语音（直接调用api）
