Baihai_IDP的博客_IDP Meetup,技术干货,IDP(3)

LLM 推理优化探微 (3) ：如何有效控制 KV 缓存的内存占用，优化推理速度？

编者按：随着 LLM 赋能越来越多需要实时决策和响应的应用场景，以及用户体验不佳、成本过高、资源受限等问题的出现，大模型高效推理已成为一个重要的研究课题。为此，Baihai IDP 推出 Pierre Lienhart 的系列文章，从多个维度全面剖析 Transformer 大语言模型的推理过程，以期帮助读者对这个技术难点建立系统的理解，并在实践中做出正确的模型服务部署决策。本文是该系列文章的第

LLM

人工智能

AI

白海科技

原创精选 2024-03-09 14:32:44 728 阅读

LLM 推理优化探微 (2) ：Transformer 模型 KV 缓存技术详解

编者按：随着 LLM 赋能越来越多需要实时决策和响应的应用场景，以及用户体验不佳、成本过高、资源受限等的出现，大模型高效推理已成为一个重要的研究课题。为此，Baihai IDP 推出 Pierre Lienhart 的系列文章，从多个维度全面剖析 Transformer 大语言模型的推理过程，以期帮助读者对这个技术难点建立系统的理解，并在实践中做出正确的模型服务部署决策。本文是该系列文章的第二

LLM

白海科技

LLM推理

KV缓存

原创 2024-03-06 11:49:58 685 阅读

化是渐化，变是顿变：一窥 OpenAI Sora 相关技术的演进

编者按：近期，OpenAI 发布通用视觉大模型 Sora ，这也是继文本模型ChatGPT和图片模型Dall-E之后，又一极具颠覆性的大模型产品，人们重新思考了生成式 AI 在视觉内容创作领域的应用前景，内容创作工作流有望被颠覆。我们今天要为大家分享的这篇博文，作者认为 Sora 代表了Transformer、NaViT、扩散模型等一系列视觉AI技术的融合创新，是迈向通用人工智能的重要一步。作者

OpenAI

GenAI

AIGC

白海科技

Sora

原创 2024-03-01 11:59:43 126 阅读

OpenAI Sora 关键技术详解：揭秘时空碎片 (Spacetime Patches) 技术

编者按：近日，OpenAI发布其首个视频生成模型“Sora”，该模型生成的视频内容可以呈现出多个角色、特定动作以及复杂场景，为构建能够理解和模拟现实世界的人工智能模型奠定了基础。本文解析的重点即是 Sora 背后的核心技术 Spacetime Patches，作者认为该技术通过创新的时空数据建模方法，让 Sora 学会预测时空维度上事件和对象的变化、运动和互动，从而建立起视频世界的物理模型，生成极

人工智能

AI

Sora

白海科技

原创 2024-02-22 14:39:10 210 阅读

LLM 模型融合实践指南：低成本构建高性能语言模型

编者按：随着大语言模型技术的快速发展，模型融合成为一种低成本但高性能的模型构建新途径。本文作者 Maxime Labonne 利用 mergekit 库探索了四种模型融合方法：SLERP、TIES、DARE和passthrough。通过配置示例和案例分析，作者详细阐释了这些算法的原理及实践操作。作者的核心观点是：相比训练全新模型，融合现有模型可以以更低计算成

模型融合

LLM

AI

白海科技

原创 2024-02-21 10:27:42 163 阅读 yyds干货盘点

LoRA：语言模型微调的计算资源优化策略

编者按：随着数据量和计算能力的增加，大模型的参数量也在不断增加，同时进行大模型微调的成本也变得越来越高。全参数微调需要大量的计算资源和时间，且在进行切换下游任务时代价高昂。本文作者介绍了一种新方法 LoRA，可以在保持模型性能的同时大幅减少微调的参数量和所需资源。LoRA通过引入两个低秩适配矩阵，用矩阵乘法的方法替换大部分参数。实验证明，LoRA 在多项 NLP&nb

白海科技

深度学习

AI

LLM

原创 2024-02-05 19:52:51 361 阅读

LLM 推理优化探微 (1) ：Transformer 解码器的推理过程详解

编者按：随着 LLM 赋能越来越多需要实时决策和响应的应用场景，以及用户体验不佳、成本过高、资源受限等问题的出现，大模型高效推理已成为一个重要的研究课题。为此，Baihai IDP 推出 Pierre Lienhart 的系列文章，从多个维度全面剖析 Transformer 大语言模型的推理过程，以期帮助读者对这个技术难点建立系统的理解，并在实践中做出正确的模型服务部署决策。本文是该系列文章的第一

LLM

AI

白海科技

LLM推理

原创 2024-01-31 14:38:27 441 阅读 yyds干货盘点

探讨 LLM 的潜在风险 (偏见与毒性等)，是否存在解决之道？

编者按：随着 GPT-4 等大语言模型(LLM)的蓬勃发展，人们开始关注它们在社会伦理、安全性和偏见等方面的表现。本文探讨了 LLM 在偏见、毒性和越狱方面的最新研究进展。作者的核心观点是，LLM 仍存在一定的偏见问题，但相关公司正在努力改进，LLM 的整体发展趋势是向好的。作者首先介绍了 OpenAI、Google 等公司采取的伦理政策措施，以及通过微调技术降低 LLM 偏见的具体做法。然后分多

AI

LLM

白海科技

人工智能

原创 2024-01-25 11:50:39 287 阅读

如何写好大模型提示词？来自大赛冠军的经验分享（进阶篇）

编者按：近期，如何通过 Prompt Engineering 最大程度发挥大模型的潜力已成为一个热点话题。人们越来越关注如何通过 Prompt Engineering 技术低成本地用好大模型。今天我们推荐的这篇文章，作者认为 Prompt Engineering 需要结合艺术与科学，需要在理解技术背景的同时，发挥创造力和战略思维。本系列文章详细介绍了作者在新加坡首届 GPT-4 Prompt En

AI

LLM

Prompt

白海科技

程序员

原创 2024-01-22 11:55:01 1009 阅读

如何写好大模型提示词？来自大赛冠军的经验分享（基础篇）

编者按：近期，如何通过 Prompt Engineering 最大程度发挥大模型的潜力已成为一个热点话题。人们越来越关注如何通过 Prompt Engineering 技术低成本地用好大模型。今天我们推荐的这篇文章，作者认为 Prompt Engineering 是一门融合了艺术和科学的学科，需要在理解技术背景的同时，发挥创造力和战略思维。本系列文章详细介绍了作者在新加坡首届

白海科技

LLM

Prompt

AI

人工智能

原创 2024-01-17 11:47:48 216 阅读

Prompt Engineering 可能会是 2024 年最热门的“编程语言”？

编者按：“Prompt Engineering”是否已经过时？模型本身的能力是否已经足够，不再需要特意设计 prompt？我们今天为大家带来的文章，作者认为 Prompt Engineering 不会过时，相反随着模型能力的增强，编写高质量 prompt 的重要性也将继续增加。文章详细论点归纳：(1)大语言模型应被视为操作系统的内核，而 prompt 是调用其的程序；(2)Prompt Engin

Prompt

AI

LLM

自然语言处理

人工智能

原创 2024-01-16 11:01:09 296 阅读 yyds干货盘点

MoE模型性能还能更上一层楼？一次QLoRA微调实践

Fine-Tuning Mixtral 8x7B with QLoRA：Enhancing Model Performance ?编者按：最近，混合专家(Mixture of Experts,MoE)这种模型设计策略展现出了卓越的语言理解能力，如何在此基础上进一步提升 MoE 模型的性能成

AI

深度学习

人工智能

MoE

白海科技

原创推荐 2024-01-10 16:25:04 10000+阅读

大模型Chatbots评估新视角：结合定性与程序方法的实践经验

随着大语言模型(LLM)在 Chatbots 领域的广泛应用，如何有效评估这些基于 LLM 的 Chatbots 的质量变得日益重要，这也是一个极具挑战性的问题。本文作者认为可以从质性评估（qualitative）和通过程序评估（programmatic）这两个维度对基于 LLM 的 Chatbots 进行评估。

机器学习

人工智能

AI

Chatbots

白海科技

原创 2024-01-08 09:39:47 154 阅读 yyds干货盘点

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Baihai_IDP的博客

LLM 推理优化探微 (3) ：如何有效控制 KV 缓存的内存占用，优化推理速度？

LLM 推理优化探微 (2) ：Transformer 模型 KV 缓存技术详解

化是渐化，变是顿变：一窥 OpenAI Sora 相关技术的演进

OpenAI Sora 关键技术详解：揭秘时空碎片 (Spacetime Patches) 技术

LLM 模型融合实践指南：低成本构建高性能语言模型

LoRA：语言模型微调的计算资源优化策略

LLM 推理优化探微 (1) ：Transformer 解码器的推理过程详解

探讨 LLM 的潜在风险 (偏见与毒性等)，是否存在解决之道？

如何写好大模型提示词？来自大赛冠军的经验分享（进阶篇）

如何写好大模型提示词？来自大赛冠军的经验分享（基础篇）

Prompt Engineering 可能会是 2024 年最热门的“编程语言”？

MoE模型性能还能更上一层楼？一次QLoRA微调实践

大模型Chatbots评估新视角：结合定性与程序方法的实践经验

欢迎