Baihai_IDP的博客_IDP Meetup,技术干货,IDP

汽车长翅膀：GPU 是如何加速深度学习模型的训练和推理过程的？

编者按：深度学习的飞速发展离不开硬件技术的突破，而 GPU 的崛起无疑是其中最大的推力之一。但你是否曾好奇过，为何一行简单的“.to('cuda')”代码就能让模型的训练速度突飞猛进？本文正是为解答这个疑问而作。作者以独特的视角，将复杂的 GPU 并行计算原理转化为通俗易懂的概念。从 CPU 与 GPU 的设计哲学对比，到 CUDA 编程的核心要素，再到具体的代码实现，文章循序渐进地引领读者把握

AI

GPU

原创 2024-07-24 10:10:17 58 阅读

哪些基于 LLMs 的产品值得开发？从用户体验和市场接受度的角度探讨

AI

GenAI

原创 2024-07-17 10:52:35 112 阅读

给｢大模型初学者｣的 LLaMA 3 核心技术剖析

编者按：本文旨在带领读者深入了解 LLaMA 3 的核心技术 —— 使用 RMSNorm 进行预归一化、SwiGLU 激活函数、旋转编码（RoPE）和字节对编码（BPE）算法。RMSNorm 技术让模型能够识别文本中的重点，SwiGLU 激活函数则如同“神笔”，让模型生成的文本更加突出重点且易于理解；RoPE 赋予了模型处理序列中词语位置的灵活性，而 BPE 算法则有效提升了模型处理长文本的能力

Llama 3

AI

LLMs

原创精选 2024-07-13 11:12:22 647 阅读

Advanced RAG 10：引入检索评估、知识精练的 CRAG 技术详解

编者按：本文介绍的 CRAG 技术通过引入轻量级检索评估机制和知识精炼算法，试图解决传统检索增强生成（RAG）方法在处理复杂查询语句时存在的问题（包括检索结果不够精确、引入无关信息等），这些问题会影响模型回答的质量。CRAG 技术如何评估检索文档与用户查询之间的相关性？检索评估器的具体工作原理是什么？CRAG的知识精炼算法是如何工作的？它如何确保在“细分再整合”的过程中不会丢失重要信息？如若您现在

LLMs

AI

RAG

白海科技

原创精选 2024-07-10 10:14:15 354 阅读 1评论 yyds干货盘点

「多模态大模型」解读 | 突破单一文本模态局限

编者按：理想状况下，世界上的万事万物都能以文字的形式呈现，如此一来，我们似乎仅凭大语言模型（LLMs）就能完成所有任务。然而，理想很丰满，现实很骨感——数据形态远不止文字一种，大多数数据也不是以文本的形式呈现的，我们日常接触到的数据涵盖了图像、视频、音频、语音（images or video, audio, speech）等多种形态，形式丰富多元。因此，能够同时理解和处理多种数据形式的多模态大语言

多模态大语言模型

LLMs

AI

原创精选 2024-07-05 10:24:05 315 阅读

Llama-2 vs. Llama-3：利用微型基准测试（井字游戏）评估大模型

编者按：如何更好地评估和比较不同版本的大语言模型？传统的学术基准测试固然重要，但往往难以全面反映模型在实际应用场景中的表现。在此背景下，本文作者别出心裁，通过让 Llama-2 和 Llama-3 模型进行井字游戏对决，为我们提供了一个新颖而有趣的模型评估视角。此文不仅展示了一种创新的模型比较方法，更揭示了当前大语言模型在处理看似简单的空间逻辑任务时所面临的挑战。让我们得以一窥不同参数规模模型的

LLMs

AI

大模型评估

原创精选 2024-07-04 13:41:34 305 阅读 yyds干货盘点

检索生成(RAG) vs 长文本大模型：实际应用中如何选择？

编者按：大模型的上下文理解能力直接影响到 LLMs 在复杂任务和长对话中的表现。本期内容聚焦于两种主流技术：长上下文(Large Context Windows)和检索增强生成(RAG)。这两种技术各有何优势？在实际应用中，我们又该如何权衡选择？文章不仅详细阐述了这两种技术的工作原理，还深入分析了它们在效率、准确性和实施成本等方面的差异。文章特别提到了在执行重复性任务时使用 Context Cac

AI

LLMs

RAG

长上下文

Context Caching

原创精选 2024-07-03 10:47:53 238 阅读 yyds干货盘点

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Baihai_IDP的博客

汽车长翅膀：GPU 是如何加速深度学习模型的训练和推理过程的？

哪些基于 LLMs 的产品值得开发？从用户体验和市场接受度的角度探讨

给｢大模型初学者｣的 LLaMA 3 核心技术剖析

Advanced RAG 10：引入检索评估、知识精练的 CRAG 技术详解

「多模态大模型」解读 | 突破单一文本模态局限

Llama-2 vs. Llama-3：利用微型基准测试（井字游戏）评估大模型

检索生成(RAG) vs 长文本大模型：实际应用中如何选择？

欢迎