检索增强生成 (RAG)是一个含义丰富的术语。它向世界许诺，但在开发出 RAG 管道后，我们中的许多人仍然在疑惑，为什么它的效果不如我们预期的那样好。
与大多数工具一样，RAG 易于使用但难以掌握。事实是，RAG 不仅仅是将文档放入矢量数据库并在上面添加 LLM。
这可以奏效，但并不总是如此。
本文中将介绍通常最简单、最快速地实施次优 RAG 管道的解决方案 — 我们将学习重新排序器。
接口自动化测试用例是一个老生常谈的问题，在未引入人工智能之前，也有非常多的生成方案，比如如下所示，通过har生成接口自动化测试用例：但是以上的生成方式依然是有一些弊端，比如 har 本身虽然能表述一定的接口信息和业务信息，但是毕竟无法用来表述全部的应用场景与用例场景。而大部分的应用场景和用例场景，均是通过自然语言进行描述的。而解析自然语言，则是大语言模型擅长做的事情。实践演练需求说明以下内容为3条
Boson AI推出RPBench-Auto自动评估工具自从推出Higgs-Llama-v2以来，我们收到了社区的许多积极反馈。我们深感社区在使用我们的模型时展现出的创造力，同时也意识到有效评估大语言模型（LLM）在角色扮演能力方面的重要性。因此，我们非常高兴地推出RPBench-Auto，这是一个专门用于评估LLM在角色扮演场景中表现的自动化评估管道。Role-Play Benchmark (R
简介大模型具有生成和理解自然语言的强大能力，但在专属领域中，通用模型往往表现不尽如人意。为了解决这一问题，越来越多的人希望能够使用基于专业或行业领域的大语言模型，以提高回答问题的准确性。从零开始训练一个大模型所需的算力、成本以及数据质量和数量的要求都非常高，因此并不适用于所有人。然而，我们可以选择在已有的大模型（例如GPT系列）上进行微调。微调是指在已经训练好的大模型的基础上，使用专业领域的数据进
Jina AI - Your Search Foundation, Supercharged.About You | Coheremudler/LocalAI: :robot(github.com)Mudler blog — Place where I write about stuff在应用内集成知识库 | 中文 (dify.ai)luolin-ai/Dify-Enterprise-WeChat
简介而在前面介绍React 推理提示的时候讲到了，目前的大语言模型本身不具备任何的执行能力，只具备理解自然语言的能力。而如果要打造企业专属的人工智能助理，这个助理除了要具备“听懂人话的能力”，还需要具备执行动作的能力。要不然和问答机器人就没有任何区别了。所以本章节要完成的一个实践示例，就是让大模型具备“听懂人话”+“执行动作”的能力。应用场景智能助理由于具备“听懂人话”+“执行动作”的能力，所以其
简介在大模型问世之后，其中一个最核心的功能就是问答机器人。但是若直接将问题抛给 ChatGPT，仍然解决不了以下限制：相关的关联数据需要联网。相关的关联数据是 GPT 也不知道的私密数据。而在前面介绍RAG 检索增强生成的时候也同样提到了这一点。应用场景垂直领域内容的问答机器人的应用场景非常多，比如金融、医疗、电商等。如果是针对于互联网相关的从业人员，比如开发、测试、产品等，我们还可以让其帮助我们
2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可操纵性、数学、工具使用和多语言翻译方面与顶级人工智能模型相媲美的模型。当然 405B 新一代大模型所需要的算力成本也是巨大的，一般的中小型企业和个人需要慎重评估一下成本与产出是否值得应用。
AIGC（AI Generated Content，人工智能生成内容）的底层技术融合了自然语言处理（NLP）、深度学习及生成对抗网络（GAN）等前沿技术，通过代码实现高效、创意的内容生成。在自然语言处理方面，NLP技术使计算机能够理解并生成自然语言。例如，使用spaCy库进行词性标注的Python代码示例：python复制代码
import spacy
nlp = spacy.load
1. 介绍DeepArt 是一种将普通照片转化为具有特定艺术风格图片的应用。它利用深度学习技术，尤其是卷积神经网络（CNN），来实现图像风格迁移（style transfer）。DeepArt 可以将任意输入图像转换成类似于著名艺术家的绘画风格，从而生成独特的、充满艺术感的作品。2. 应用使用场景数码艺术创作：数字艺术家可以快速将照片转换为不同艺术风格的作品。社交媒体内容制作：用户可以创建个性化和
1. 介绍RunwayML 是一个为创意工作者提供多种人工智能工具的平台，支持视频编辑、图像生成、文本生成等多种功能。该平台结合了多种先进的 AI 模型，并通过简洁易用的接口让用户能够无缝地将 AI 工具集成到他们的创作流程中。2. 应用使用场景视频编辑：自动抠像、背景替换、风格化处理等。图像生成：生成高质量、逼真的图像用于设计、艺术创作等。文本生成：自动生成文章、对话等，提高写作效率。音频处理：
1. 介绍Jukedeck 是一个由人工智能驱动的音乐生成平台，能够自动创作高质量的背景音乐。该平台利用深度学习技术，分析并生成符合用户需求的音乐作品，从而简化了音乐制作过程，并为内容创作者提供了灵活多样的音乐素材。2. 应用使用场景视频背景音乐：为视频内容（如YouTube视频、广告、电影等）生成定制化背景音乐。游戏音效：为游戏开发者提供动态背景音乐和音效。播客和广播：为播客、广播节目制作独特的
1. 介绍StyleGAN3 是由 NVIDIA 研发的一种先进的生成对抗网络（GAN），专门用于生成高质量、逼真的图像。StyleGAN3 在其前身 StyleGAN2 的基础上进行了改进，进一步提升了图像生成的质量和稳定性，特别是在细节处理和一致性方面表现更好。2. 应用使用场景人脸生成：生成高清、逼真的虚拟人脸，用于游戏、影视、广告等领域。图像合成：创建新的、创意性的图像，如艺术品、产品设计
1. 介绍DeepDream 是由 Google 开发的一种图像生成与增强工具。它利用卷积神经网络（CNN）来创建富有创造力和梦幻般的图像。通过激活并放大网络中的某些特征，DeepDream 能够使图像呈现出独特的视觉效果。2. 应用使用场景艺术创作：生成具有独特风格和视觉效果的艺术作品。图像增强：提高图像细节和特征，使其更加生动。数据可视化：展示神经网络在不同层次上对图像的理解。教育用途：帮助学
为什么 AI 基础设施创业艰难？
没有差异化不行，业务聚焦也不行。18个月后，AI 基础设施创业公司就要走向生命周期的尽头了吗？
多年来，我们一直没有停止训练语言模型（LMs），但关于构建大模型训练所需数据集的通用数据处理流程（Data pipelines)的相关资料极为稀少，找到这部分的资料极具挑战性。原因可能是我们常常认为大语言模型训练所需的数据集肯定存在（或者至少曾经存在过？只是如今重现这些数据集变得越来越困难）。然而，我们必须要考虑到创建这样的数据处理流程涉及的众多决定，每个决定都会对最终模型的质量有着重要的影响，正
AIGC 最佳实践：OpenAI GPT-4 - 用于高级自然语言处理任务1. 引言OpenAI 的 GPT-4 是一款先进的生成式预训练模型，专为自然语言处理（NLP）任务而设计。凭借其庞大的参数量和复杂的架构，GPT-4 在文本生成、翻译、问答系统等多个领域表现出色。2. 应用使用场景文本生成：创作文章、博客、故事等。机器翻译：进行高质量的语言翻译。对话系统：开发智能聊天机器人。问答系统：搭建
1. 引言随着人工智能生成内容（AIGC）技术的发展，处理和训练复杂模型的数据规模也在不断增长。分布式计算和高性能计算（HPC）是应对大规模数据和计算需求的重要技术。这些技术通过多节点、多设备协作，显著提升了计算效率和处理能力。2. 分布式计算与高性能计算（HPC）介绍分布式计算：将任务分解为多个子任务，分配给多个计算节点，并行完成。适用于大规模、复杂的数据处理和计算任务。高性能计算（HPC）：利
open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI) (github.com)? Tutorial | Open WebUIOpen WebUITip:
Open WebUI、Ollama、Helm、ChromaDB、RAG、Pipelines、sentence-transformers库、1、Ope
随着AIGC（人工智能生成内容）产业的快速发展，ChatGPT、Sora引发各类大模型竞赛，GPU算力目前已经在AIGC产业内成为一个关键因素。随着英伟达不断推陈出新的H100、H200、B100、B200等产品，可以看到国际上最先进的算力厂商如今已迈向由高性能计算芯片组成的超算中心、智算中心、智算数据中心。 在AIGC产业繁荣的当下，我们应该如何应对所面临的「算力危机」呢？生成式AI ——历史悠
1. 几乎所有量化方式在8bit 量化无损失
2. GPTQ 和 AWQ 4bit量化对8B模型来说有1-2%的性能损失，对70B模型只有0.4%性能损失。
3. 参数越大的模型，低bit量化损失越低。
4. 综合来说，如果追求无任何性能损失，8B模型用8bit量化，70B模型用4bit量化；如果能接受2-3%损失，8B模型用4bit量化，70B模型用3bit量化。
1. 引言AIGC（Artificial Intelligence Generated Content）技术在生成文本、图像、音乐等内容方面表现出色。然而，这些技术的应用也带来了隐私和安全问题。为了确保数据安全和用户隐私，需针对这些问题引入相应的保护和安全技术。2. 隐私保护与安全技术介绍隐私保护与安全技术包括以下几种方法：差分隐私：通过添加噪声保护个体数据。同态加密：允许在加密数据上进行计算，而
前言：公司达到一定的规模之后，都会积累大量的文档。这些文档包含：行政管理制定、财务管理制度、行业知识、政策文件、合同库、简历库等等。有时候从这些大量的文档中检索出有用的信息是一件很繁琐的事情。有了AI的介入，这个事情将变得的简单很多。FastGPT：FastGPT 是一个基于 LLM 大语言模型的开源知识库问答系统，基于apache2.0开源License。FastGPT提供开箱即用的数据处理、模
通过提出问题和获取相关信息来与 PDF 进行交互。这个本地托管的应用程序使用 LangChain 和 Streamlit。在信息时代，处理庞大的 PDF 每天都在发生。大多数时候，我发现自己淹没在文字的海洋中，努力寻找我想要或需要一页阅读的信息。但是，如果我可以询问有关 PDF 的问题，并且不仅可以恢复相关信息，还可以恢复页面内容，该怎么办？这就是检索增强生成 （RAG） 技术发挥作用的
介绍模型解释与可解释性技术（Model Interpretability and Explainability Techniques）旨在理解和解释机器学习模型的决策过程。随着人工智能和机器学习模型在多个领域的广泛应用，透明性和信任度变得至关重要。可解释性帮助我们解答“为什么模型做出了某个决策？”、“哪些特征对结果影响最显著？”等问题。应用使用场景模型解释与可解释性技术在以下场景中有重要应用：医疗
介绍多模态学习(Multimodal Learning)指的是融合来自不同模态的数据（如文本、图像、音频等）以提升模型性能的技术。其核心思想是在同一任务中使用多种类型的信息源，从而弥补单一模态可能存在的不足，提供更全面、更准确的分析和预测能力。应用使用场景多模态学习在各个领域有广泛应用，包括但不限于：图像和文本生成：结合图片和描述生成相应的文字或根据描述生成图片。情感分析：综合语音、表情、文本内容
介绍音频与语音处理技术在人工智能生成内容 (AIGC) 中扮演着关键角色。这些技术包括语音识别、语音合成、声纹识别、情感分析等，广泛应用于智能助手、翻译、娱乐和安全等领域。应用使用场景语音助手：智能音箱、手机助手（如 Siri、Google Assistant）。实时翻译：语音到语音翻译，支持跨语言交流。语音合成：文本转语音（Text-to-Speech, TTS）系统，如导航播报、电子书朗读。声
介绍预训练语言模型 (Pre-trained Language Models, PLMs) 是近年来在自然语言处理 (NLP) 领域取得重大突破的技术。这些模型通过在大量文本数据上进行无监督预训练，然后在特定任务上进行微调，从而能在多种下游任务中表现出色。典型的预训练语言模型包括 BERT、GPT-3、T5 等。应用使用场景文本生成：自动写作、新闻生成、对话系统等。机器翻译：语言间的自动翻译。文本
就在五月份，一个名为Open Glass的开源项目在Meta的Hackathon上吸引了大量的关注。因为通过20美金左右的硬件成本，结合大语言多模态模型的能力，实现了很多炫酷的功能。本文主要介绍这个开源项目硬件部分的构建。
AIGC居然没Azure OpenAI和其他分类啊…模型多不如LLM和SLM各作一类……
QAnything/QAnything使用说明.md ！！！Stirling PDF - PDF to WordGitHub - Stirling-Tools/Stirling-PDFGitHub - jina-ai/reader: Convert any URL to an LLM-friendly input with a simple prefix ://r.jina.ai/Doc