KVcache一句话总结：KV cache其实就是通过空间换取时间的方式，通过缓存Attention中的K和V来实现推理优化。注意力机制公式其中：Q 表示查询（Query）矩阵K 表示键（Key）矩阵V 表示值（Value）矩阵dk 是键向量的维度，用于缩放因子，防止内积后的数值过大导致梯度消失问题softmax函数是用来归一化权重的计算过程矩阵乘法（QKT）：首先，计算查询矩阵Q和键矩阵K的转置
大海捞针测试通过在长文本中随机插入关键信息，形成大型语言模型（LLM）的Prompt。该测试旨在检测大型模型能否从长文本中提取出这些关键信息，从而评估模型处理长文本信息提取的能力
数星星测试通过两个任务评估LLMs的长上下文能力：多证据获取和多证据推理。实验使用了多种长文本数据，中文版本使用《红楼梦》，英文版本使用Paul Graham的文章作为长文本。
介绍变分自编码器（Variational Autoencoder, VAE）是一种生成模型，通过学习数据的隐空间表示（latent space），能够生成与训练数据分布相似的新样本。与传统自编码器不同，VAE 在编码和解码过程中引入了概率模型，可以生成更具多样性和连续性的样本。应用使用场景图像生成：生成高质量的图像。图像重建：对损坏或部分缺失的图像进行修复。数据增强：生成新样本以增强训练数据集。异
1、word转换成excel涉及到多行转一行问题，技巧：在“飞书”新建“表格”，然后复制黏贴word的表格内容，不仅解决多行转一行问题，还去除了空白行等，然后下载到本地，导入至RAGFlow的Q&A知识库。2、coze“知识库”添加内容，在线数据---自动采集：添加方式选“添加单个”，采集博客网页，出现内容不全的现象（例如https://blog.51cto.com/mizy/861968
介绍生成对抗网络（Generative Adversarial Networks, GAN）是一种深度学习模型架构，由 Ian Goodfellow 等人于 2014 年提出。GAN 由两个神经网络组成：生成器（Generator）和判别器（Discriminator）。生成器试图生成逼真的数据样本，而判别器则尝试区分这些生成的数据与真实数据。应用使用场景图像生成：如生成高质量的图片、艺术品等。图
介绍机器学习（Machine Learning, ML）和深度学习（Deep Learning, DL）是人工智能生成内容（AIGC）的核心底层技术。ML 通过数据驱动的方法使得计算机能够自动学习和改进，而 DL 通过多层神经网络模型大大提升了复杂任务的处理能力。应用使用场景图像识别和生成：如人脸识别、图像分类、图像超分辨率、图像修复等。自然语言处理：如文本生成、机器翻译、情感分析等。自动驾驶：如
介绍计算机视觉（Computer Vision, CV）是人工智能的一个分支，旨在使计算机能够从图像或视频中获取信息、理解环境、并采取相应行动。CV 在 AIGC 系统中具有重要地位，被广泛应用于图像识别、物体检测、姿态估计、图像生成等任务。应用使用场景图像分类：如手写数字识别、人脸识别等。物体检测：用于自动驾驶车辆中的行人检测、目标监控等。图像语义分割：将图像划分为不同区域，如医学影像分析。姿态
介绍自然语言处理（Natural Language Processing, NLP）是人工智能的一个分支，旨在使计算机能够理解、生成和互动自然人类语言。NLP 在 AIGC 系统中发挥着重要作用，广泛应用于文本生成、机器翻译、情感分析等任务。应用使用场景文本生成：如新闻生成、诗歌创作、代码自动补全。机器翻译：实现不同语言间的自动翻译，如 Google Translate 等。情感分析：从社交媒体或
介绍卷积神经网络（Convolutional Neural Network, CNN）是一种深度学习模型，特别擅长处理图像数据。它利用卷积操作来提取图像中的特征，并通过层级结构逐步捕获高层次语义信息。在 AIGC（Artificial Intelligence Generated Content）系统中，CNN 广泛应用于图像生成、图像识别、图像分割等任务。应用使用场景图像分类：如手写数字识别、物
介绍高性能异构分布式视频点播系统（Video On Demand, VOD）是一种允许用户根据自己需求随时观看视频内容的系统。该系统需要能够处理大量并发请求，同时保证视频的高质量播放。异构分布式系统指的是利用多种不同类型的硬件资源（如 CPU、GPU 和专用加速器等）来提高系统性能。使用场景在线视频平台：如 YouTube、Netflix，用户可以点播各种视频内容。教育平台：在线教育网站，通过点播
关键字：
WSL、istio、ctr -n=k8s.io、1、要将 WSL 中的文件拷贝到 Windows 中的其他文件夹，可以使用以下两种方法：通过\\wsl$访问：在文件资源管理器的地址栏中输入\\wsl$，然后找到对应的 Linux 分发版，进入其文件系统，将文件拷贝到相应的位置。使用 cp 命令：在 WSL 中使用cp命令将文件拷贝到 Windows 中的某个文件夹。例如，要将 WSL 中
在当今科技飞速发展的时代，人工智能生成内容（AI Generated Content, AIGC）正以其独特的魅力和无限的潜力，深刻地影响着媒体、艺术、科研等多个领域。本篇博客旨在深入剖析AIGC背后的技术原理，从核心算法到应用实践，为您呈现一幅详尽的技术画卷。1. 机器学习：基石与起点机器学习作为AIGC技术的基石，其核心在于让计算机系统通过数据学习并做出决策或预测，而无需显式编程。A
在这样的一个非常大的浪潮下，我们传统的应用开发者应该如何选择职业，跟上行业发展、实现快速的转型，接下来我们一起来看一下 "应用级开发者应该如何拥抱AIGC" 。
模型训练和优化中使用的近似值算法。
编者按： 如何充分发挥大模型的潜能，用好大模型，关键在于如何优化向它们发送的提示词（prompt），是为提示词工程（prompt engineering）。
本文Netflix 机器学习科学家Cameron R. Wolfe的提示词优化经验分享，阐述了目前提示词的主要构成要素，介绍了与提示词相关的上下文窗口相关信息，并总结了一些行之有效的优化策略，如实事求是，实证为本、先从简单着手、若无必要，尽
1、一共5个镜像：2024/6/13
$ git clone https://github.com/infiniflow/ragflow.git
$ cd ragflow/docker
$ chmod +x ./entrypoint.sh
$ docker compose up -d #老失败，以下单独拉取
docker pull infiniflow/ragflow:dev
什么是AIGCAIGC的中文名字是 生成式人工智能，让机器产生复杂有结构的物件。AIGC底层技术文字接龙原本的目标：“中国的首都是哪个城市？北京”拆分成一连串的文字接龙（分类问题）：中国的首都是哪个城市？北中国的首都是哪个城市？北京中国的首都是哪个城市？北京[DONE]通过大量的问题训练，模型可以自动做到文字接龙。文字接龙训练分成三个阶段。阶段一：PreTraining知识分为语言知识、
编者按： LLMs 被视为 AI 领域的一个里程碑式的突破，但要将其应用于实际生产环境，并且还能用对、用好并非易事。模型的使用成本和响应延迟是目前将大语言模型（LLMs）应用于生产环境中的核心难题之一。在本期刊载的这篇文章中，作者从自身项目的实践经验出发，分享了一系列实用技巧，帮助优化 LLM Prompt ，能够一定程度上降低大模型的使用成本和响应延迟。文章首先解析了导致高成本和
手把手教你构建Agentic RAG：一种基于多文档RAG应用的AI Agent智能体 (.)一文说清大模型RAG应用中的两种高级检索模式：你还只知道向量检索吗？ (.)1、经典RAG应付不了的场景：基于全局的理解文档后回答问题。比如：对某知识内容进行总结摘要？跨文档与知识库的回答问题。比如：比较不同文档内容的区别？结合非知识工具的复合场景。比如：从文档提取产品介绍发送给xx客
Softmax和Sigmoid函数在多模态图像嵌入模型中的运用。
这一小节呢为大家针对AIGC的相关产业进行一个拆解，以及相关的一些专业名词做出解释，方便让大家理解整个大模型的应用开发，了解自己目前的行业所处在什么样的位置，甚至于说对这个产业的了解，如果想要投身到AIGC这个行业，对今后的职业发展有一个大概的认知。
编者按： 本文深入探讨了如何通过优化动态上下文信息（Dynamic Context）来提升 AI Agents 的工作效率和准确性。文章首先概述了五种常见的技术策略，包括信息标识(Message Labeling)、针对不同需求设定不同上下文、优化系统提示词(System Prompts)、精简 RAG 系统中冗余信息，以及其他处理上下文的高级策略。随后，作者分享了一些技术实施细节和经验教训，这些
人工智能生成内容（AIGC，Artificial Intelligence Generated Content）的底层技术涉及多种人工智能和机器学习领域的先进技术。以下是构成AIGC的主要底层技术：1. 自然语言处理（NLP）自然语言处理是处理和生成人类语言的关键技术。以下是NLP的几个重要组成部分：语言模型：如OpenAI的GPT（Generative Pre-trained Transform
Softmax函数及其NN应用
如果你想运行自己的大型语言模型，比如 ChatGPT，你很幸运。到目前为止，Ollama 是我的最爱之一。在本教程中，我们将在您的 Ubuntu 机器上使用 WebUI 设置 Ollama。这是运行自己的 LLM 进行学习和实验的好方法，而且它是私有的——所有这些都在你自己的机器上运行。Ubuntu 系统系统使用：buntu 24.04 LTS。 默认系统没有安装其他软件，可以涵盖你可能需要的依赖
Dify与之前的MaxKB不同，MaxKB可以实现基础的问答以及知识库功能，但是如果要开发一个Agent，或者工作流就还是需要额外开发，而Dify 是一个开源 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 管道、代理功能、模型管理、可观察性功能等，让您可以快速从原型开发到生产。以下是核心功能的列表：工作流程，全面的模型支
在前面三个章节呢，为大家从技术的角度介绍了大模型的历程与发展，也为大家介绍了目前主流的大模型的一些特点。在平时的使用中呢，我们也能够感受得到 **大模型** 非常的强大，但不可否认的是 大模型也存在着一些不足的部分，具体表现在以下几方面。