51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库

你的AI为何答非所问？解密RAG文档解析与知识切分（Chunking）的核心挑战

1 开源解析和拆分文档 第三方工具去对文件解析拆分，将文件内容给提取出来，并将我们的文档内容去拆分成一个小的chunk。常见的PDF word mark down, JSON、HTML。都可以有很好的一些模块去把这些文件去进行一个东西去提取。 1.1 优势 支持丰富的文档类型 每种文档多样化选择 与开源框架无缝集成 但有时效果非常差，来内容跟原始的文件内容差别大。 2 PDF格式多样性 复

Java
置顶 原创 2024-06-24 10:30:16 61 阅读

AI大模型企业应用实战(18)-“消灭”LLM幻觉的利器 - RAG介绍

大模型在一定程度上去改变了我们生活生工作的思考的方式，然后也越来越多的个人还有企业在思考如何将大模型去应用到更加实际的呃生产生活中去，希望大语言模型能够呃有一些更多企业级别生产落地的实践，然后去帮助我们解决一些业务上的问题。目前 1 LLM的问题 1.1 幻觉 LLM因为是一个预训练模型，它已有一些知识储备，我们提的问题跟他的知识储备不相符时，会产生一些幻觉问题，看上去正确的回答 1.2 新鲜度

Java
置顶 原创 2024-06-24 09:14:36 131 阅读

AI大模型企业应用实战(17)-利用memory为LLM解决长短时记忆问题

1 利用内存实现短时记忆 from langchain.memory import ConversationBufferMemory memory = ConversationBufferMemory() memory.chat_memory.add_user_message("你好，我是人类！") memory.chat_memory.add_ai_message(&qu

Java
置顶 原创 2024-06-23 23:12:21 96 阅读

AI大模型企业应用实战(16)-langchain核心组件

1 stuff 将文档列表插入到提示词中，适合文档较小或少量文档的应用。 2 refine 通过循环输入文档并迭代更新答案来构建响应，一次只传递给LLM一个文档，适合LLM上下文大小不能容纳的小文档。 参考： https://js.langchain.com/v0.1/docs/modules/chains/#when-to-use-1 https://js.langchain.com/v0

Java
置顶 原创 2024-06-23 23:09:35 206 阅读

AI大模型企业应用实战(15)-langchain核心组件

1 Langchain的核心组件 那肯定就是Chain 当然！ Langchain是一种功能强大且灵活的链式处理框架，广泛应用于各种数据处理和分析任务中。它的核心组件是Chain，这是所有处理流程的基石。 1.1 什么是Chain？ 在Langchain中，Chain是一个处理单元，负责接收输入数据、执行特定操作并输出结果。每个Chain可以独立工作，也可以与其他Chain组合，形成复杂的处理流程

Java
置顶 原创 2024-06-23 23:07:37 88 阅读

AI大模型企业应用实战(14)-langchain的Embedding

1 安装依赖 ! pip install --upgrade langchain ! pip install --upgrade openai==0.27.8 ! pip install -U langchain-openai ! pip show openai ! pip show langchain ! pip show langchain-openai 2 Embed_documents

Java
置顶 原创 精选 2024-06-23 23:04:43 293 阅读

AI 大模型企业应用实战(13)-Lostinthemiddle长上下文精度处理

1 长文本切分信息丢失处理方案 10+检索时性能大幅下降 相关信息在头尾性能最高 检索 ->> 排序 ->使用 实战 安装依赖： ! pip install sentence-transformers 演示如何使用 Langchain 库中的组件来处理长文本和检索相关信息。 导入所需的库 使用指定的预训练模型（MiniLM-L6-v2）创建嵌入对象 定义一系列与用户兴趣

Java
置顶 原创 精选 2024-06-23 22:58:42 317 阅读

AI 大模型企业应用实战(06)-初识LangChain

LLM大模型与AI应用的粘合剂。 1 langchain是什么以及发展过程 LangChain是一个开源框架，旨在简化使用大型语言模型构建端到端应用程序的过程，也是ReAct(reason+act)论文的落地实现。 2022年10月25日开源 54K+ star 种子轮一周1000万美金，A轮2500万美金 11个月里累计发布200多次，提交4000多次代码 2 langchain能做什么和能

Java
置顶 原创 2024-06-23 20:17:39 83 阅读

AI 大模型应用开发实战(04)-AI生态产业拆解

1 行业全景图 2 结构拆解AI GC 生成式AI这个产业。分成上中下游三大块。 2.1 上游基础层 主要包括： 算力：包括AI芯片和云服务等，例如像英伟达、AMD以及华为等厂商提供的算力基础设施。大型模型基于Transformer架构，对算力的需求很大。 数据：新时代的石油，分为基础数据服务、数据集和向量数据库。 算法：算法基础包括TensorFlow、PyTorch等著名算法框架，以及百度

Java
置顶 原创 2024-06-23 16:56:48 180 阅读

三分钟搞懂AI Agent！

0 前言 无需为不同任务使用单独软件 使用日常语言来命令你的设备 “代理”是人工智能的高级形式 未来五年将成为现实 人人都有的私人助理Agent 应用在干行百业之中(医疗、教育、娱乐....) 1 Agents 是什么？ Al Agents是基于LLM的能够自主理解、自主规划决策、执行复杂任务的智能体，Agents不是chatGPT的升级版,它不仅告诉你“如何做”,更会帮你去做,如果各种Co

Java
置顶 原创 2024-06-17 22:27:19 241 阅读

zero-shot-learning-definition-examples-comparison

1 Zero-shot learning 零样本学习。 1.1 任务定义 利用训练集数据训练模型，使得模型能够对测试集的对象进行分类，但是训练集类别和测试集类别之间没有交集；期间需要借助类别的描述，来建立训练集和测试集之间的联系，从而使得模型有效。 Zero-shot learning 就是希望我们的模型能够对其从没见过的类别进行分类，让机器具有推理能力，实现真正的智能。其中零次（Zero-sho

Java
置顶 原创 2024-06-17 21:49:59 46 阅读

04-让LLM理解知识 -Prompt

1 Prompt Prompt 可理解为用于指导AI模型生成特定类型、主题或格式内容的文本。在NLP中，Prompt 通常由一个问题或任务描述组成，例如“给我写一篇有关RAG的文章”，这句话就是Prompt。 Prompt赋予了LLM小样本甚至零样本学习的能力。 大模型的能力本质上来说是续写，通过编写更好的prompt来指导模型，并因此获得更好的结果。 无具体指令，模型只会续写。输出结果可能出

Java
置顶 原创 2024-06-14 15:50:12 93 阅读

00-macOS和Linux安装和管理多个Python版本

在 Mac 上安装多个 Python 版本可通过几种不同方法实现。 1 Homebrew 1.1 安装 Homebrew 若安装过，跳过该步。 /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" 1.2 安装 Python 如安装 Pyt

python
置顶 原创 2024-06-06 16:36:49 47 阅读 yyds干货盘点
14-ShardingSphere的分布式主键实现

14-ShardingSphere的分布式主键实现

1 ShardingSphere自动生成键 MySQL自增键、Oracle自增序列等。分片场景下问题就复杂了，不能依靠单实例上的自增键来实现不同数据节点之间的全局唯一主键，分布式主键的需求应运而生。ShardingSphere 作为一款优秀分库分表开源软件，同样提供分布式主键实现机制。 1.1 GeneratedKey 使用 ShardingSphere 提供的自动生成键方案时，开发过程及效果和上

Java
置顶 原创 2024-06-05 13:37:36 59 阅读 yyds干货盘点

为什么以及如何要进行架构设计权衡？

对于“软件架构”这个词有很多定义和含义。而且，“软件开发”、“软件设计”和“软件架构”这三个概念之间存在相当大的重叠，它们在许多方面相互交融。 从核心上看，可以将软件架构视为在构建应用程序时，对不同选择进行权衡的学科。 1 为什么需要权衡以及我们为什么在意？ 我们在构建软件时必须进行权衡的原因，与其他学科中的权衡原因相同。计算系统是复杂的，复杂性越高，实现特定系统的全部目标的方式就越微妙。这些目标

Java
置顶 原创 2024-06-03 10:34:34 13 阅读

DataGrip使用ssh连接数据库的操作流程

1 选择数据源种类 2 配置ssh 3 填写host、port和认证方式 我选择的密码方式，也可选择其他方式连接： 本文由博客一文多发平台 OpenWrite 发布！

Java
置顶 原创 2024-05-28 23:36:41 96 阅读

SpringBoot3.2更新声明！

1 从 Spring Boot 3.1 升级 1.1 参数名称发现 Spring Boot 3.2 使用的 Spring Framework 版本不再尝试通过解析字节码来推断参数名称。如果您在依赖注入或属性绑定时遇到问题,请务必检查您是否在编译时使用了 -parameters 选项。有关更多详细信息,请参阅 "升级到 Spring Framework 6.x" wiki 的此部

Java
置顶 原创 2024-05-28 21:26:52 142 阅读

SpringBoot升级到3.2.0报错Invalid value type for attribute ‘factoryBeanObjectType‘: java.lang.String

1 现象 SpringBoot由3.1.0升级为3.2.0时报的错： 直接debug进入该行，看到报错的bean信息： 看到是MyBatis出问题。 2 处理 MyBatis 先想到mybatis-spring版本较低导致。 大家应该都用的MyBatisPlus，其实可暂缓升级3.2，等待一段时间，升级MyBatisPlus即可，目前MyBatisPlus的mybatis-spring是：

Java
置顶 原创 2024-05-28 17:25:43 610 阅读

中外程序员到底有啥区别？

中国程序员的特点 中国程序员的最大优点是非常勤奋。中国互联网行业有句话叫：“they earn a lot of money but die early”（赚得多死得早）。由于工作强度大，经常有程序员突然去世的新闻报道。 996 工作制度：中国程序员通常实行“996”工作制度（即每天工作从早9点到晚9点，每周工作6天）。这已经成为程序员的潜规则。中国程序员一天的工作量通常与欧洲或美国程序员一周的

Java
置顶 原创 2024-05-27 23:50:18 68 阅读

外企也半夜发布上线吗？

0 别把问题想得太复杂 如果有灰度发布的能力，最好白天发布； 如果没有灰度发布，只能在半夜发布。 即使有灰度发布能力，也不要沾沾自喜，好好反思一下你们的灰度发布是否真的经得起考验，还是仅仅是装装样子。 回滚方案最好在上级环境中使用生产数据演练，避免在0.1%的情况下需要回滚时，发现无法简单地通过发布上一版本服务来回滚，届时会非常尴尬。 同时，服务类型也需要考虑，比如大型网络游戏（如《王者荣耀》

Java
置顶 原创 2024-05-25 23:22:11 66 阅读

在Linux下管理MySQL的大小写敏感性

当开发与Linux环境下MySQL数据库交互的Java应用程序时，理解MySQL中的大小写敏感性可以避免潜在的错误和问题。本指南深入探讨了MySQL中的大小写敏感设置，比较了5.7和8.0版本，并为Java开发者提供了最佳实践。 1 理解MySQL中的大小写敏感性 默认情况下，MySQL在Windows上是大小写不敏感的，但在Linux上是大小写敏感的。这种差异可能导致不一致性，特别是在迁移数据库

Java
置顶 原创 精选 2024-05-24 23:29:34 177 阅读

05-应用级开发者 AI 时代破局点

后端应用级开发者该如何拥抱 AI GC？就是在这样的一个大的浪潮下，我们的传统的应用级开发者。我们该如何选择职业或者是如何去快速转型，跟上这样的一个行业的一个浪潮? 0 AI金字塔模型 越往上它的整个难度就是职业机会也好，或者说是整个的这个运作也好,它的难度会越大,然后越往下机会就会越多,所以这是一个金字塔型模型。 最顶难度最高的机会最少 1 基座大模型 类似OpenAI的ChatGPT，羊驼，

Java
置顶 原创 2024-05-15 23:30:21 95 阅读

02-大厂电商设计解析之商品管理系统

1 雪花算法使用 IdWorker idWorker=new IdWorker(1,1); for(int i=0;i<10000;i++){ long id = idWorker.nextId(); System.out.println(id); } 配置分布式ID生成器 将IdWorker.java拷贝到util包 在工程的resources下新增applicatio

Java
置顶 原创 2024-05-07 23:06:22 10 阅读

01-电商商品中心解密：仅凭SKU真的足够吗？

在电子商务系统中，SKU（Stock Keeping Unit，库存单位）和SPU（Standard Product Unit，标准产品单位）是两种不同的概念，它们共同用于商品管理和库存控制。虽然理论上可以只使用SKU来管理商品，但在实际应用中，同时使用SPU和SKU有其明显的优势和必要性。 SKU（库存单位） SKU是商品的具体型号或款式，每个SKU都有唯一的标识符。 它通常关联到商品的一个具

Java
置顶 原创 2024-05-06 14:49:21 26 阅读 yyds干货盘点

2024年最好用的10款ER图神器！

分享10款ER图工具，详细分析他们的功能特点、价格和适用场景，可以根据你的需求进行选择。ER图（Entity-Relationship Diagram）是数据库设计中常用的一种模型，用于描述实体之间的关系。这种图形化的表示方法旨在帮助人们理解和设计数据库结构，它们在数据库开发和设计中非常有用。 1 boardmix 灵活的[在线ER图工具]，它能够用于绘制包括ER图、uml图、组织架构图、数据流

Java
置顶 原创 2024-04-26 22:03:55 957 阅读

01-大语言模型发展

AI大模型的相关的一些基础知识，一些背景和基础知识。 多模型强应用AI 2.0时代应用开发者的机会。 0 大纲 AI产业的拆解和常见名词 应用级开发者，在目前这样一个大背景下的一个职业上面的一些机会 实战部分的，做这个agent，即所谓智能体的这么一个虚拟项目，项目需求分析、技术选型等 1 大语言模型发展 LLM，Large Language Model，大语言模型。为什么叫2.0？因为在大

Java
置顶 原创 2024-04-21 18:39:48 59 阅读 yyds干货盘点

基于SpringWeb MultipartFile文件上传、下载功能

在Web开发中，文件上传是一个常见的功能需求。Spring框架提供了MultipartFile接口，用于处理文件上传请求。MultipartFile可以代表一个多部分文件上传请求中的一个文件，提供了一系列方法用于获取文件的各种属性和内容，使得在后端处理文件上传变得十分方便。下面我们将介绍MultipartFile在Web应用中的几种常见使用场景。 1. 图片上传 在Web应用中，图片上传是一种常见

Java
置顶 原创 2024-04-17 10:10:49 117 阅读

RAG应用开发实战02-相似性检索的关键 - Embedding

1 文本Embedding 将整个文本转化为实数向量的技术。 Embedding优点是可将离散的词语或句子转化为连续的向量，就可用数学方法来处理词语或句子，捕捉到文本的语义信息，文本和文本的关系信息。 ◉ 优质的Embedding通常会让语义相似的文本在空间中彼此接近 ◉ 优质的Embedding相似的语义关系可以通过向量的算术运算来表示： 2 文本Embedding模型的演进与选型 目前的

Java
置顶 原创 2024-04-14 17:30:55 215 阅读

你的AI为何答非所问？解密RAG文档解析与知识切分（Chunking）的核心挑战

1 开源解析和拆分文档 第三方的工具去对文件解析拆分，去将我们的文件内容给提取出来，并将我们的文档内容去拆分成一个小的chunk。常见的PDF word mark down, JSON、HTML。都可以有很好的一些模块去把这些文件去进行一个东西去提取。 优势 支持丰富的文档类型 每种文档多样化选择 与开源框架无缝集成 但有时效果非常差，来内容跟原始的文件内容差别大。 2 PDF格式多样性

Java
置顶 原创 2024-04-11 22:12:51 185 阅读

为什么要学习大模型应用开发？

0 prompt engineer 就是prompt工程师它的底层透视。 1 学习大模型的重要性 底层逻辑 人工智能大潮已来，不加入就可能被淘汰。就好像现在职场里谁不会用PPT和excel一样，基本上你见不到。你问任何一个人问他会不会用PPT，他都会说会用，只是说好还是不好。你除非说这个岗位跟电脑完全无关。但凡说能用上电脑的，基本上都会用excel和PPT，你不会用的基本上都被淘汰了，逻辑一样。

Java
置顶 原创 2024-04-04 21:58:58 55 阅读

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯