关键字：

BERT架构、ColBERT、分段标识符、

Tip:

  • vllm部署的模型通过OpenAI-API-Compatible模型厂商添加；
  • Dify 和 FastGPT 的选型：其实有一个非常重要的关键点，Dify线上版至今还不支持多LLM并行，而FastGPT 稳定支持。在某些业务场景下，这一点就足以决定选型了。

1、优化模型

面壁智能推出小钢炮开源 MiniCPM3-4B AI 模型：MiniCPM3-4B 是 MiniCPM 系列的第三代产品，整体性能超过了 Phi-3.5-mini-Instruct 和 GPT-3.5-Turbo-0125，媲美多款 70 亿～90 亿参数的 AI 模型。支持函数调用和代码解释器。

  • 面壁智能还发布了 RAG 套件 MiniCPM-Embedding 模型和 MiniCPM-Reranker 模型，针对 RAG 场景还发布了微调版 MiniCPM3-RAG-LoRA 模型。

2、Cohere 公司发布了最新版本的 Command R 和 Command R+ 模型，这些企业级 AI 模型经过优化，专为商业应用场景设计。新版模型在编码、数学、推理和延迟方面进行了显著提升，特别是在处理检索增强生成 (RAG) 和多语言支持方面表现出色。

  • RAG 精度：改进了多语言环境下的检索增强生成功能，增加了行内引用，帮助用户验证模型输出，减少错误或“幻觉”的产生。

 3、Jina AI发布 Jina ColBERT v2版本，基于BERT架构开发，旨在优化查询和文档之间的匹配和排序。用于在搜索引擎、推荐系统、问答系统等应用中实现高效、精确的信息检索和排序。

  • ColBERT 是一种专门用于信息检索的模型，名字来源于 “Contextualized Late Interaction over BERT”（基于BERT的上下文化后期交互）。它结合了BERT模型强大的语言理解能力，并在此基础上引入了一种新颖的“后期交互”机制，使得搜索变得更加高效和精准。
为什么ColBERT如此特别？
  1. 高效检索：传统的搜索模型在处理查询时，需要对每个可能的文档进行大量计算，而ColBERT可以预先计算并存储文档的编码，查询时只需简单对比，速度更快。
  2. 支持大规模数据：由于文档编码可以提前完成，ColBERT特别适合处理大规模数据集，例如数百万甚至数十亿条文档的检索任务。
  3. 节省存储空间：ColBERTv2通过压缩技术，显著减少了模型的存储需求，使得在大规模数据集上使用也不会占用过多的存储资源。

3、知识库的解析方法选择“General”，分段标识符的配置只看单字符，例如配置//，只认单/