前言
在高级RAG的应用中，常常会有一些“检索后处理（Post-Retrieval）”的环节。顾名思义，这是在检索出输入问题相关的多个Chunk后，在交给LLM合成答案之前的一个处理环节。在这个环节中，可以做一些诸如相似度过滤、关键词过滤、chunk内容替换等处理。其中，**Rerank（重排序）**是一种常见的，也是在RAG应用优化中很常见的一种技术处理环节。
简单的说，Rerank就是对检索出来的多个chunks（或者nodes）列表进行重新排序，使得其排名与用户输入问题的相关性更匹配，使得更相关、更准确的chunk排名更靠前，从而在 LLM生成时能够被优先考虑以提高输出质量。
那么，有了基于向量索引与语义相似度的检索，为什么还需要Rerank？
- RAG应用中有多种索引类型，很多索引技术并非基于语义与向量构建，其检索的结果希望借助独立的Rerank实现语义重排
- 在一些复杂RAG范式中，很多时候会使用多路混合检索来获取更多相关知识；这些来自不同源、不同检索算法的chunks要借助Rerank做重排
- 即使是完全基于向量构建的索引，由于不同的嵌入模型、相似算法、语言环境、领域知识特点等影响，其语义检索的相关度排序也可能发生较大的偏差；此时借助独立的Rerank模型做纠正也非常有意义
Rerank通常需要借助于独立的算法或模型来实现。本文将实践与推荐两种被广泛使用的优秀Rerank模型：
- 在线模型 - Cohere Rerank模型
- 本地模型 - bge-reranker-large模型
Cohere Rerank模型
Cohere Rerank是一个商业闭源的Rerank模型。它根据与指定查询问题的语义相关性对多个文本输入进行排序，专门用于帮助关键词或向量搜索返回的结果做重新排序与提升质量。
为了使用Cohere Rerank，你首先需要在官方网站（https://cohere.com/）注册后申请测试的API-key（测试使用免费）：
Cohere Rerank的使用非常简单，通常在LangChain与LlamaIndex框架中也会集成其SDK的使用。现在我们使用如下测试代码，来对比在Rerank之前和之后的chunk节点的排序区别（代码基于LlamaIndex框架构建，并利用其内置的cohere_rerank检索后处理器组件，这里使用了一段关于百度文心一言的介绍文档构建上下文知识库）：
from llama\_index.postprocessor.cohere\_rerank import CohereRerank
`.....``#使用默认的嵌入模型构造向量索引 docs = SimpleDirectoryReader(input_files=["../../data/yiyan.txt"]).load_data() nodes = SentenceSplitter(chunk_size=100,chunk_overlap=0).get_nodes_from_documents(docs) vector_index = VectorStoreIndex(nodes) #检索器``retriever =vector_index.as_retriever(similarity_top_k=5)`` #不借助cohere rerank，直接检索出结果 nodes = retriever.retrieve("百度文心一言的逻辑推理能力怎么样？") print('================before rerank================') print_nodes(nodes) #借助cohere rerank模型重排结果 cohere_rerank = CohereRerank(model='rerank-multilingual-v3.0',api_key='***', top_n=2) rerank_nodes = cohere_rerank.postprocess_nodes(nodes,query_str='百度文心一言的逻辑推理能力怎么样？') print('================after rerank================') print_nodes(rerank_nodes)`首先看不经过Rerank重排、直接向量检索的排序结果：
这里只打印了排名前两位的chunk节点内容，用来和后面Rerank之后的排名做对比。现在再看下经过Cohere Rerank模型重新排序后的前两名：
有意思的是，这里的前两名的排名结果刚好和未经过Rerank之前的排名相反！从chunk节点的内容与相应的评分(score)也能看出来，在调用Cohere Rerank之后，节点内容的相关性和其对应的评分更加匹配，排序也更加合理。这种更加合理的排名一方面有利于LLM生成更准确的回复；另一方面也可以帮助降低top_K数量，以节约上下文空间。
如果你不使用LlamaIndex，也可以导入官方cohere模块使用，这可以很方便的插入到你现有的各种应用代码中：
import cohere
co = cohere.Client(api_key="<YOUR API KEY>")
query = "你的问题..."
docs = ["相关文档1...","相关文档2...","相关文档3...",...]
results = co.rerank(model="rerank-multilingual-v3.0", query=query, documents=docs, top_n=5, return_documents=True)注意如果需要中文支持，必须使用rerank-multilingual-v3.0模型。
bge-reranker-large模型
bge-reranker-large是国内智源开源的一个被广泛使用的Rerank模型，在众多的模型测试中有着非常优秀的成绩。为了使用这个Rerank模型，我们使用HuggingFace 的TEI来本地化部署这个模型并提供服务。在安装与部署TEI后，在命令行执行如下命令可自动下载该模型并启动TEI服务：
model=BAAI/bge-reranker-large
text-embeddings-router --model-id $model --port 8080TEI，是HuggingFace 推出的开源 Text Embedding Inherence工具的简称，该工具主要是以部署 Embedding 模型为主(注意TEI本身不是模型，而是类似Ollama的模型部署工具），同时也支持 Rerank 模型的部署。在Mac上的基本安装过程如下（其他平台请参考官方文档）：
#安装rust，如出现错误，需要修改.bash\_profile的权限
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
#下载TEI代码
git clone https://github.com/huggingface/text-embeddings-inference.git
#进入到代码目录，安装metal（m芯片，如果是intel芯片，则metal修改为mkl）
cd text-embeddings-inference
cargo install --path router -F metal
#启动向量服务（在linux可能需要安装gcc/openssl：#sudo apt-get install libssl-dev gcc -y）
\# 拉取模型，并启动模型服务
model=BAAI/bge-large-zh-v1.5
text-embeddings-inference % text-embeddings-router --model-id $model --port 8080由于TEI使用了FastAPI规范暴露API接口，因此可以在浏览器中访问：http://localhost:8080/docs/查看当前TEI暴露的接口文档，甚至可以直接测试Rerank接口：
现在可以开始设计使用该本地的Rerank服务做重排序。由于LlamaIndex目前并没有直接内置集成使用该模型的组件，因此无法像Cohere Reranker那样快速集成。这里我们创建一个自定义的检索后处理器，来实现基于TEI与bge-reranker-large模型的Rerank方法，完整代码如下：
import requests
from typing import List, Optional
from llama_index.core.bridge.pydantic import Field, PrivateAttr
from llama_index.core.postprocessor.types import BaseNodePostprocessor
from llama_index.core.schema import NodeWithScore, QueryBundle
class BgeRerank(BaseNodePostprocessor):
url: str = Field(description="Rerank server url.")
top_n: int = Field(description="Top N nodes to return.")
def __init__(self,top_n: int,url: str):
super().__init__(url=url, top_n=top_n)
#调用TEI的rerank模型服务，实现rerank方法
def rerank(self, query, texts):
url = f"{self.url}/rerank"
request_body = {"query": query, "texts": texts, "truncate": False}
response = requests.post(url, json=request_body)
if response.status_code != 200:
raise RuntimeError(f"Failed to rerank, detail: {response}")
return response.json()
@classmethod
def class_name(cls) -> str:
return "BgeRerank"
#实现LlamaIndex要求的postprocessor的接口
def _postprocess_nodes(
self,
nodes: List[NodeWithScore],
query_bundle: Optional[QueryBundle] = None,
) -> List[NodeWithScore]:
if query_bundle is None:
raise ValueError("Missing query bundle in extra info.")
if len(nodes) == 0:
return []
#调用rerank
texts = [node.text for node in nodes]
results = self.rerank(
query=query_bundle.query_str,
texts=texts,
)
#组装返回nodes
new_nodes = []
for result in results[0 : self.top_n]:
new_node_with_score = NodeWithScore(
node=nodes[int(result["index"])].node,
score=result["score"],
)
new_nodes.append(new_node_with_score)
return new_nodes构建好这个自定义的检索后处理器后，就可以像之前使用Cohere Rerank一样使用它，我们只需要把上一节的例子稍作修改即可：
......
#创建自定义的检索后处理器
customRerank = BgeRerank(url="http://localhost:8080",top_n=2)
#测试处理节点
rerank_nodes = customRerank.postprocess_nodes(nodes,query_str='百度文心一言的逻辑推理能力怎么样?')
......在上面相同用例的情况下，最后输出重新排序的节点信息如下，可以看到，这里的排序结果和上一节使用的Cohere Rerank模型很类似：
现在你就拥有了一个本地部署的强大的Rerank模型服务！
结束语
上面简单介绍了两种很出色的Rerank模型的使用，其中Cohere Rerank是一种商业在线的模型方案；而另外一种更具实用价值、且开源可部署在本地的是bge-reranker-large模型，由于其对资源要求较低，借助TEI工具你可以在本机或企业内部环境轻松部署，用来对自有RAG应用提供服务。
尽管Rerank在RAG管道中所处的环节似乎没有检索（Retrieval）或者生成（Generation）那么重要和必须，但由于其实现简单、资源要求较低、且不依赖于嵌入模型，但是却能够很好的改善最终生成的质量，用较小的代价让你的RAG应用百尺竿头，更进一步；此外Rerank也是一些高级检索的必要步骤，比如之前介绍的融合检索。因此有兴趣的朋友不妨一试，或许能带来意想不到的惊喜！
