阿里开发规范 索引命名 阿里搜索算法

 

任务和主题

本次题目围绕电商领域搜索算法，开发者们可以通过基于阿里巴巴集团自研的高性能分布式搜索引擎问天引擎（提供高工程性能的电商智能搜索平台），可以快速迭代搜索算法，无需自主建设检索全链路环境。

本次评测的数据来自于淘宝搜索真实的业务场景，其中整个搜索商品集合按照商品的类别随机抽样保证了数据的多样性，搜索Query和相关的商品来自点击行为日志并通过模型+人工确认的方式完成校验保证了训练和测试数据的准确性。

比赛形式分为初赛和复赛两部分，分别从向量召回角度和精排模型角度让选手比拼算法模型。

初赛：
提供HA3环境，让选手PK向量召回模型的效果，选手拿到100万全量Doc和10万对Query-Doc相关训练集，自行训练向量召回模型。选手每次提交的内容为100万全量Doc通过模型转换的embedding（固定维度，如128）以及测试集1000条Query转换的embedding。我们通过回流数据，建向量索引，查询测试，给出评测指标（MRR@10，正确Doc排的位置越靠前分越高）。

复赛：
对于进入到复赛的选手开放精排模型的PK，选手需要在PAI上按照我们要求的模型格式训练精排模型。选手每次提交的内容除了初赛的Doc和Query的embedding，还包括训练好的精排模型。我们通过回流数据，建向量索引，查询测试（该阶段会做超时限制，防止选手无限制扩大模型复杂度），给出评测指标。

参赛流程

下载比赛数据
↓
在任意环境训练向量召回模型
↓
用训练好的模型预测出语料库embedding+测试集query的embedding
↓
在天池上传2份文件进行评测 （按要求打包为.tar.gz格式的压缩包进行提交）
↓
问天引擎回流数据进行测试算分
↓
返回本次模型得分