算法评测报告

算法评测报告

概述

• 命中率：

  • 加分项

    完整原问题命中率93.4% ，直接模糊检索的关键词命中率90.3%，调整原问题中词汇的近义词的命中率

    85%，句式结构变化而含义不变命中率95.5%.

  • 减分项

    • 无关问题（应该返回空数组）

      问题数据总数20，达标率（返回空数组数/总数）65%

    • 语气、助词、等无用语句对结果与命中率的影响

      问题数据总数20, 含语气词，命中率100%.

       

    ---

     

 

一、加分视角

• 完整原问题命中率

  • 数据量及命中率：财务123条、运营234条；运营命中率96.6%，财务命中率90.2%，取平均为：93.4%

  • 示例

    1、命中示例：
        --request ：
            {
        "question": "请问我需要更换我在系统里的薪资卡，怎么办?",
        "robot": "operation"
    }
        --response ：
            {
        "ext": null,
        "responseData": {
            "questions": [
                {
                    "ques": "请问我需要更换我在系统里的薪资卡，怎么办?",
                    "id": "3"
                },
                {
                    "ques": "我是新入职员工，hi报销绑定薪资卡提示参数非法",
                    "id": "199"
                },
                {
                    "ques": "客脉里已经审核完毕的供应商手机号码或者银行卡需要变更，如何处理？",
                    "id": "9"
                },
                {
                    "ques": "企业供应商，银行账号需要更改",
                    "id": "23"
                },
                {
                    "ques": "个人供应商审核通过，需要重新维护个人供应商银行卡信息怎么办",
                    "id": "24"
                },
                {
                    "ques": "如何修改已经审核通过的企业供应商的银行账户信息",
                    "id": "25"
                },
                {
                    "ques": "企业供应商维护找不到所属银行",
                    "id": "14"
                },
                {
                    "ques": "做合同的时候，供应商的银行账号选错了怎么办？",
                    "id": "38"
                },
                {
                    "ques": "RTX密码忘记了，如何修改",
                    "id": "198"
                },
                {
                    "ques": "如何更换公司预留手机号",
                    "id": "215"
                }
            ],
            "msgCode": "700"
        },
        "message": "成功",
        "msgCode": "100"
    }
    2、未命中示例：
        --request ：
            {
        "question": "客脉里维护医生/护士信息时，在对应的网站里没有查询到资格证号信息，该怎么处理？",
        "robot": "operation"
            }
       --response ：
            {
        "ext": null,
        "responseData": {
            "questions": [
                {
                    "ques": "护士资格证查询网址",
                    "id": "6"
                },
                {
                    "ques": "医生资格证的查询网址",
                    "id": "5"
                },
                {
                    "ques": "晴优品商城里如何搜索商品？",
                    "id": "151"
                },
                {
                    "ques": "搜索不到想要用餐的商户",
                    "id": "121"
                },
                {
                    "ques": "药房录单了，柳叶助手怎么查录单信息",
                    "id": "99"
                },
                {
                    "ques": "在客脉里添加了信息，为什么请款\/报销时还是不能搜索到？",
                    "id": "27"
                },
                {
                    "ques": "项目管理里领导已经审批完毕，团队成员已选择该用户，但是用户打Q计划时，无法搜索到该项目",
                    "id": "146"
                },
                {
                    "ques": "创建合同选择不到对应的供应商",
                    "id": "33"
                },
                {
                    "ques": "晴闪寄月结号查询",
                    "id": "220"
                },
                {
                    "ques": "晴优品商城是否有物流信息",
                    "id": "148"
                }
            ],
            "msgCode":