一、豆瓣多轮对话数据集
1、简介:
测试数据包含 1000 个对话上下文,对于每个上下文,创建 10 个响应作为候选。正确的响应意味着响应可以自然地回复给定上下文的消息。每对收到三个标签,大多数标签被视为最终决定。
2、数据格式:
标签 \t 对话话语(由 \t 分割)\t 响应
3、下载
https://github.com/MarkWuNLP/MultiTurnResponseSelection
二、KdConv
1、清华 ACL 2020 论文:https://arxiv.org/abs/2004.04100
2、简介:KdConv是中文多领域知识驱动对话数据集。KdConv 包含来自三个领域(电影、音乐和旅行)的4.5K对话和86K话语,平均轮数为19.0。这些对话包含对相关主题的深入讨论和多个主题之间的自然过渡,同时语料库还可以用于探索迁移学习和领域适应。
3、下载:
https://github.com/thu-coai/KdConv
三、zhdd
1、简介:
- zhddline: 中文对话数据集, 从 DailyDialog 数据集翻译而来(基于搜狗翻译API),短文本。
- zhdd: zhddline的会话版,每一个会话被拼接为一个文档,长文本。共有12336个文档。.
涉及领域:日常生活的各种话题
2、下载链接
https://github.com/zll17/Neural_Topic_Models#datasets
四、2018-2019年京东对话挑战赛数据集
京东对话挑战赛对话数据集主要是客服对话数据
1、2018年
数据集说明:
(1).原训练语料, path:data/chat.txt
(2).数据清洗之后的训练语料:train.enc、train.dec、test.enc、test.dec
(3).测试模型数据,测试问题test.txt和输出结果result.txt,path:data/test/
2、2019年:
数据各字段属性的解释 (1)会话编号:每个会话都会有唯一的编号,可以以此区分会话。 (2)顾客ID:每位顾客都会有唯一的ID,已脱敏。 (3)SKU:商品的编号。每个商品都有唯一的编号。若SKU的值为NULL,则表示该会话不涉及具体商品
数据的规模 开发集和测试集均包含52个会话。
3、下载:
2018年:https://github.com/SimonJYang/JDDC-Baseline-Seq2Seq
2019年:https://github.com/EndlessLethe/jddc2019-3th-retrieve-model
五、淘宝客服对话数据
又名:E-commerical Conversation Corpus
1、简介:
电子商务对话语料库,包括基于检索的聊天机器人的训练数据集、开发集和测试集。电子商务会话语料库统计如下表所示。
2、数据格式:
跟豆瓣多轮对话数据集一样
3、下载:
https://github.com/cooelf/DeepUtteranceAggregation
六、chatterbot-corpus-chinese
1、简介:
ChatterBot Corpus 中包含的数据文件使用YAML语法进行格式化。按类型领域分类,质量较高。
涉及领域:历史、电影、食物等十几种类型,每一类型一个yml文件
缺点:每一类型的对话数量很少
2、下载:
https://github.com/gunthercox/chatterbot-corpus/tree/master/chatterbot_corpus/data/chinese
七、天池中文医疗数据集CMDD
1、简介:
本数据集CMDD由好大夫和圣地亚哥大学提供。可基于数据集进行学习、科学研究
2、下载:
https://tianchi.aliyun.com/dataset/dataDetail?dataId=92110b
八、天池中文医疗数据集Toyhom
1、简介
中文医疗对话数据集由792099个问答对组成。 本数据集共有6个文件,包括男科、内科、妇产科、肿瘤科、儿科和外科。
2、下载:
Chinese Medical Dialogue Dataset 中文医疗对话数据集_数据集-阿里云天池
九、Ubuntu对话语料库
1、简介:
Ubuntu对话语料库包括从Ubuntu聊天记录中提取的近一百万个两人对话,用于获得针对与Ubuntu相关的各种问题的技术支持。每次对话平均8轮,至少3轮。所有对话均以文本形式(而非音频)进行。
完整的数据集包含93万个对话和超过1亿个单词。该数据集包含分布在.csv文件中的该数据集的样本。该数据集包含超过2.69亿个单词的文本,分布超过了2600万圈。
2、下载:
Ubuntu对话语料库 2600万次自然的两人对话_数据集-阿里云天池
十、百度DuConv
1、简介
训练集样例数量 | 开发集样例数量 | 测试集样例数量 | 单/多轮 | 领域 |
19858 | 2000 | 5000 | 多轮 | 电影、明星 |
2、下载:
https://github.com/Cindy-xdZhang/ACL-duconv
3、论文:
Proactive Human-Machine Conversation with Explicit Conversation Goals
十一、百度DuRecDial
1、简介:
DuRecDial包含多种类型的对话(推荐对话、闲聊、任务导向对话和QA),来自7个领域(电影、明星、音乐、新闻、食物、poi和天气)的10.2k对话,以及156K个utterances。
2、下载:
https://baidu-nlp.bj.bcebos.com/DuRecDial.zip
3、论文:
https://arxiv.org/pdf/2005.03954.pdf
十二、清华LCCC
1、简介:
所提供的数据集LCCC(Large-scale Cleaned Chinese Conversation)主要包含两部分: LCCC-base 和 LCCC-large,属于开放域对话数据集。
2、下载:
https://github.com/thu-coai/CDial-GPT
十三、PTT 中文語料
1、简介:
台湾PTT论坛繁体字八卦版,单轮对话,文本噪声比较大。
有两份数据:Gossiping-QA-Dataset.txt 和 Gossiping-QA-Dataset-2_0.csv
2、下载:
https://github.com/zake7749/Gossiping-Chinese-Corpus
十四、Subtitle Corpus
1、简介:
电视剧对白语料,来自爬取的电影和美剧的字幕。有一些噪音,对白不一定是严谨的对话,原本是多轮(平均5.3轮)。
2、下载:
https://github.com/aceimnorstuvwxz/dgk_lost_conv
十五、青云语料库
1、简介:
来源于聊天机器人交流群。开放域。12万条对话。
2、下载:
https://drive.google.com/file/d/1So-m83NdUHexfjJ912rQ4GItdLvnmJMD/view?usp=sharing
十六、weibo微博语料
1、简介:
来自华为的paper,443W条对话。
2、下载:
https://drive.google.com/file/d/1So-m83NdUHexfjJ912rQ4GItdLvnmJMD/view?usp=sharing
十七、贴吧论坛回帖语料
1、简介:
来源于贴吧论坛回帖,是多轮对话数据集。存在有噪音。
2、下载:
https://github.com/codemayq/chinese_chatbot_corpus
十八、腾讯NaturalConv
1、简介:
NaturalConv是腾讯2021年发布的中文对话数据集,是基于话题驱动的中文对话生成,它更接近于类人对话,具有自然属性,包括场景假设、自由话题扩展、问候等。它更接近于类人对话,具有自然属性,包括场景假设、自由话题扩展、问候语等完整的自然环境。它包含约400K语句和19.9K对话,涉及多个领域(包括但不限于体育、娱乐、科技)。平均轮数为20,明显长于其他语料库。
2、下载:
Dialogue Research-Tencent AI Lab
3、论文:
https://arxiv.org/pdf/2103.02548.pdf
十九、Crosswoz数据集
1、简介:
2020年由清华大学人工智能研究院发布的CrossWOZ包含 6K 个对话,102K 个句子,涉及 5 个领域(景点、酒店、餐馆、地铁、出租)。平均每个对话涉及 3.2 个领域,远超之前的多领域对话数据集,增添了对话管理的难度。
截至2020年,是第一个大规模中文对话数据集。可以用于研究任务型对话系统中各个方面,比如NLU、DST、对话策略学习、NLG都可以,也可以用于对话上下文补全的研究。
2、论文:知乎 - 安全中心
3、下载: