目录
01 Meta的 BlenderBot 3
02 使用大语言模型前后的Chatbots有何差别？
03 上述一切意味着什么？Meta的 BlenderBot 3
【编者按：上一期IDP Inspiration，我们为大家介绍了大语言模型中的明星GPT-3的发展史、创新点、应用领域等。这一期，我们将继续沿着大预言模型之路，走进其重要应用领域——AI对话机器人。
今天大家分享的文章来自CMU博士研究生Jacky Liang，文章详细绍了AI对话机器人的发展历程和未来展望。Jacky认为由大语言模型驱动的AI Chatbots（聊天机器人）比更早期基规则的聊天机器人要强得多，但是距离商业应用目前还有一定距离。
以下是译文，Enjoy!】
作者 | Jacky Liang
编辑 | 岳扬，小白
大语言模型(LLMs)的最新研究进展1可能将驱动下一代Chatbots的发展。然而，正如Meta的BlenderBot 3公开演示出现的状况所示，让AI Chatbots功能足够强大，又避免出现有危害的回应，这不是一个简单的任务。虽然我们相信LLMs在不久的将来会被用于许多商业场景，但是由LLMs驱动的Chatbots可能不会成为其中的一种应用。
01 Meta的 BlenderBot 3
之前文章介绍过[2]：Meta的BlenderBot 3发表了不少政治错误的言论。不过，Meta似乎已经“解决”了其中大部分问题，而且Meta在其新闻稿3中对此问题并不遮掩。其新闻稿中这样说明：
所有的对话型AI Chatbots有时候都会模仿并产生不安全、有偏见或攻击性的言论。对此我们进行了大量的研究，并开发了新的技术，现在BlenderBot 3已经被加上了一层“保护罩”。但即使做了这些工作，BlenderBot仍然可能会发表错误言论，因此我们正在收集用户的反馈，以便让它变得更好。
然而，BlenderBot 3产生的真正影响，可能不是其演示时发表的争议性内容。Meta还发布了BlenderBot 3背后的AI模型以及用来训练它的数据集。这对进行对话型AI研究和其他AI研究的研究人员来说是一件非常好的事情，因为使用如此大规模的数据集和1750亿个参数来训练模型需要花费很大的成本，而普通人不可能耗费如此巨大的成本。因此这对人工智能研究的平民化有很大帮助，整个行业都应该鼓励大型科技公司多开放一些科技成果。
02 使用大语言模型前后的Chatbots有何差别？
但是，如果让我们将时光倒流，想一想BlenderBot 3在Chatbots中的位置，会发现Chatbots并不是新事物，其有着悠久的历史4。一个非常早期的自然语言Chatbot是ELIZA5，其由麻省理工学院的科学家在1966年开发。ELIZA的特别之处在于，它被专门设计来展示 "人类和机器之间交流的表面性"。它所做的只是将用户输入的关键性短语插入到预定义的句子模板中，但其效果令许多与该系统进行互动的人十分惊讶。
据说有些人认为ELIZA是有感知能力的，但这与最近一名前谷歌工程师也认为该公司的Chatbot LaMDA是有感知能力6并不一样。
ELIZA和LaMDA之间存在质的区别，在大型语言模型（LLMs）之前的所有Chatbots和之后的Chatbots之间也存在着区别。
在LLMs之前，Chatbots依靠人工设计的模式匹配和识别算法来解析和构建句子。这些算法明确地分析一个句子的语法树（名词短语、动词短语等是什么，它们之间的关系如何）以及它们的语义（单词在句子的上下文中指的是什么，有什么意义）。从ELIZA开始的Chatbots，甚至最近的语音助手，如Siri、Alexa和Google Assistant，都依赖于类似的技术。
然而，让软件工程师和语言学家一起列举出所有可能的方法来解析一种语言中所有可能的句子是不可行的。因此，这些基于规则的Chatbots往往要么非常脆弱，要么功能非常有限，只能处理狭窄范围内的常见语言表达。
在LLMs出现后，情况发生了变化（开始于OpenAI的GPT-27，随着GPT-38的出现，情况有了更大的改善），其是在数据量非常大的数据集上训练的大型深度神经网络。这类模型的训练目标是根据之前的所有单词来预测下一个 "单词"。这是一个简单的目标，加上互联网大规模的数据和大模型，使LLMs能够以以前基于规则的系统无法做到的方式进行回应和生成长而连贯的文本。
要让LMMs进行“对话”，我们只需要给一个类似于对话的文本序列作为输入，并要求LLMs 来预测接下来应该有哪些文本。请注意，LLMs并不是要表达一个特定的意思或主动传达一些想法。它只是根据当前的对话和模型在其训练数据中看到的所有对话来给出最可能的回应。
这并不是说Chatbots对同样的问题会给出同样的回答。我们可以很容易地提示Chatbots以不同的风格进行“交谈”，就像人们可以提示文转图AI模型以不同的风格生成图像9一样。例如，向GPT-3提示 "以下是5岁儿童之间的对话"，可能会得到与 "以下是70岁老人之间的对话 "非常不同的结果。
03 上述一切意味着什么？Meta的 BlenderBot 3
基于LLMs的Chatbots可以比以前基于规则的Chatbots更加灵活和强大，但是这并不意味着前者总是比后者更好或更加受欢迎。前文介绍的BlenderBot 3就是基于LLMs的Chatbots，基于LLMs的Chatbots可能很难验证真实性，也很难做到安全。况且总有一些场景，基于规则的“罐头式”的回答比创造性的回答更加合适。
基于规则的Chatbots如今在客户服务等应用中非常普遍，但是据我所知实际上还没有一个纯粹的基于LLMs的Chatbots，无论是文本还是语音。很可能LLMs已经被用来理解用户的输入（例如，弄清楚用户的问题是关于销售还是技术支持），但不太可能由LLMs直接生成让面向用户的回应。
BlenderBot 3是作为一个研究项目而不是商业产品发布的（就像OpenAI的GPT-3），这表明，基于LLMs的“开放语言”聊天机器人(“open-language” chatbots) 还没有准备好供公众和商业使用。因为“重新整合”这些模型，让它们在避免有害回应的同时保持话题性，仍需要额外的研究。
更有趣是，对于AI Chatbots来说，是否真正有有用的应用或者流行的用途，关键在于AI Chatbots应用的领域（例如，客户服务10、视频游戏NPC、教育）。无论如何，对于人工智能和语言学来说，BlenderBot 3出现都是令人激动的，我们应该期待未来会有更多先进的AI Chatbots。
END
本期互动：你对AI聊天机器人的应用现状、前景和技术演进怎么看呢？欢迎留言讨论。
参考资料
1. The AI Scaling Hypothesis: https://lastweekin.ai/p/the-ai-scaling-hypothesis
2. Last Week in AI #180: Meta's troubled chat bot, AI in femtech, Science AI's reproducibility crises, and more!: https://lastweekin.ai/p/180
3. BlenderBot 3: An AI Chatbot That Improves Through Conversation: https://about.fb.com/news/2022/08/blenderbot-ai-chatbot-improves-through-conversation/
4. The History Of Chatbots – From ELIZA to ALEXA: https://onlim.com/en/the-history-of-chatbots/
5. https://en.wikipedia.org/wiki/ELIZA
6. https://www.theatlantic.com/ideas/archive/2022/06/google-lamda-chatbot-sentient-ai/661322/
7. GPT-2: https://openai.com/blog/tags/gpt-2/
8. GPT-3: https://openai.com/api/
9. https://twitter.com/GuyP/status/1547234780001042432
10. https://blog.hootsuite.com/facebook-messenger-bots-guide/
原文：In the Era of Large Language Models, What's Next for AI Chatbots ? (lastweekin.ai)
