您的关注是对我最大的支持👇
思维链的自洽性是一种方法,简单地要求模型多次使用相同的提示,并将多数结果视为最终答案。它是对思维链提示的一种后续方法,并且在与思维链提示一起使用时更加强大。
示例
让我们考虑一个分析电子邮件的简单示例。假设您是一家软件公司,每天收到数百封电子邮件。您想使用模型来将电子邮件分类为重要或不重要,以便您可以优先处理可能对您的业务产生重大影响的邮件。这是您可能会收到的一封电子邮件的示例:提示词:
你好,
我发现了你们系统的一个重大安全漏洞。虽然不容易使用,但可以访问所有用户的数据。我附上了一个概念验证。请尽快解决这个问题。
谢谢,
唐尼
现在,让我们将其放入提示中:
你好,
我发现了你们系统的一个重大安全漏洞。虽然不容易使用,但可以访问所有用户的数据。我附上了一个概念验证。请尽快解决这个问题。
谢谢,
唐尼
请将上述电子邮件与软件公司相关联,分类为“重要”或“不重要”。让我们一步一步思考。
现在,我们将使用上述提示来生成多个独立的完成/思维链。以下是一些示例:
发件人发现了系统中的一个重大安全漏洞。
这很重要,因为它可能导致数据泄露。
我会将此电子邮件分类为“重要”。
发件人发现了系统中的一个重大安全漏洞,但他们没有提供任何概念验证,而且不容易使用。
我会将此电子邮件分类为“不重要”。
发件人很可能是黑客,可能已经访问了系统。
这很重要,因为它可能导致数据泄露。
我会将此电子邮件分类为“重要”。
通过生成许多思维链,并采取最常出现的答案(“重要”),我们可以从GPT-3获得更一致正确的答案。
结果
已经证明,自洽性可以改善算术、常识和符号推理任务的结果。即使常规的思维链提示被发现无效2,自洽性仍能够改善结果。
注释
有人讨论了一种更复杂的选择最终答案的方法,涉及到每个思维链生成的概率。然而,在他们的实验中,他们没有使用这种方法,多数投票似乎通常具有相同或更好的性能。
明日预告
《思维链的自洽性-AI基础系列文章第29篇》