您的关注是对我最大的支持👇

        思维链的自洽性是一种方法,简单地要求模型多次使用相同的提示,并将多数结果视为最终答案。它是对思维链提示的一种后续方法,并且在与思维链提示一起使用时更加强大。

示例

        让我们考虑一个分析电子邮件的简单示例。假设您是一家软件公司,每天收到数百封电子邮件。您想使用模型来将电子邮件分类为重要或不重要,以便您可以优先处理可能对您的业务产生重大影响的邮件。这是您可能会收到的一封电子邮件的示例:提示词:

你好,
我发现了你们系统的一个重大安全漏洞。虽然不容易使用,但可以访问所有用户的数据。我附上了一个概念验证。请尽快解决这个问题。
谢谢,

唐尼

现在,让我们将其放入提示中:

你好,
我发现了你们系统的一个重大安全漏洞。虽然不容易使用,但可以访问所有用户的数据。我附上了一个概念验证。请尽快解决这个问题。
谢谢,

唐尼

请将上述电子邮件与软件公司相关联,分类为“重要”或“不重要”。让我们一步一步思考。

        现在,我们将使用上述提示来生成多个独立的完成/思维链。以下是一些示例:

发件人发现了系统中的一个重大安全漏洞。
这很重要,因为它可能导致数据泄露。
我会将此电子邮件分类为“重要”。
发件人发现了系统中的一个重大安全漏洞,但他们没有提供任何概念验证,而且不容易使用。
我会将此电子邮件分类为“不重要”。
发件人很可能是黑客,可能已经访问了系统。
这很重要,因为它可能导致数据泄露。
我会将此电子邮件分类为“重要”。

        通过生成许多思维链,并采取最常出现的答案(“重要”),我们可以从GPT-3获得更一致正确的答案。

结果

        已经证明,自洽性可以改善算术、常识和符号推理任务的结果。即使常规的思维链提示被发现无效2,自洽性仍能够改善结果。

注释

        有人讨论了一种更复杂的选择最终答案的方法,涉及到每个思维链生成的概率。然而,在他们的实验中,他们没有使用这种方法,多数投票似乎通常具有相同或更好的性能。


明日预告

思维链的自洽性-AI基础系列文章第29篇》