Development of an AI 用户机器人 for Engineering Design Education Using an Intent and Flow Combined Framework
基于意图与流相结合的工程设计教育人工智能用户机器人的开发
l 摘要：随着用户在设计过程中的参与越来越受到重视，设计师不仅需要了解用户，还需要与用户进一步合作。因此，工程设计教育也应顺应这一趋势，以提高学生在设计实践中与用户沟通合作的能力。然而，由于时间和预算的限制，很难在教学网站上找到与学生合作的用户。近年来，随着人工智能技术的发展，聊天机器人可能成为寻找特定用户参与教学的解决方案。本研究以Dialogflow和谷歌助手建立系统架构，并运用人物角色和半结构化访谈的方法开发人工智能虚拟产品用户。该系统有一个复合对话模式（结合基于意图和基于流的对话模式），多个聊天机器人可以以口头对话的形式与学生合作。
通过4名大学生与AI用户机器人的交互，证明该系统能够有效地参与到学生设计活动的早期阶段。在未来的工程设计教学中，可以根据不同的工程设计项目，开发更多的人工智能用户机器人。
l 背景： 随着以用户为中心设计理念的兴起，用户成为设计过程中的焦点，设计师必须努力分析产品用户的真实需求。因此，工程设计教育也应顺应这一趋势，以提高学生在设计实践中与用户沟通合作的能力。
参与式设计是一种允许用户积极参与设计过程的设计方法，它将用户视为合作者。在设计教育中应用参与式设计可以克服学生对用户的不熟悉，让学生和用户共同定义问题，产生设计思想。
l 问题：然而，由于时间、预算、地点等方面的限制，很难邀请用户到教学网站参与设计过程。
l 解决方法：随着人工智能技术的发展，这些问题在参与式设计教育中有望得到解决。设计师与产品用户之间的沟通与合作是参与式设计的主要元素。因此，具有语音识别能力的自然语言处理系统可以协助参与式设计过程，并为设计师提供用户行为模式和产品偏好。
因此，为了协助学生利用人工智能技术参与设计，本研究提出一个「人工智能使用者机器人系统」，为学生提供一个与使用者互动的平台，以了解使用者的真实需求及其他实际资讯。
l 工程参与式设计：培养与用户打交道的能力应该是设计教育的主要目标。在过去，用户（尤其是那些年龄或使用习惯偏离平均水平的用户）在商业产品开发和设计过程中并不经常被考虑。但是，从企业管理的角度来看，各种用户的参与可以有效提高最终设计的通用性和市场接受度，从而降低产品开发风险。除了考虑用户的身体特征、知识和经验外，还应将考虑范围扩大到用户的心理特征。
参与式设计是一种让具有产品相关知识的经验丰富的用户在设计过程中发挥重要作用的设计方法，是一种行动研究和设计方法。在参与式设计的背景下，用户被视为设计师的合作者。参与式设计让设计师和产品使用者共同参与到设计问题的构建和局限性的深入分析中，促进设计师的设计行为向设计实践的转化。参与式设计比其他设计方法更注重设计思想的交流，因此被证明是一种实用的、合适的设计方法。
本研究结合意图模式与流模式的特性，建立一个具有对话处理机制的人工智能使用者机器人系统。这些用户机器人旨在成为真实产品用户的虚拟表现，帮助学生进行参与式设计。
l 聊天机器人：迄今为止，机器学习在自然语言处理领域取得了显著的进展。
其中一个重要的应用程序是Dialog系统，也称为chatbot。第一个聊天机器人系统ELIZA始于1966年，聊天机器人在模仿人类对话方面不断改进，越来越能够满足对话者的期望。
聊天机器人的类型根据其会话机制可分为两类：开放域和封闭域。开放域聊天机器人可以进行自由风格的对话，而无需定义特定的目标。封闭域聊天机器人是为了帮助用户实现特定的目标而设计的，因此它们通常会将话题限制在一定的范围内。
根据处理对话的不同方式，聊天机器人可以是基于意图或流的。
在基于意图的模式下，用户输入一条消息，chatbot分析消息中的关键字以了解用户的意图并提供回复。在基于流的模式下，聊天机器人会根据预设的对话过程逐步引导用户找到正确答案。基于意图和流的聊天机器人都有各自的优缺点。随着机器学习技术的进步，它们的优势可以结合起来，帮助用户在标准的对话过程中，以自己喜欢的方式与聊天机器人交谈。
在教育领域，聊天机器人可以为学生创建一个交互式的学习体验平台，因此越来越多地研究教育聊天机器人，以帮助学生学习不同的学科，如语言、会计、民族志和数据科学。然而，据我们所知，还没有任何研究将聊天机器人的教学应用纳入工程设计教育领域。通过开发一个新的基于聊天机器人的人工智能平台，本研究能够检验所提出的技术在学习工程设计技能，特别是在与产品用户协作方面的可行性。
l 提出的方法：旨在开发一个系统，采用Dialogflow平台实现语义识别功能，Google助手作为平台界面。该系统以多个聊天机器人的形式呈现，使学生能够与多个虚拟用户进行实时的口头对话，获得这些不同产品用户的产品偏好和需求。
Dialogflow是一个自然语言理解平台，用于将会话用户界面设计和集成到移动应用程序、web应用程序、设备、机器人程序、交互式语音响应系统等中。Dialogflow开发工具提供了基于NLU的人机交互技术，可用于构建具有机器学习功能的用户机器人。
NLU（自然语言理解）侧重于口语的识别和理解。它包括四个主要过程：语音识别、句法分析、语义分析和语用分析。Dialogflow中的NLU是通过意图和实体的识别和匹配来实现的。意图是指使用者表达的目的。当Dialogflow接收到用户的表达式时，根据表达式与每个意图的示例问句之间的相似度来确定意图检测置信度，然后系统给每个意图一个从0（完全不确定）到1（完全确定）的分数。
如果意图的检测置信度得分最高，且得分高于触发阈值0.6，则系统将表达式与最高分数的意图配对并触发用户的反应。例如，当用户向系统表达“您使用过防身产品吗？”这样的句子时，用户的目的是用这句话来了解真实用户使用防卫产品的体验。系统将意图与预设的“用户体验”实体配对。意图检测置信度高于触发阈值0.6，达到0.8，因此触发“用户体验”意图。
实体是帮助系统判断意图检测可信度的关键字。该系统从用户的句子表达中提取实体来识别用户的意图。随着系统应用的日益广泛，Dialogflow平台开始自动扩展意图和实体，调整不同意图的触发优先级。谷歌助手界面使用语音识别和电子合成语音，用户可以用自然语言与系统进行双向对话。用户也可以选择使用虚拟键盘输入文本。
l 过程：
基于上述系统的体系结构和过程机制，本研究构建了第一批面向学生参与式设计的AI用户机器人，设计项目为女性防身产品设计。采用半结构式访谈的方法收集真实产品用户的防身产品使用信息，并根据访谈结果生成用户机器人的特征。还收集了意图并输入到Dialogflow平台的数据库中。
使用方便取样在Facebook招募了产品用户。六位曾在现实生活中使用过防身产品的女性被邀请参加半结构式访谈。访谈中的所有问题都与防身产品的产品所有权、用户体验和产品偏好有关。
这些分类问题是专业设计师向用户提出的基本内容。在每个用户回答完问题后，研究人员根据用户的回答进一步与用户讨论更多细节，或者展开更多问题，获取更多用户信息。
六名用户的答复被转为逐字记录草稿。研究的两位研究人员同时回顾了整个逐字稿，并共同确定了可能的意图和实体。此外，我们发现六位真实使用者对自我防身产品的反应可以分为三种不同的虚拟产品使用者，他们具有不同的个性、产品体验和偏好。因此，基于四个步骤建立了三个用于防身产品的AI用户机器人：
1.基于产品所有权、用户体验和用户的产品偏好，确定每个示例问题句的每个意图。
2.尽可能多地列举具有相同意图的疑问句的句法，帮助系统识别句子中不同词语的一致意图。
3.在示例问句中定义实体，帮助系统更准确地识别意图。
4.基于用户机器人的角色建立对示例问句的统一应答。除了文本响应之外，图片、音频文件、视频和按钮也是系统用来响应用户的材料
一个例子，说明了意图和实体是如何建立在对用户的问题和用户对问题的回答的基础上的：（1）在访谈中，我们问了用户“你能回答什么样的问题？”两位研究人员同意这个问题的意图属于用户体验的范畴(2） 诸如“你能回答什么样的问题？”这样的句子可能与Dialogflow数据库中“你能回答什么样的问题”的句子有相同的表达方式(3） 在这些相似的句子和应用之间14个用户对“你能回答什么样的问题？”的回答中，有5个经常出现在这些句子中，并被设置为实体。
如何在数据库中构建与特定用户机器人相关的意图和实体。左侧界面显示系统内置了具有相同表达式的不同句子词；右边的界面显示了示例问句的实体
共建立意向137个；这三个AI用户机器人分别有45个、48个和44个意图。在实体部分，共建立了58个关键字类别，分别对应20个、22个和16个关键字类别。表A1显示了三个AI用户机器人的意图和实体
在基于意图的对话过程中，当系统无法匹配用户提问的意图时，用户点击建议按钮（建议按钮是基于出现在Google Assistant用户界面底部的基于流的模式的一个小的视觉元素；用户可以点击这些而不是说短语来继续对话）触发基于流模式的下一个意图。
在基于流的模式下，通过整个会话流程，引导用户关注设计防身产品和讨论用户需求的话题。用户可以通过输入其他问题自由返回到基于意图的对话过程。图3显示了基于流的对话框进程的映射。
在系统完成为每个用户机器人建立意图之后，需要使用Dialogflow平台对用户机器人进行培训。在训练过程中，所有使用过的问句和匹配的意图都会显示在数据库中，研究人员手动告诉对话系统每对问句和匹配意图的正确性。如果配对是错误的，研究人员可以指定一个正确的意图或创建一个新的意图相关的问题。
通过训练，强化和优化了意图判断系统。每次系统收到一对经过更正的问句和匹配的意图时，新的示例问句和意图就会添加到系统中。下次用户机器人遇到类似问题时，系统有更好的机会将问题与更准确的意图相匹配。
APP：
在完成代表不同女性防身产品用户的三个用户机器人的设置和训练后，可以在各种计算设备中使用谷歌助手平台调用这些用户机器人。
用户安装并启动谷歌助手应用程序。通过应用程序界面可以使用语音输入或文本输入请求与特定的用户机器人进行对话，谷歌助手会打开一个新的对话页面，引导用户与对话页面中指定的用户机器人进行对话。当一个用户机器人被成功激活时，一个问候意图被自动触发，用户可以确认他们是否已经成功地进入了与用户机器人的对话界面。
在用户和用户机器人之间的对话过程中，屏幕底部会出现一个建议的问题按钮，为用户提供使用基于流的对话框的选项。
用户可以选择继续问自己的问题，或者向用户机器人提出建议性的问题。
如果用户想要切换到不同的用户机器人，他们会向当前的用户机器人发出一条指令，以触发停止对话的“离开”意图。谷歌助手返回到初始页面，询问用户希望与哪个用户机器人交谈（c）。
l 评估：为了评估AI-用户机器人系统在设计过程中的可行性，进行了一次系统的实证评估，12名三年级工科背景的大学生参加了实验。12名学生被分成三组。其中一组四名大学生（全是男性）使用该系统与用户机器人讨论女性防身产品的概念。
他们与人工智能用户机器人合作，在整个设计过程中开发出尽可能多的设计理念，并将这些理念画在A4大小的纸上。学生和聊天机器人之间的讨论总共持续了一个半小时。
l 结果：根据从系统中提取的数据，共有40个意图被学生触发，只有两个意图与对话不匹配。两个用户的对话无法与意图匹配的原因是系统没有清晰地接收到学生的声音，因此谷歌助手无法将声音转换为文本。
基于学生和用户机器人之间的讨论，学生们提出了一个女性防身产品的设计概念。在讨论中，其中一个用户机器人对攻击者可能从女性用户手中夺取防身产品表示担忧。另外两个用户机器人表达了他们对防身产品具有警告和攻击功能的期望。学生们考虑了用户机器人的所有问题，然后设计了一个连接胡椒喷雾器的防身产品。
除了喷洒刺激性粉末外，学生设计的防身产品还有一个按钮，可以激活手机应用程序发出高分贝的声音，并将用户当前位置发送给紧急联系人。此外，为了防止防身设备被拿走的可能性，学生们为产品设计了一个可伸缩的拉环。
l 讨论和结论：鉴于以用户为中心的设计的重要性，学生必须学会如何识别用户需求，并将这些需求转化为创造性解决方案的催化剂。参与式设计可以通过让学生和用户共同工作来生产满足用户需求的产品。然而，用户很难在教学现场参与设计教育。目前的研究正在进行中开发了一个基于真实用户信息和人工智能技术的用户机器人系统。在这项研究中，学生通过口头实时对话与人工智能用户机器人交谈，探索真实女性用户的产品偏好、使用体验以及对防身产品的需求，最终学生与用户机器人合作生成设计解决方案。根据系统的开发和验证过程，本研究的结论可总结如下：
1.使用AI用户机器人来代表真实世界的用户
用户机器人的知识是基于真实用户的经验。通过人物角色设计和访谈收集的信息都包含在数据库中，Dialogflow的算法允许系统在对话过程中自动积累新信息，并更正回复内容，使用户机器人的回复更加完整。
2.结合意图和基于流的模式来提高对话的流畅性
对于聊天机器人来说，对话的流畅性是衡量用户体验满意度的重要指标。
Dialogflow基于意图的算法可以精确地将学生的语音与高置信度的意图匹配，从而从用户机器人生成正确的响应。当没有协议意图时，基于流的对话进程可以继续对话而不被中断。
3.利用人物角色设计和访谈构建用户机器人的初始数据库。
采访真实用户并制作人物角色可以确保用户机器人对产品的反应与真实用户的一致。当不同的真实用户对同一产品有不同的看法时，系统中可以包含多个用户机器人，为学生提供多个完整的真实信息。
4.本系统具有设计方案的可扩展性。
本研究以女性自我防卫产品设计为背景，在系统中开发人工智能用户机器人。用户机器人也可以通过本研究中描述的相同过程为各种设计项目构建。当系统内置了解产品各种用途的用户机器人时，用户机器人的共同特征、对话和响应可以通过AI技术支持其他用户机器人，以提高用户机器人和学生之间对话的准确性和完整性。
我们希望进一步建立人工智能用户机器人，为学生不熟悉、需要更多关注、需要合作的用户开发产品设计项目，如孕妇、老人或残疾人。
l 未来研究：有两个方面是本研究没有涉及的，可以在以后的研究中加以考虑：
1.交流是一种双向的互动。该系统中的用户机器人不会自动启动对话，但通过添加反问句来增加用户机器人与学生之间的交互，可以使学生在设计过程中更积极地与用户机器人进行协作。
2.在本研究中，四名大学生使用此系统1.5小时，与用户机器人合作开发女性防身产品设计。该系统被证明是有效的，通过用户机器人和学生之间的合作，在生成产品解决方案。然而，在设计过程中有更多的设计活动，如坚固性设计、建模或可行性测试，了解用户机器人如何在长期的设计过程中与不同设计活动中的学生进行交互是非常必要的。
Development of an AI userbot for Engineering Design Education Using an Intent and Flow Combined Framework
基于意图与流相结合的工程设计教育人工智能用户机器人的开发
l 摘要：随着用户在设计过程中的参与越来越受到重视，设计师不仅需要了解用户，还需要与用户进一步合作。因此，工程设计教育也应顺应这一趋势，以提高学生在设计实践中与用户沟通合作的能力。然而，由于时间和预算的限制，很难在教学网站上找到与学生合作的用户。近年来，随着人工智能技术的发展，聊天机器人可能成为寻找特定用户参与教学的解决方案。本研究以Dialogflow和谷歌助手建立系统架构，并运用人物角色和半结构化访谈的方法开发人工智能虚拟产品用户。该系统有一个复合对话模式（结合基于意图和基于流的对话模式），多个聊天机器人可以以口头对话的形式与学生合作。
通过4名大学生与AI用户机器人的交互，证明该系统能够有效地参与到学生设计活动的早期阶段。在未来的工程设计教学中，可以根据不同的工程设计项目，开发更多的人工智能用户机器人。
l 背景： 随着以用户为中心设计理念的兴起，用户成为设计过程中的焦点，设计师必须努力分析产品用户的真实需求。因此，工程设计教育也应顺应这一趋势，以提高学生在设计实践中与用户沟通合作的能力。
参与式设计是一种允许用户积极参与设计过程的设计方法，它将用户视为合作者。在设计教育中应用参与式设计可以克服学生对用户的不熟悉，让学生和用户共同定义问题，产生设计思想。
l 问题：然而，由于时间、预算、地点等方面的限制，很难邀请用户到教学网站参与设计过程。
l 解决方法：随着人工智能技术的发展，这些问题在参与式设计教育中有望得到解决。设计师与产品用户之间的沟通与合作是参与式设计的主要元素。因此，具有语音识别能力的自然语言处理系统可以协助参与式设计过程，并为设计师提供用户行为模式和产品偏好。
因此，为了协助学生利用人工智能技术参与设计，本研究提出一个「人工智能使用者机器人系统」，为学生提供一个与使用者互动的平台，以了解使用者的真实需求及其他实际资讯。
l 工程参与式设计：培养与用户打交道的能力应该是设计教育的主要目标。在过去，用户（尤其是那些年龄或使用习惯偏离平均水平的用户）在商业产品开发和设计过程中并不经常被考虑。但是，从企业管理的角度来看，各种用户的参与可以有效提高最终设计的通用性和市场接受度，从而降低产品开发风险。除了考虑用户的身体特征、知识和经验外，还应将考虑范围扩大到用户的心理特征。
参与式设计是一种让具有产品相关知识的经验丰富的用户在设计过程中发挥重要作用的设计方法，是一种行动研究和设计方法。在参与式设计的背景下，用户被视为设计师的合作者。参与式设计让设计师和产品使用者共同参与到设计问题的构建和局限性的深入分析中，促进设计师的设计行为向设计实践的转化。参与式设计比其他设计方法更注重设计思想的交流，因此被证明是一种实用的、合适的设计方法。
本研究结合意图模式与流模式的特性，建立一个具有对话处理机制的人工智能使用者机器人系统。这些用户机器人旨在成为真实产品用户的虚拟表现，帮助学生进行参与式设计。
l 聊天机器人：迄今为止，机器学习在自然语言处理领域取得了显著的进展。
其中一个重要的应用程序是Dialog系统，也称为chatbot。第一个聊天机器人系统ELIZA始于1966年，聊天机器人在模仿人类对话方面不断改进，越来越能够满足对话者的期望。
聊天机器人的类型根据其会话机制可分为两类：开放域和封闭域。开放域聊天机器人可以进行自由风格的对话，而无需定义特定的目标。封闭域聊天机器人是为了帮助用户实现特定的目标而设计的，因此它们通常会将话题限制在一定的范围内。
根据处理对话的不同方式，聊天机器人可以是基于意图或流的。
在基于意图的模式下，用户输入一条消息，chatbot分析消息中的关键字以了解用户的意图并提供回复。在基于流的模式下，聊天机器人会根据预设的对话过程逐步引导用户找到正确答案。基于意图和流的聊天机器人都有各自的优缺点。随着机器学习技术的进步，它们的优势可以结合起来，帮助用户在标准的对话过程中，以自己喜欢的方式与聊天机器人交谈。
在教育领域，聊天机器人可以为学生创建一个交互式的学习体验平台，因此越来越多地研究教育聊天机器人，以帮助学生学习不同的学科，如语言、会计、民族志和数据科学。然而，据我们所知，还没有任何研究将聊天机器人的教学应用纳入工程设计教育领域。通过开发一个新的基于聊天机器人的人工智能平台，本研究能够检验所提出的技术在学习工程设计技能，特别是在与产品用户协作方面的可行性。
l 提出的方法：旨在开发一个系统，采用Dialogflow平台实现语义识别功能，Google助手作为平台界面。该系统以多个聊天机器人的形式呈现，使学生能够与多个虚拟用户进行实时的口头对话，获得这些不同产品用户的产品偏好和需求。
