LangSmith is a platform for building production-grade LLM applications. It allows you to closely monitor and evaluate your application, so you can ship quickly and with confidence. Use of LangChain is not necessary - LangSmith works on its own!
LangSmith 是 LangChain 自主研发的 LLM 应用程序开发、监控和测试的平台。
LangChain 是一款使用 LLM 构建的首选开源框架，一个链接面向用户程序和 LLM 之间的一个中间层，允许 AI 开发者将像 GPT-4 、文心一言等大型语言模型与外部的计算和数据源有机结合起来。目前，它提供了 Python 和 JavaScript（确切地说是 TypeScript）的软件包。
三个阶段
LangSmith 平台将大模型生命周期分为三个阶段
- Prototyping
- Beta Testing
- Production
通过 LangSmith 平台,用户可以方便地进行原型开发、测试和生产,涵盖了整个大模型生命周期的环节。
Prototyping
即原型开发阶段，主要关注代码调试、基础测试、playground 和对测试结果比对。
Beta Testing
即测试阶段，主要是指 LLM 大模型产品的适运营阶段，这个阶段说明已经有一部分用户开始参与了大模型产品的公测当中，这个阶段会收到客户的对大模型产品使用的反馈、及通过 LangSmith 收集到的 trace 信息，可以对大模型进行调优，从而更好的优化我们的大模型产品。
Production
即生产阶段，我们会关注监控信息、也会做一些A/B测试，同时还可以做一些自动化操作，比如创建对应的规则，对 trace 进行管理：比如发送到对应的数据集当中、或者对模型的在线评估等。
LangSmith Agent
LangSmith Agent 是 LangSmith 平台用于收集 LLM 大模型数据的探针，接入文档地址为：https://docs.smith.langchain.com/
Dashboard
通过 LangSmith Agent 上报数据后，可以通过平台进行查看、跟踪、分析和监控。
Projects
项目集，列表页可以看到目前有哪些项目，这些项目所耗费 Token、延迟等信息。默认开通帐号后会生成一个名为 default的项目。
进入项目，可以看到具体的调用列表，详细记录了时间、延迟、每一次token的消耗、调用状态等。
当点击某一个 trace 时，可以看到更为详细的信息，如 trace 的结构，即 AI Agent 内部调用链，以及模型每一步的输入和输出信息，同时还可以进行打标操作。
Monitor
监控，可以监控如 Token的消耗、模型调用的耗时等信息，同时可以按照不同维度进行监控分析，如项目、大模型的类型等。
Datasets & Testing
数据集（Datasets）& 测试集（Testing），用于归类 Projects 数据，即把一些符合要求的调用链归集到同一个数据集当中
进入数据集，可以看到模型训练的结果
Prompts
Prompts（提示词）在人工智能领域中扮演着重要的角色，是与大模型交互的关键工具，它们使得模型能够更加灵活和有效地应用于各种场景和任务。如通过给定的Prompts，可以引导大模型生成特定主题或格式的文本;也可以为模型提供上下文信息，帮助它更好地理解任务和生成相关的内容。
Bill
LangSmith 是一款商业产品，使用它需要承担一定的成本。尽管如此，LangSmith 也提供了每个月5000次的免费额度给开发者使用。
