应用日志与智能标注指南 ​

前言 ​

一个优秀的智能助手不仅在于成功创建，更在于持续的优化与迭代。“日志” 与 “标注” 功能为你提供了一套强大的工具，帮助你监控应用的运行情况、分析用户交互数据，并通过精准的标注来不断提升回答的准确率和用户满意度。

本指南将详细介绍如何使用这两大核心功能，形成一个高效的优化闭环。

第一部分：对话日志 ​

对话日志模块记录了每一次用户与智能助手的交互详情，是你分析和优化助手表现的数据基础。

1.1 查看与筛选日志 ​

在日志界面，你可以直观地看到所有对话记录的列表。

• 按时间查询：你可以利用界面上方的日期和时间选择器，设定一个时间范围（开始时间至结束时间），精确查询特定时间段内的所有对话日志。

1.2 理解日志核心信息 ​

每一条日志都包含了诊断问题和分析效果所需的核心信息：

• 输入/输出：完整记录了用户的提问和智能助手的实际回复内容。
• 状态：显示该次对话是“成功”还是“失败”，帮助你快速定位潜在问题。
• 运行时间：记录了该次交互的处理时长。
• Token数：显示本次交互消耗的总Token数量，便于你进行成本分析和性能监控。

1.3 评估与优化单次回答 ​

在每一条日志记录的操作栏，你可以对本次回答进行快速评估和即时优化：

• 评估回答质量：
  • 点击 “点赞” (👍) 图标，标记这是一次高质量、令人满意的回答。
  • 点击 “点踩” (👎) 图标，标记这是一次不合格或需要改进的回答。这些标记是后续进行批量分析和优化的重要依据。
• 编辑并转为标准答案：
  • 如果发现一个回答不够完美，可以点击 “编辑” 按钮。
  • 在弹出的窗口中，你可以直接修改模型的回复，将其优化为一个理想的“标准答案”。
  • 关键操作：当你点击保存后，这条经过你人工优化的“问题-答案”对，将自动被添加到 “标注界面” 中，成为一条待启用的高质量标注数据。

第二部分：数据标注 ​

标注界面的核心作用是管理和启用一套高质量的“标准问答对”。当用户提问时，系统会优先匹配标注库中的内容进行回复，从而确保核心高频问题的回答质量。

2.1 启用标注回复功能 ​

在标注界面顶部，有一个总开关 “启用标注回复”。

• 开启状态：智能助手在回答问题前，会先检索你的标注库。如果用户的提问精确匹配到了某条标注的问题，系统将直接返回你设定的标准答案，而不再调用大模型。这极大地提升了回答的稳定性和效率。
• 关闭状态：智能助手将不会使用标注库，所有回答均由大模型实时生成。

2.2 管理标注数据 ​

你可以通过多种方式来丰富和管理你的标准问答库。

• 手动添加标注：
  • 点击 “添加标注” 按钮。
  • 在弹出的窗口中，分别输入“标准问题”和“标准答案”，即可创建一条新的标注记录。
• 批量管理：
  • 批量导入：你可以预先按照平台提供的CSV模板文件格式，整理大量的问答对，然后通过 “批量导入” 功能一次性上传，快速构建你的标注库。
  • 批量导出：点击 “批量导出”，可以将当前所有的标注数据（如CSV/JSONL格式文件）下载到本地，便于备份或进行线下分析。

2.3 编辑与分析标注数据 ​

对于已经存在的每一条标注，你都可以进行深入的管理和分析。

• 编辑：点击某条标注旁的 “编辑” 按钮，可以随时修改其问题或答案内容。
• 分析：在编辑或详情视图中，你可以查看到该条标注的详细统计数据：
  • 命中次数：显示这条标注总共被成功触发并回复了多少次。
  • 命中历史：可以查看具体的命中记录，了解用户在什么时间、什么场景下触发了这条标准回复。

总结 ​

通过分析这些数据，你可以清晰地了解哪些是用户最关心的高频问题，从而进行更有针对性的优化。