AI 前端应用为什么需要评测和可观测性?
说明 AI 界面如何记录可比较的质量信号、延迟和失败原因,同时避免采集不必要的用户内容。
参考答案
模型输出具有随机性和上下文依赖,只看“请求成功”不能判断体验。前端可以记录请求开始、首 token、完成或取消时间、错误类型、工具确认结果、用户是否重试等事件;质量评测应使用脱敏后的固定样本和明确的人工或自动判定标准。
采集内容要遵循最小化原则。提示词、回答、文件和工具结果可能含有个人或业务敏感信息,不应默认把完整内容上传到日志系统。应区分调试环境、生产环境和用户同意范围,设置访问控制、保留周期和删除机制。
指标要能支持行动,例如按模型版本、提示模板、客户端版本和网络环境比较延迟与失败率。单一的“满意度”或模型分数不能替代安全检查、引用核对和人工抽样,也不能把评测结果当成事实正确的保证。