演示成功之后,还需要回答一个问题
假设团队展示了一次需求分类,AI准确选择了处理部门。客户换个时间用同样材料再试,结果却被送到另一个队列。一次演示证明系统曾经做对过,却没有说明同类条件下的表现是否足以支撑业务使用。
企业AI验收应观察这种重复运行差异。这里不是要求所有文字逐字相同,而是判断变化会不会改变业务行动。摘要换一种说法可能可以接受,审批建议或工具动作发生变化,则需要更严格地分析原因和影响。
先固定能够固定的比较条件
重复测试前,记录输入版本、提示词、模型标识、配置、知识材料与工具返回。若每次条件都不同,结果变化就很难解释。记录应足以复现关键环境,但不应把凭据或不必要的敏感数据写进普通日志。
对联网检索和实时接口,可以先用受控返回测试核心流程,再单独评估真实外部环境。这样有助于区分输入变化与系统处理变化。不能把今天与昨天检索到不同材料的结果直接混在一起,称为相同输入的稳定性实验。
某些环境无法完全固定,也应明确记录限制。配置看起来相同,不代表整个运行环境完全一致。验收报告可以写清哪些条件已控制、哪些不可控制,避免把观察到的现象过度归因于某一个参数。
不要把所有差异都算成同一种失败
可以先定义业务上必须保持一致的部分,例如记录标识、关键事实、分类结果和是否调用工具。措辞、段落顺序或同义表达是否允许变化,则按产品用途决定。标准应在看结果之前确定,不能事后为了让测试通过而调整。
对于生成类任务,可以用事实覆盖、约束遵守和可追溯性评价,而不是只做字符串比对。对于会触发动作的任务,则应重点检查动作、对象与参数是否一致。两类任务的容忍度不同,不宜共用一个模糊的“效果不错”。
还要区分多个合理答案与互相矛盾的答案。如果任务本身允许不同方案,变化可能正常;若同一依据下分别给出相反事实结论,就需要进一步检查。评审人员应有明确判定依据,不能凭个人偏好决定哪次算成功。
重复次数应服务于问题,而不是装饰报告
项目可以按风险和资源选择重复次数,并明确这只是当前测试范围。不要把某个固定次数说成适用于所有任务的行业标准。高影响流程需要更充分证据,低影响草稿任务则可以采用不同的观察方式。
所有运行都应进入记录,包括超时、拒绝、格式错误和中途失败。只保存最终成功结果,会把最需要关注的波动藏起来。若重试属于产品流程的一部分,也应分别记录首次表现和重试后的表现,不能混为一谈。
报告可以展示每个样例的结果分布和失败类型,而不是只列一个总通过率。某个关键任务反复摇摆,可能被大量简单样例掩盖。业务负责人需要知道失败集中在哪里,才能决定是否允许自动执行或需要人工复核。
出现波动时,先定位再修改
可以从检索材料、提示词歧义、工具返回和评审标准入手,逐项寻找差异来源。一次只改变明确因素,并保留修改前后的结果,才能判断改动是否解决了问题。连续改许多地方后只展示最好结果,很难形成可复用结论。
降低某个生成参数不应被当成万能修复。它是否改善当前任务,需要测试;它也不能代替缺失的业务规则和输入证据。对于必须确定的判断,可以考虑把可明确表达的规则交给确定性逻辑执行,而不是要求模型每次自行推理。
修复后应回到同一组样例复测,同时检查相关任务有没有退化。不能只对失败那一道题调到通过,就认为整体稳定了。保留独立的检查材料,有助于避免把系统改成只适应已经看过的几个样例。
评审本身也可能出现分歧。可以让不同评审者依据同一标准检查部分结果,记录分歧来自标准不清还是材料不足。若评审规则都无法稳定判断,就不宜把一串评分当成精确质量结论,应该先修订标准再比较系统。
运行顺序也值得记录。如果前一次对话残留在上下文中,后一次就不再是真正相同的输入。测试应明确是独立会话还是连续工作流,并分别评估;不能在两个模式之间随意切换,再把差异解释为模型随机波动。
项目接受某种波动时,还应说明代价由谁承担、怎样发现和纠正。例如草稿需要编辑确认,就应在流程里保留这一环,而不是报告写需要审核、上线却直接发送。验收结论最终应落实到实际使用方式。
把稳定性结论写成有范围的交付说明
验收结论应包含测试条件、样例范围、观察到的差异和剩余限制。可以说明某些任务仍需人工确认,而不是用一次成功截图代表整个系统已能自动处理。证据的范围决定结论的范围,这一点比报告的精美程度更重要。
上线后仍应监测业务关键结果,因为输入分布和外部依赖可能变化。测试中发现的易波动样例可以保留为回归材料,在模型、提示词或知识库调整后重新检查。监测不是为了证明系统永远不变,而是及时发现影响行动的变化。
可靠的验收允许看到失败,并能解释怎样处理失败。对客户而言,比“这次回答很好”更有价值的是知道哪些结果可以直接使用、哪些需要确认,以及这个判断建立在怎样的重复观察上。不要挑出最好的一次,把其余运行从交付故事里删掉。
要点总结
- 不一定,应按业务要求区分措辞变化、事实变化和动作变化。
- 没有适用于所有项目的固定次数,应按风险和资源确定并说明测试范围,不能把有限观察当作保证。
- 应分别记录首次和重试结果,重试属于流程也不能隐藏原有失败。
参考来源说明
本文提出可供业务团队评估的方法,示例不代表真实客户项目。官方资料仅用于核对对应技术机制,站内服务页用于了解业务范围,不作为效果证明。
