AI知识库为什么答非所问?从问题理解到证据链逐步排查
用户问能否更改发票,却被回复如何下载发票。要判断是理解、检索、版本、生成还是界面出了问题。
【重点】保留问句、检索候选、适用证据和回答,从错误证据回查具体环节。
一、先看底层逻辑:知识库要解决哪一步
一个典型诊断可以把原问句、用户角色、候选段落、最终引用和业务认可答案放到同一张表。先看候选证据是否适用,再看生成是否准确。如果最终引用正确却答了另一个问题,修意图定义或补问逻辑;如果根本没有文档,回到内容治理。
启动前先确认这三件事。第一,员工实际问的是查询、判断、操作还是审批。第二,支持答复的现行资料和记录是否有明确所有者。第三,交付能否由真实使用者验证。三件事不清楚时,可以先从小样本梳理,不急着扩张资料范围。典型错误是模块名称完整,用户却不知道在哪里办、为什么这么办,或者哪个例外需要找人。
二、搭建到运营:关键做法拆解
第一步|确定问题意图
同一词同时表示修改抬头与重新开票。这个现象应当先记成一条可复现的问题,而不是一句笼统抱怨。记录当事人角色、使用入口、他实际尝试过的动作以及可核对的材料。若要保存现场样本,使用能体现判断条件的匿名或虚构记录,避免把全部原始对话作为新资料。
执行动作|先提问确认对象、时间和订单状态。先让一个业务负责人描述「当前正确做法」,再由使用者复述他准备怎么操作。贯穿两轮的重点是让流程出现在真实入口中。过程中可留一份短说明,写明采用资料、处理状态和还需人确认的项目,下一位同事可以接着改。
检查时重点看这条边界:不要直接猜用户身份。第一次演练用最常见的材料,第二次替换一个会改变结果的条件。不要同时改更新策略和答复方式,否则两个输出不同很难找出原因。遇到需要批准的事项,记录审批人实际收到什么。
验收结果|出现歧义会提出最少澄清。让未参与搭建的人拿同一问法再走一次,保留答案、可访问原文和下一步动作。如果在正确答案之后仍无法推进,记录是入口不可见、任务缺资料还是权限不足,再由对应人员处理。
第二步|检查相关文档是否入库
规则只在客服后台没有授权连接。材料放在知识库里不代表它已经可以作为业务证据。先检查持有人、正式状态、适用对象和最后一次确认时间。示例使用默认角色时真实权限可能不同,拿另一个实际岗位的身份做一次只读复核。
执行动作|确认主源覆盖与可见性。如果存在两个相近来源,附上各自的版本、适用情形和责任人,再决定哪一份是回答依据。比较后的结论可以写成「本次采用某条批准规则,另一个版本只用于历史定位」。缺少责任人时先建待确认条目。
边界处理遵守「无权访问按流程升级」。将这条约束写成一条验收问句。让原资料熟悉的人用完整输入答一遍,再去掉一个必要字段。后一份结果应保留未知或指定联系人,而不是沿用上一个用户的事实。
验收结果|样本应有的资料已入库。除了检查模型的文字,还要打开引用、读原文对应章节并确认确实适用。如果当前使用者无权打开来源,应记录合法的申请或转交路径,避免在回复中泄露受限部分。
第三步|查切分与候选
答案段落没有带条件标题。这一类故障往往藏在中间流程中:问题语义可能正确,证据却没进入候选,或者候选正确但被旧材料覆盖。将问句、候选、查看权限与最终答复分开记录,便于找到第一个和业务预期分岔的位置。
执行动作|改成按章节与条件切分,补元数据。每次只调整一个因素,再把原始失败样本及正常样本一起复跑。只有业务定义或数据确认改变时才修改统一口径。部署变更时留出旧版、测试证据和回退方式,避免只在一条示例上调到好看。
边界条件|相关段超过限制时保留可定位片段。演练时不要删除真实边界,可以从虚构样本复现。比如撤掉关键字段、增加一份旧文、切换到有不同可见范围的角色,观察系统是否仍按预期处理。异常情况无法解决时,给使用者明确的人工出口。
验收结果|正确证据进候选。一个合格记录应含实际输入、所用证据、输出、首个失败环节以及下一步负责人。对于已通过的问句,也留一条可以再次验证的样本,后续换来源或版本时重跑。
第四步|限制生成证据
候选正确,回复却增加没批准的话。真正的问题可能处在交付边缘,回答有内容,却少了咨询者的下一步。应先让使用者做一遍实际任务,观察在哪个页面、哪条摘要或哪个条件上停住。读者不熟悉原文件时,不能依赖他们自行推理出例外。
执行动作|回答需逐条可引用并允许标未知。可以沿用现有渠道、表单和审批系统,先改善引导与获取资料的步骤。注明知识库是否仅给说明、是否能提供现有链接、哪些行为需要在人或既有系统里完成。反馈应能回到负责团队。
边界条件|缺资料不自填。如果用户只写了一个宽泛目标,可以追问最少的关键信息。遇到已归档历史、资料冲突或关键状态未明时,先保留草稿,不把「可能」写成最终结果。
验收结果|业务人员能复核句子。请两名同事对照现行规则,其中一位从未参与方案设计。前者核对来源,后者按答案实际完成下一步。只有双方都能判断为什么这么做,才适合继续扩大使用范围。
第五步|核对界面交付
实际提供链接打不开。连续运营期的常见问题是变更没通知下游,或现场反馈只有一句「不好用」。可以在日志保留有助排查的最小信息,将错误分成来源、版本、权限、理解和实际交付,分别进入不同处理流程。
执行动作|在用户角色真实环境打开原文并修复入口。用一条正常和一条失败记录说明处理原则,安排该类资料的确认人和维护周期。当提交问题的人没有权限提供原文时,可用脱敏摘要或让授权人员到原系统查看,避免为排错复制整份资料。
边界条件|无权时提供合法联系路径。先写清变更若不完全成功应怎样停住,再演练恢复。需要快速退回时能找到最后通过的一版及受影响的对象。恢复后请重新检查原先失败的问题和一个普通问题,验证没有因修复扩大权限。
验收结果|用户能实际执行下一步。把结果写进一个有期限的责任清单,包括本次修了什么、什么时候测、还有什么待补及谁负责。等一轮实际反馈回来,再决定增加样本或附加规则,避免每次问题都一味加文档。
三、场景演练:把理论变成可以复核的结果
以下是模拟工作案例,供团队用自己的授权资料复跑。不要把例子里的角色、限制或规则直接移到正式环境。
场景 1|发票
模拟情况:标题匹配下载而意图要修改。这一例的难点是条件看似明确,实际仍需要对照规则。把场景复制成一个匿名演练,先记录会改变结论的信息,再说明哪些资料允许用。如果出题人在题目里故意放一份过期截图,答复应说明采用的是哪一份正式资料。
可以采用的做法:查问句和候选切分。如果输出有结论但引用无法打开,记为交付失败,而不是等待系统自动修复。记录能访问和不能访问的对象以及预期路径,让负责人能复现。
让一位不了解案例的人按结果操作。完成后记录是否找到了证据、能否执行下一步、是否需要人工,以及答案在哪种条件下应该改变。把这一例作为后续对照样本。
场景 2|售后时限
模拟情况:资料有规则但混入旧月数。为了避免只验证一条被精心准备的问题,可以用同样业务目的写两句问法,一句使用内部术语,一句使用自然表达。问题含义一致时,应尽量返回同一证据;实际对象不同的时候,则应当在适用范围上分开。
可以采用的做法:过滤版本后检查生成。比较模型给的行动与实际流程。描述正确却使用废弃入口时先修链接与版本,再用原题复查。格式漂亮只能作为第二层验收。
让一位不了解案例的人按结果操作。完成后记录是否找到了证据、能否执行下一步、是否需要人工,以及答案在哪种条件下应该改变。把这一例作为后续对照样本。
场景 3|账号
模拟情况:回复了通用申请,但用户要修改直属主管。现场复测先故意移走一个必要字段,在有权限的角色下也不可替用户猜。保留说明和下一步动作即可。需要业务确认时,用本组织已有的入口交给负责人。在已批准和未确认之间写清界线。
可以采用的做法:先问任务类型,再提供正确入口。有现行材料时回答要支持用户行动。前置条件不明时,输出待确认项以及谁能核实。不能因为是在演练便奖励一条完整但无法核实的答案。
让一位不了解案例的人按结果操作。完成后记录是否找到了证据、能否执行下一步、是否需要人工,以及答案在哪种条件下应该改变。把这一例作为后续对照样本。
用三个失败样本区分谁来修
第一条用户只问发票,没说是下载还是改抬头。第二条明确改抬头,但证据没有被检索。第三条证据进入候选,回复却用了旧版本。分别修澄清、索引排序与生成约束,再复跑匹配的例子。不能把模型的解释当实际检索证据,复盘人应看到真实候选。
同样准备一个明确无答案的问句。合格结果可能是只报未知并给合法的咨询路径。将它留在验收集中,能防止优化后的模型为了追求回答率擅自补事实。业务问法有变化时先更新样本和真实原文,再改模板。
可复制的试点任务卡
任务目标|保留问句、检索候选、适用证据和回答,从错误证据回查具体环节。 适用范围|本轮只验证发票、售后时限、账号,不扩大权限、资料范围或已批准业务承诺。 推荐输入|已批准的材料与版本、可用入口、当前测试角色,以及下方三种模拟问题。资料需先经过本机构允许使用的流程。 停在这里|无权访问按流程升级;无权时提供合法联系路径。有不确定因素时,保留问题原意和出现条件,交给负责人员确认。 验收记录|出现歧义会提出最少澄清;正确证据进候选;用户能实际执行下一步。不通过时写清原始问法、期望证据、实际结果和谁来处理。
把试点卡附到真实任务前,可以给模型这样一段说明:「仅根据已批准且当前账号有权读取的资料处理这次问题。先列适用对象和证据所在章节,再给下一步。遇到缺项、旧版冲突或权限不符,分别说明原因,必要时转给可确认的人。不要把模拟场景中的事实带入正式结果。」第一次试跑保留复制稿与人工核对记录。换来源、换岗位或上线新版本时,用同一张卡更新测试状态。
试点结束后,要让另一位同事拿着记录复查。先问他能否从问句走到正确资料,再问是否能处理边界,例如「标题匹配下载而意图要修改」。如果找不到现行来源,就写成资料缺口;如果来源在但不能操作,就再看链接、身份和业务步骤。复查人员给具体证据,避免只用「看起来没问题」放行。
四、用什么衡量效果
指标 1|候选命中:正确证据进候选。
指标 2|结论准确:回答与证据相符。
指标 3|任务解决:用户实际可以按答复继续。
先确定统计对象、开始与结束、普通问题和例外的边界。样本不大时,应同时报分子与分母,例如「20 条模拟任务中有 15 条可以走通」。不能用只打开过页面的人数代替解决,也不宜用一次流畅回复替代长期结论。在同样角色与资料范围下比原先和改版,使复测失败能够直接分派。
五、试点推进与常见问题
留一条无法回答的测试。问题涉及没有批准的新产品时,合理结果是保留未知、告知查询路径,而不是调用通用常识。仅用能回答的样本评估,很容易遗漏无依据时的表现。
推进时先找一个稳定且可控的真实任务。第一轮留现有处理记录作为基线。第二轮拿已批准资料跑常规、缺失和例外样本,反馈直接指向对应责任。第三轮选少量真实使用者,验证是否能完成任务和找到人工通道。最后再扩到第二个场景,检查共同方法能否复用,并补齐不同场景的材料、角色和验收。
问|向量搜索一定比关键词准吗? 答|精确编号和自然表达各适合不同方法,可组合并测。
问|答非所问先改提示词吗? 答|先定位是否已取得正确证据。
问|直接答未知好吗? 答|该问的缺项先澄清,高风险交人工。
一轮现场核对
第一轮只负责验证一个业务入口,不要同时接新仓库、改文档编号并换模型。让参与者先复述「保留问句、检索候选、适用证据和回答,从错误证据回查具体环节。」,然后从「发票」完成一项实体工作。遇到意外,把表单、有效版本和负责人一一对照。检查回复有无自创规则;如果没有真正经过有权负责人确认,用户能够靠现有联系方式继续查证即可。
如果改动后失败仍出现,可先还原原先通过的版本,再用一条更小的样本定位。把项目的通过标准与每次回归的样本编号关联起来,团队不需要记住整段对话。到了下一个维护周期,主管查看的也应是哪些任务变得好办、哪些权限或资料还没确认、下次由谁手动复核。
用于沟通的简报尽量简短。第一页只列试点目的、实际完成件数、主要失败条件和下一步;细节附件留证据、当时版本与可修复方案。只要仍有一项会导致错误执行,就把该场景留在试点,不让通过的样例掩盖问题。
六、落地行动清单
把本篇做法收成一张任务页:目标、现行依据、入口、必须确认的字段、可用权限、失败处理、负责人、下一次复测时间。决定是否扩大之前,先问上一轮有哪些真实问题已修,哪些仍需人工判断。
可以在助词网继续阅读企业 AI 知识库系列,把常见任务、审批边界与待验证样本整理成自己的运营清单。正式资料和账号权限仍由各业务负责人按组织规则维护。
