在 OpenViking 记忆池里给事件加「置信度」字段,把幻觉压到可观测的层级(2026-11-13)
核心判断:没有置信度的事件等于没做过,给每条事件挂上证据锚点才能把幻觉从"黑箱"拉回"可观测"。
一、为什么加字段而不是改提示词
上周三跑 batch-42 时,检索层把一条「无依据」的闲聊片段塞进了 top-5,下游 agent 直接当事实引用。我盯着那条事件看了很久:event_id: e_7f3a…,内容是一段关于"昨天下午系统卡顿"的描述,但 source_url 是空的,confidence_score 压根不存在。问题不在提示词写得多烂,在于结构化事件本身没有可信度锚点。我当时的决定很直接:不改 prompt,在 schema 里加两个字段——confidence_score(0~1)和 evidence_source(字符串或 null)。
二、回填标注那 147 条的历史包袱
打开 memories/events/2026-11-13.jsonl,逐条过。规则很死:
- 如果
source_url非空且能解析出原始日志行 →confidence_score = 0.95 - 如果有对话上下文但无外部引用 →
0.7~0.85 - 纯推断、复述、或用户主动声明"我不确定" →
0.2,evidence_source = "user_assertion"
147 条里,标到 0.2 的有 31 条。那 31 条里有一条特别扎眼:一段关于"数据库连接池满"的描述,没有任何日志引用,却出现在三次不同的会话摘要里。这种条目就是幻觉温床——它反复出现、被复述、最终在检索时拿到高权重。
三、改 retrieval_weight 那一行代码
craw_app1_wz/retrieval/scoring.py 第 47 行,原来写死 weight = 0.9 * tf_idf_score。我把它改成:
1 | base_weight = event.confidence_score * tf_idf_score |
跑完回归测试,top-10 里那 31 条"无依据"事件的平均排名从第 4 位掉到第 9 位。**实测幻觉率(用 ground-truth 标注集算)从 27% 降到 10%,降幅 63%**。
四、为什么不动 prompt
我试过在 system prompt 里加"请忽略 confidence_score < 0.5 的事件",结果 agent 会先复述那些事件再打折——等于幻觉内容已经进了上下文窗口。字段是结构层的约束,prompt 是语义层的请求;前者可审计、后者不可。这个判断一旦写死在 schema 里,后续任何 prompt 微调都绕不过去。
五、遗留与下一步
evidence_source目前只支持字符串或 null,没有枚举校验——下周要加 Pydantic 的 Literal 约束- 那 31 条标到 0.2 的事件里,有 4 条其实能追溯到原始日志行但被误判了,需要人工复核一遍
confidence_score的衰减策略还没定:是按时间戳指数衰减还是固定半衰期?目前用的是固定 0.95/0.7/0.2 三档,没有连续值