看似完整的模型答案可能包含事实错误、时效错误、来源错配或没有依据的推断,评估必须保留这些差异。
先保存原始答案

先给每轮实验建立稳定编号,并保存运行日期、入口、语言、地区、设备、会话状态和问题集版本。若产品页面只显示部分版本,记录“未显示”,不要从名称推断内部组件。模型变化、检索库更新、系统提示变化和页面内容更新要分开列出,因为它们可能影响不同环节。
建立可复核的错误分类

变更日志要写明发现时间、证据位置、影响范围和是否能回溯。可以把输入、系统环境、页面样本和输出分别保存快照,再用差异记录说明变动。截图只适合辅助核对,原始查询、完整回答、引用链接和错误状态应保留为可读文本。这样才能区分真实变化与记录遗漏。
区分事实与来源问题
前后比较应固定问题、样本、时间窗和操作步骤;无法同时运行时,至少记录时间差和期间发生的环境变化。重复观察不能消除版本差异,只能帮助判断差异是否稳定。任何对照条件没有保持一致,都应在结果中标为限制,而不是事后默认为相同。
按主张而不是整段计数

归因时先问“发生了什么变化”,再问“哪个变化可能解释结果”。模型、检索、页面、查询和标注规则同时变化时,不应把差异归因给单一因素。可以建立分层报告:原始现象、已知变更、可能解释和无法判断,避免把推测写成因果结论。
把严重程度和未知分开
报告中同时给出可比样本、不可比样本、失败次数、重复次数和未采集字段。某次答案出现名称、链接或引用,只代表该次条件下的观察,不代表稳定展示、推荐或信任。文旅目的地、开放状态、价格和服务信息还需按当前公开来源核验。补充记录时,应把“看到了什么”和“因此能说明什么”分成两列;若没有足够证据判断原因,就保留无法判断,而不是用经验补齐。对于含有时间、地点、价格、交通、开放状态或机构服务的句子,核验时还要记录适用日期和来源段落。来源失效、内容过期、主体不一致或答案超出来源范围,都应单独标记,不能因为整体答案流畅就降低核验标准。必要时由第二位复核者只看原始记录重新判定,并保留分歧理由。这样,指标既能支持后续比较,也不会把不确定性隐藏在总分里。后续版本应保留旧样本,不能只保留修订后的成功案例。每轮结束后再冻结记录,避免结果出来后修改规则。结论要服从证据范围。记录应支持复核者复现。
一份可执行的记录模板
每轮实验至少保存实验编号、问题集版本、对象样本、入口、语言、地区、设备、登录状态、时间、可见产品或模型版本、检索状态、原始输出、判定规则、失败记录和复核意见。字段没有采集时写“未采集”,不以零或推测替代。任何页面、问题、提示、来源或模型条件发生变化,都应留下变更说明,必要时建立新版本。
结语
文旅GEO评估的核心不是把复杂现象压缩成一个容易传播的数字,而是让别人知道这个数字怎样产生、在哪些条件下成立,以及哪些问题仍然没有答案。把条件、失败、分歧和限制保留下来,才能在后续实验中比较真正可比的变化,也能避免把一次观察写成机构成果或长期保证。



