一句话答案:验收的唯一标准是 —— 报告里的每个数字,你能自己在同平台重问一遍复现出来。
复现不了,就不算交付。这条比任何"效果承诺"都硬。
下面 4 个阶段与 1 套复测口径,就是让"能复现"这件事变得可执行的步骤。
参考实测口径:我们一次双市场诊断用 600 题/市场、3 个平台、3,600 次采集,有效 3,595;其中被提及 53/3,595(1.5%)、被引 1/3,595(0.03%)。
做法:先选 1 个品类方向或 1 组核心问句,做 1–3 个月的试点。范围越小,越容易看出真实能力。
要产出:一份写清"这次测什么、不测什么"的范围说明。
| 常见错误 | 后果 |
|---|---|
| 一开始就"全平台 + 全品类" | 预算摊薄,任何一处都看不出变化 |
| 范围没写清,中途加题 | 前后数据不可比,等于重来 |
做法:动任何内容之前,先用冻结的题集跑一遍,把 AI 的原始回答存下来。
没有基线的"优化"无法证明任何事 —— 你只能说"现在是这样",不能说"变好了"。
做法:每月固定交付三样东西,而不是一份"效果很好"的月报。
| 交付物 | 看什么 |
|---|---|
| 问题库变更记录 | 题有没有被偷偷换掉 |
| 新增素材清单 + 收录证明 | 这个月实际做了什么、有没有真的被索引 |
| 原始回答抽样 | 数字背后的原文是什么 |
做法:复测用同一套题、同样的平台、同样的判定口径,并且由你(甲方)自己抽 10 条重问核对。
如果重问结果与报告差异很大,先查两件事:题集有没有变、判定口径有没有变。都一致还差异大 → 说明这个数字不稳定,不能作为验收依据。
| # | 规则 | 为什么 |
|---|---|---|
| 1 | 同一题集(同指纹) | 换题就不可比 |
| 2 | 同一平台集合 | 不同平台差异极大,合并会失真 |
| 3 | 多日均值,不用单点 | 单次回答波动大,30 天均值更稳 |
| 4 | 提及与被引分开统计 | 两者难度差一个数量级,混算会虚高 |
| 5 | 原始回答可回溯 | 没有原文,一切结论都无法核验 |
8 项里少于 6 项能勾上,这个项目的验收方式大概撑不住。
发了多少篇,是工作量,不是效果。文章数量与"被 AI 引用"之间没有稳定对应关系 —— 我们自己的诊断数据显示,被提到与被当信源引用可以相差两个数量级。
AI 回答受时间、账号、检索源影响。挑一次好看的结果截图,是最容易做到的"数据美化"。
合理的约定是:只有大模型底层架构级调整才可免责,日常小幅迭代不属于免责范围。
口径说明:本文为方法说明,所引数据为真实诊断基线,无对照实验,不给提升幅度;不承诺排名、收录或被推荐。
建议 1–3 个月。短于 1 个月,样本不足;长于 3 个月,前期问题可能已经变形。
不需要技术。按题集把问题原样打进 AI,把回答复制下来,对照报告里的原文即可。抽 10 条就够发现问题。
如实记录。需要区分三种情况:题集/口径变了(重做)、平台波动(看多日均值)、确实变差(分析原因)。不修饰、不藏。
AI 回答受时间、账号、检索源影响,单次结果波动大。取一段时间(如连续 30 天)的均值,能降低随机波动带来的误判。
不等于。验收合格只说明测量可信;效果是另一件事,需要基线、复测与对照共同支撑。