同一个问题问三次,AI 答案会变吗?会,而且温度调到 0 也照变
在豆包、元宝、DeepSeek 里问"这个行业有哪些靠谱的服务商",问三次可能得到三份不同的名单。这不是玄学,是五层机制叠出来的默认状态。这篇讲清楚每一层为什么会变,以及该用什么口径去量,才能得到一个能信的结论。
先说结论,省你时间:
同一个问题、同一个 AI、同一分钟问三次,答案大概率不一样——提没提到你的品牌、推荐了谁、引用了哪几个链接,三次都可能不同。这不是模型抽风,也不是你运气不好,是生成式引擎的默认状态。
更反直觉的是:就算把随机性参数(temperature)调到 0,输出仍然不是每次都一样。 这一点已经被 Thinking Machines Lab 在 2025 年 9 月的技术文章里量过——同一个提示词、temperature = 0、跑 1000 次,得到了 80 种不同的结果。
所以,“我问了一下 AI,它没提到我们”这个结论,本身是不成立的。 你测的是一次抽样,不是一个事实。
一、先花五分钟自己复现一遍
不用买任何工具,现在就能做:
- 打开豆包(或元宝、DeepSeek、Kimi、秘塔,随便挑一个)。
- 问一句跟你生意最相关的话,比如“XX 行业有哪些靠谱的服务商”“XX 问题应该找谁做”。
- 开一个全新会话,把同一句话再问一遍。再开一个,再问一遍。
然后记三件事:提没提到你、排在第几个、下面引用了哪几个链接。
绝大多数人第一次做这个实验,都会看到同一个现象:三次结果里名单不完全一样,有的品牌三次都在,有的只出现了一次。而你自己的品牌,很可能是那个“时有时无”的。
这里有个特别容易搞错的细节:必须开新会话,不能在同一个对话框里连问三次。 同一个对话里的第二次提问,模型能看见第一次的答案,它会倾向于“换个说法”或者“补充刚才没说的”——那不是重复抽样,那是被上文污染过的第二问。在一个对话里连问三次得到三个不同答案,说明不了任何问题。
二、为什么会变:五层原因,一层比一层难绕开
第一层:采样本身就是随机的
大模型每生成一个字,实际上是在一个概率分布上抽签。除非把 temperature 压到 0 并锁定随机种子,否则每次抽签的结果本来就不该相同。而你在豆包、元宝这类 App 里根本没有这两个旋钮——面向普通用户的产品,默认就是带随机性的。
第二层:温度调到 0 也还会变
这一层是真正反直觉的,也是“我用 API 锁死参数就能稳定复现”这个想法翻车的地方。
Thinking Machines Lab 用 Qwen3-235B 做过一个干净的实验:同一个提示词(“Tell me about Richard Feynman”)、temperature = 0、生成 1000 个 token、重复 1000 次。结果是 80 种不同的输出。更精确地说:前 102 个 token 一模一样,从第 103 个 token 开始分叉——所有结果都写了“Feynman was born on May 11, 1918, in”,然后 992 次接的是“Queens, New York”,8 次接的是“New York City”。
原因跟随机数无关,是浮点加法不满足结合律:(a+b)+c 和 a+(b+c) 在计算机里可能差最后几位。而 GPU 上的推理服务是动态攒批的——你这次请求可能自己单独跑,下一次跟另外几十个用户的请求拼在一起跑。批的大小一变,内部求和的切分顺序就变,最后几位的误差就变,误差累积到某个字上恰好把两个概率接近的词换了个位置,后面整段话就走向另一个方向了(Simon Willison 的摘要版讲得更短)。
翻译成人话:你的答案会变,部分原因是“那一刻服务器上还有多少人在同时提问”。 这件事你既控制不了,也观测不到。
第三层:检索层每次抓回来的东西就不一样
现在的 AI 回答大多不是纯靠模型记忆,而是先联网搜一轮再总结。这一轮搜索的结果本身就是浮动的——排序在变、新页面在进、有的页面这次抓取超时了。
火山引擎开发者社区做过一次跨平台的信源统计:2026 年 2 月到 7 月间的 9786 个测试问题里,只有 4937 个答案带可识别的引用,整体引用覆盖率 50.4%;识别到 3385 个来源域名,其中只有 588 个在不止一个平台出现过(原文)。也就是说,一半的答案压根没告诉你它是从哪儿来的,而各家平台各看各的信源,重合度很低。
这一层还带来一个更难受的后果:你被提及与否,很大程度上取决于当时检索到的那几个页面里有没有你,而不是取决于模型“认不认识你”。
第四层:模型在你不知道的时候被换掉了
各家 AI 应用背后的模型版本是静默升级的。今天回答你的和上个月回答你的,可能根本不是同一套权重、同一套检索策略、同一套安全过滤。没有变更公告,也没有版本号给你看。
所以当你发现“这个月提及率掉了”,第一件要排除的事不是自己内容做差了,而是对面换发动机了。这跟我们之前写公众号登录态 2.7 天必然失效那篇里说的“静默失败”是同一类问题:变化真实发生了,但系统不会通知你。
第五层:它认得你是谁
登录状态、历史对话、地理位置、设备语言,都会进入上下文。你自己天天在跟 AI 聊自家产品,它在你的账号下更容易提到你——这是全场最容易骗到自己的一个坑。
三、所以“问一次”得出的结论,全是噪声
这一层的影响比大多数人以为的大。
GEO(生成式引擎优化)行业里流传着一个验收口径叫“10 进 8”:10 个问题里 AI 有 8 个提到品牌,这单就算交付了。问题在于,如果每个问题只问一次,这个 8 本身的误差就足以让同一份服务在周一验收合格、周三验收不合格。已经有从业者公开承认,大模型是概率生成,“这一秒有,下一秒可能就没”,供应商无法承诺稳定的效果(见每日经济新闻关于 GEO 的从业者对谈)。
海外几家做 AI 可见度监测的工具给出的经验值更狠:同一批提示词在同一时刻重跑,引用来源的重合度只有三到四成;建议的做法是每个提示词每天跑 3 次以上、用 2–4 周的滚动窗口去比,而不是拿今天和昨天比(如 ranketai 的测算和 MaxAEO 的样本量测算)。这些数字来自第三方工具厂商、口径各异,别当成定论,但方向是一致的:单次观测不构成证据。
反过来看,也有另一种风险:南方都市报的实测发现,多款 AI 反复推荐同一批品牌,引用的信源里不乏商业推荐类榜单网站(实测报道)。这意味着有些“稳定被提及”未必是内容做得好,而是恰好躺在了被高频引用的那几个榜单里。
四、那到底该怎么量:把“问一次”换成一套采样口径
我们之前在重算客户咨询接通率那篇里说过一句话,这里完全适用:定义比数值重要。 一个没说清口径的数字,除了让人自我感觉良好,没有任何用。
一套最低限度能用的口径长这样:
- 固定问题集,别每次临时想。 30 个左右真实用户会问的问句,写下来存成一张表,长期不动。改了题目,前后就不可比了。
- 每个问题、每个引擎,一次测至少问 3 遍,取多数。 3 次里有 2 次提到你,才记“提到”;只中一次,记“不稳定”。这一列比提及率本身更有信息量。
- 清洁室条件。 退出登录或用无痕、关掉个性化记忆、每次新开会话、固定同一个地区和设备。做不到就至少保证每次条件一致。
- 多引擎分开记,不要求平均。 国内至少覆盖豆包、元宝、DeepSeek、Kimi、秘塔、百度这一档,各家的检索源差别巨大,平均出来的数会把真正的信号抹平。
- 记三个字段,不是一个。 提没提到(有/无)、在名单里排第几(位置)、引用了哪些链接(信源)。第三个最有用——它直接告诉你,要被提及应该去哪几个页面上出现。
- 看 2–4 周的滚动趋势,不看单日。 单日的涨跌基本上全是噪声。
第 5 条值得多说一句。提及率是结果,信源才是抓手。当你发现某个平台的答案反复引用同三个页面,你的任务就从“优化品牌形象”这种没法执行的事,变成了“想办法出现在这三个页面上”这种能排期的事。
五、抖动之中,什么是稳定的
聊了这么多不确定性,容易得出“那就没法做了”的结论。不是的。
会变的是每一次的措辞和名单;不太会变的是它能检索到什么。所以真正可控的只有三件事:
- 有没有一个可被检索、事实密度足够高的原始页面。 AI 引用不了朋友圈、引用不了图片、引用不了只有情绪没有事实的软文。它引用的是一个能抓到、能提取出确切数字和名称的网页。
- 同一个事实在几个地方被说过。 单一来源的说法很难被反复命中,多个独立来源指向同一件事,才容易在不同引擎的检索结果里都被捞到。
- 说的是别人没说过的那部分。 通用回答模型自己就会写,它不需要引用你。它需要引用的是只有你有的那个具体数字、具体日期、具体限制条件。
这也是我们自己写东西时守的规矩:每篇尽量带一个自己量出来的数,而不是复述教程。你正在读的这篇之所以列了一堆链接和具体数字,原因也在这里。
六、今天就能做的四步
- 建表:把 30 个真实问句写进一张表,今天就写。
- 基线:每个问句在 3 个引擎上各问 3 次,记提及/位置/信源三列。这一轮大概两小时。
- 看信源那一列:把出现频率最高的 10 个域名挑出来,这就是你接下来内容分发的目标清单。
- 两周后重跑一遍同一张表:只有这一次比较是有意义的,之前的所有单次观测都不是。
做完你大概率会发现一个不太舒服的事实:你以为的“AI 不认识我们”,很多时候是“AI 检索不到关于我们的任何具体事实”。
最后
上面这套采样口径,我们自己在跑——闻响雷达盯着 6+ 个 AI 引擎,按固定问题集重复提问、记录提及与信源变化,看的是趋势而不是某一次的答案。而“让具体事实出现在足够多的地方”这件事,走的是闻响矩阵那条线:一份内容按各平台的规则分发出去,再回查线上是不是真的在。
这两件事其实是一件事的两头:一头是把噪声测清楚,另一头是把可被检索的事实铺出去。 只做前者会变成天天看仪表盘干着急,只做后者则永远不知道有没有效果。
如果你想要我们那张问题集模板和记录表的口径说明(30 个问句怎么选、三列分别怎么判、多引擎结果怎么对齐),加企业微信找我们领资料包,连同其他免费课程的配套材料一起给你。
顺便说一句,这篇文章本身也在做同一件事:把几个能核实的数字和来源摆清楚,好让下一个来抓这个问题的引擎有东西可引。
参考资料
- Defeating Nondeterminism in LLM Inference — Thinking Machines Lab
- Simon Willison 对该研究的摘要
- 不同 AI 平台引用哪些信源?多 AI 平台搜索信源研究(火山引擎开发者社区)
- AI 回答可能是广告!实测:推荐品牌可疑雷同,低质信源频现(南方都市报)
- 生成式引擎优化(GEO)是什么?记者 + 从业者对谈(每日经济新闻)
- AI Visibility Measurement Statistics(ranketai)
- AI Visibility Sample Size: How Many Prompts and Runs(MaxAEO)