先给结论:不要用“换设备再看一眼”来判断收录异常,而要固定一个可复现的请求条件,分别记录百度蜘蛛视角、未登录匿名视角和登录后视角返回的正文差异,再决定是修服务端分流、修缓存,还是只调整自查方式。设备与登录态导致内容不同,往往意味着百度拿到的那一版和你看到的那一版并不是同一份页面,收录问题只是这个差异的结果。
两种情况的处理方向完全不同,先分清再动手。
选择依据很简单:如果差异只随 UA 变化、与 Cookie 无关,按设备分流处理;如果清空 Cookie 就复现差异、换 UA 无影响,按登录态分流处理。两者同时存在时,先解决登录态,因为它更容易让百度长期只看到不完整版本。
不要依赖浏览器肉眼切换,浏览器会带入缓存、扩展和已有会话,干扰判断。用命令行固定条件取样,把结果落到文件里对比。
示例命令(假设域名为 example.com,仅示范方法):
curl -A "百度蜘蛛UA" -s https://example.com/page -o spider.html
curl -A "百度蜘蛛UA" -s https://example.com/page -o anon.html
curl -A "百度蜘蛛UA" -H "Cookie: 你的会话" -s https://example.com/page -o logged.html
然后比较三份文件的正文文本差异,而不是比较 HTML 标签数量。若 spider.html 与 anon.html 一致、与 logged.html 差异明显,说明登录态把正文藏起来了;若 spider.html 与 anon.html 就不一致,说明服务端对蜘蛛 UA 做了单独处理,这通常是最需要优先排查的信号。
两种选择成立的条件不同。
一个假设例子:某页面未登录只返回 200 字摘要,登录后返回 2000 字正文。若百度长期只取到摘要版,页面在结果里可能表现为内容单薄。把未登录版补足正文后,匿名样本与登录样本的正文重合度提高,下一步才值得去观察抓取和索引状态是否变化。注意,抓取量或某统计归零本身不能证明处理正确,也可能是抓取预算、站点整体抓取节奏或日志采样变化造成的,需要结合多日数据判断。
几个条件必须说清,否则对照会得出错误结论。
把三份固定条件样本留存下来,作为改动前后的对照基线,再决定是继续修服务端还是转向其他排查方向,这样每一步都有依据,而不是靠反复切换设备猜测。