死链工具正常与异常结果怎样区分：一份可执行排查清单
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /234547649385.html
📄
死链工具正常与异常结果怎样区分：一份可执行排查清单
用死链工具检查站点时，正常结果应当是“工具能完成抓取、状态码与页面实际响应一致、报告可复现”；异常结果则是抓取中断、状态码互相矛盾、同一链接多次检查结论不同，或报告把正常页面误判为死链。区分的关键不是看工具给出的红色数字，而是核对状态码、响应内容、抓取路径和复现条件这四项证据。
先确认工具是否真的完成了抓取
要查的是抓取完成度，而不是死链数量。查看报告里的已抓取 URL 数、跳过数、错误数，并与站点地图中的 URL 总数做对比。如果跳过数异常高，或抓取在某个目录突然停止，说明结果不完整，此时报告中的“无死链”不能当作正常结论。
- 查什么：抓取总数、跳过原因、是否触及抓取上限。
- 怎么查：把工具报告的抓取总数与站点地图条目数、站内链接抽样结果对照。
- 结果说明什么：数量接近且跳过原因可解释，属于正常；差距大且跳过原因集中在超时、被限制，属于异常，需要缩小范围重跑。
核对状态码与页面实际响应
死链工具的核心输出是 HTTP 状态码。正常情况是 404、410 对应确实不存在的页面，200 对应可正常访问的页面。异常情况包括：工具报 404，但浏览器直接访问返回 200；工具报 200，页面内容却是“页面不存在”的提示页。后者属于软 404，工具可能不会标记为死链。
可执行步骤：从报告中抽取 5 到 10 条被标记为死链的 URL，逐条用命令行请求核对，例如：
curl -I https://example.com/old-page
把返回的状态码与工具报告对比。若两者一致，说明工具判断可信；若不一致，优先怀疑工具使用了缓存、被重定向规则干扰，或请求头与真实用户不同。此时应改用同一请求头重试，而不是直接修改页面。
区分重定向链与真正的死链
301、302 不是死链，但过长的重定向链、指向 404 的重定向、循环重定向都属于异常。要查的是每条被标记链接的跳转终点：终点返回 200，说明只是重定向，不算死链；终点返回 404 或 410，才是需要处理的死链；出现循环或超过合理跳转次数，说明配置有问题。
- 查什么：重定向次数、每一跳的状态码、最终落地 URL。
- 怎么查：用工具的重定向追踪功能，或命令行加
-L参数观察完整跳转过程。 - 结果说明什么：一跳到位且终点 200 为正常；多跳、循环、终点错误为异常，应按跳转链逐段修复。
检查 robots.txt 与访问限制造成的假死链
robots.txt 的抓取限制不等于可靠的索引移除，也不能作为判断死链的依据。如果工具被 robots.txt 阻止，它可能把“无法抓取”报告成错误，而不是真正的 404。同样，需要登录、限流或地区限制的页面，工具抓不到时也会产生假阳性。
要查的是工具请求是否被拦截。查看报告中的错误类型，区分“404 Not Found”和“403 Forbidden”“429 Too Many Requests”“连接超时”。前者可能是死链，后者是访问受限。判断方法：用未登录浏览器和登录后浏览器分别访问同一 URL，若返回不同状态，说明结果是访问条件造成的，不能直接判定为死链。
验证结果是否可复现
正常结果应当可复现：同一时间、同一工具、同一范围重复检查，死链列表基本一致。异常结果表现为每次检查数量波动大、同一 URL 时好时坏。遇到这种情况，先排除服务器不稳定、CDN 缓存、抓取频率过高三项可能原因，再降低并发、延长超时后重跑。
短例子（假设）：某分类页第一次检查报 503，第二次报 200。此时不应把它加入死链清单，而应记录两次请求的时间、状态码和响应头，确认是否为源站瞬时故障或限流。只有多次请求稳定返回 404 或 410，才按死链处理。
下一步：从当前报告中抽取状态码为 404、410 以及重定向终点错误的 URL，逐条用命令行请求核对状态码与最终落地页，把“工具报告”和“实际响应”不一致的条目单独列出，再决定是修复链接、更新重定向，还是调整抓取范围后重新检查。
