爬虫预算管理：抓取频率、robots配置与日志优化
一、爬虫预算到底由什么决定
Googlebot每次来站，能抓多少页不是你定的，而是Google根据你的服务器健康度自己算的两个数：抓取配额（crawl budget）和抓取速率（crawl rate）。
抓取速率由服务器响应速度和错误率决定。响应快、错误少，它抓得勤；响应慢、5xx多，它自动降频，免得把你服务器打挂。这意味着性能问题和收录问题是同一件事的两面。
第二因子是站点规模和权重。大站页面多、权重高，单次能抓的页数也多；小站本来配额就小，更要把每一次抓取用在刀刃上。日志怎么读，见独立站日志分析。
| 影响因子 | 正向作用 | 负向作用 |
|---|---|---|
| 服务器响应时间 | <500ms 抓取更勤 | >2秒 自动降频 |
| 5xx错误率 | <1% 健康 | >2% 显著降频 |
| 站点权重 | 高权重配额更大 | 新站配额小 |
| 内链可达性 | 链接结构清晰发现快 | 孤岛页难被发现 |
二、先分清三类页面，再决定抓不抓
管理预算的第一步不是动robots，而是给全站URL分类。把页面分成三档：优先抓、正常抓、限制抓，预算自然流向第一档。
优先抓的是直接带来询盘的页：产品页、分类首页、支柱文章。正常抓的是支撑内容：博客、案例、关于页。限制抓的是不产生转化的参数页。
场景示例一：一个工业产品站，分类页加了颜色、材质、产地、认证四个筛选器，两两组合能生成上万个带参URL。这些页面内容大同小异，却占了爬虫访问量的大半，真正的产品页反而很久才被重抓一次。
| 页面档位 | 包含页面 | 处理方式 |
|---|---|---|
| 优先抓 | 产品页、分类首页、支柱文 | 列进sitemap，加快响应 |
| 正常抓 | 博客、案例、关于页 | 保持内链可达 |
| 限制抓 | 筛选组合、翻页、站内搜索结果 | robots禁抓或canonical归并 |
| 禁止抓 | 后台、购物车、session页 | robots.txt直接Disallow |
三、robots.txt 怎么配才不误伤
robots.txt最常见的错误是”一刀切”。比如想禁掉所有带问号的参数页，写成Disallow: /?，结果连正常的带参分页也一起挡了。配置前必须先用日志确认到底哪些URL在被反复抓。
原则是：只挡真正无价值的参数组合，不挡有内容的页面。后台、购物车、API回调这些永远不该被索引的路径，直接Disallow，写法细节见robots.txt配置规则。
另一个误区是用robots阻止页面被索引，却指望它还能传递权重。被robots禁掉的页面，Google不会抓取，也就不会读它上面的内链——等于这些链接全断了。
| 需求 | 正确做法 | 错误做法 |
|---|---|---|
| 隐藏薄内容页不出现在结果 | noindex 标签 | robots Disallow（外链全断） |
| 禁抓筛选组合页 | 只禁具体参数路径 | Disallow: /? 一刀切 |
| 后台和购物车 | robots Disallow整目录 | 放着不管任其被抓 |
| 删除旧页不想留404 | 返回410或301到相关页 | robots禁抓但返回200 |
四、用日志找出真正的预算黑洞
理论分类做完，要拿服务器访问日志验证。导出最近30天的日志，按Googlebot的UA过滤，统计哪些URL被抓次数最多、每次响应花了多久、返回了什么状态码。
典型的预算黑洞有三类：被反复抓的软404（返回200但内容是空的）、无限翻页（page=1到page=1000）、带session id或排序参数的重复URL。这些吃掉了大头，正文却排不上队。
场景示例二：日志里发现Googlebot每天抓同一个产品分类页的几十万个变体，URL末尾都带着不同的session id。
在服务器层把带该参数的请求统一canonical到干净URL后，一周内这类抓取量下降了九成。AI爬虫的日志读法见AI爬虫日志分析。
| 日志信号 | 说明 | 处理动作 |
|---|---|---|
| 某URL月抓取>50次且无流量 | 预算黑洞 | 查内容是否薄，noindex或归并 |
| 软404返回200 | 空页面假装正常 | 改返回404或301 |
| 单页响应>2秒 | 拖慢整站速率 | 查慢查询，加缓存 |
| 5xx集中在某目录 | 该目录有故障 | 先修服务器，再谈SEO |
五、性能与内链：低成本提升预算利用率
清理完黑洞，剩下两招成本最低。第一是提速：给产品页和支柱页加页面缓存，把响应压到500毫秒以内，抓取速率会随之回升。缓存策略见独立站缓存策略。
第二是内链疏导。新文章发布后，从高权重的支柱页链一条过去，Google顺着链接就能发现，不必等它自己在几十万个URL里翻。内网络怎么织，见内链体系。
还要把sitemap维护干净。sitemap里只放值得索引的规范URL，别把参数页、noindex页也塞进去，否则等于主动引导爬虫去抓你不想让它抓的页。写法见XML Sitemap优化。
| 动作 | 预期效果 | 验证方式 |
|---|---|---|
| 产品页加页面缓存 | 响应降至<500ms | 日志平均响应时间 |
| 新文从支柱页内链 | 收录提前3至7天 | GSC编入索引时间 |
| sitemap只留规范URL | 抓取集中度提升 | GSC已抓取数量 |
| 清理软404 | 无效抓取清零 | 日志200空页归零 |
六、误区：屏蔽爬虫不等于省钱
最后说一个常见误判。有人以为把大量页面robots禁掉，就能省下预算留给正文。但如果这些页面本来就不该被索引，正确做法是让它们返回干净的404或410，而不是用robots遮掩。
遮掩之下，Google仍要花一次请求去读robots规则，再决定不抓，两次请求都浪费了。
真正的逻辑是减少URL总数，而不是在庞大URL堆外面盖一层布。全站URL如果从50万压到5千，哪怕每次抓取配额不变，每一页被轮到的频率也会上百倍。整体诊断流程见技术SEO审计清单。
| 误区 | 为什么错 | 正确做法 |
|---|---|---|
| 禁掉薄页省预算 | 仍花一次请求读robots | 返回410或合并到正文 |
| sitemap越大越好 | 引导爬虫抓低质页 | 只放规范URL，分文件管理 |
| 主动请求多抓 | 速率由服务器健康决定 | 提速修错，速率自然回升 |
| 不管孤岛页 | 爬虫发现不了 | 从支柱页补内链 |
FAQ 常见问题
爬虫预算是可以手动调大的吗？
产品筛选出来的参数页要不要让Google收录？
用robots.txt屏蔽页面，能省下爬虫预算吗？
怎么知道哪些URL在浪费我的抓取预算？
新文章发布后多久能被抓取收录？
服务器响应慢真的会影响收录吗？
写在最后
爬虫预算管理的核心，是把”想被多抓”的冲动，换成”先少给爬虫添麻烦”的克制。删掉不该存在的URL、压住响应时间、把正文用内链送到爬虫面前，预算自己会流向该去的地方。
落地三步：先用日志把全站URL分三档，再用robots和canonical收口低价值参数页，最后给产品页加缓存、给新文补内链。一个月后回看GSC的已抓取页数分布，集中度应该明显上升。
一句可以记住的话：抓取预算不是要不到更多，而是先把不该花的浪费砍掉，剩下的自然够用。