技术选型最终要落回业务目标——需要整体方案时，可以对照品牌独立站页面的服务范围，或先用出海报价测算估一版预算。
一、先分三类：问题不同，解法不同
| 类型 | 表现 | 常见原因 |
|---|---|---|
| 未收录 | 页面不在 Google 索引 | 被挡、质量不足、孤立无内链 |
| 收录不更新 | 索引里有，但内容还是旧的 | 抓取频率低、更新信号弱 |
| 抓取异常 | 爬虫访问报错 | robots 拦截、服务器错误、超时 |
三类问题的解法完全不同——先分清是哪一类，再动手。
二、定位流程：从 GSC 到日志
第一步：Search Console 查状态。用”页面索引”报告看三类数据：已收录、未收录（原因分类）、抓取异常。GSC 会告诉你”Google 眼中的页面状态”，这是免费的官方视角。
第二步：服务器日志看抓取。GSC 只给结论，日志给过程。查服务器访问日志（或托管商的抓取统计）：Googlebot 有没有来过？来了返回什么状态码（200/404/403/5xx）？多久来一次？
如果”爬虫根本没来”，问题在发现路径（内链、站点地图）；如果”来了但 4xx/5xx”，问题在技术配置；如果”来了且 200 但没收录”，问题在页面质量或索引配置。
第三步：按原因修复。
| 诊断结果 | 修复动作 |
|---|---|
| 爬虫没来 | 补内链、提交站点地图、检查 robots |
| 返回 403/404 | 修权限配置、修链接 |
| 返回 5xx/超时 | 修服务器、降响应时间 |
| 200 但不收录 | 提升内容质量、清理重复、用索引 API 提交 |
第四步：提交验证。修复后，在 GSC 用”网址检查”提交 URL 重新审核，观察状态变化。
核心判断：索引问题 90% 能靠”GSC + 日志”两个工具定位。别猜，别等——爬虫的行为数据就在那里，读它就行。
| 症状 | 先查 | 再查 | 大概率原因 |
|---|---|---|---|
| 完全不收录 | GSC 索引状态 | 日志有无抓取 | 孤立/被挡 |
| 只收录首页 | GSC 覆盖率 | 内链结构 | 深页无入口 |
| 收录了不更新 | GSC 最后抓取时间 | 更新频率 | 内容更新信号弱 |
| 抓取报错 | GSC 抓取异常 | 日志状态码 | robots/服务器 |
| 收录了不排名 | 内容质量 | 竞争强度 | 页面价值不足 |
提交站点地图就一定收录吗？
不一定。站点地图解决”发现”不解决”收录”。Google 会按页面质量、内链、抓取预算决定是否收录。
日志分析必须有服务器权限吗？
是。日志在服务器端，需要能访问日志文件或使用托管商的分析功能。没有权限时，先用 GSC 覆盖率数据做初步判断。
robots.txt 会挡住爬虫吗？
会，而且是最常见的”自己挡自己”——robots 里误写 Disallow、或用了 noindex 标记，都会导致页面不被收录。检查 robots 和 meta robots 是第一步。
新页面多久能被收录？
通常数天到数周，取决于站点权重、内链和抓取频率。权重低的站更慢——新站别盯着”为什么不收录”，先把内链和内容量做起来。
收录了但排名差，算索引问题吗？
不算。收录是”存在”，排名是”被认可”。排名问题回到内容质量、相关性与权威建设去解决。