上周有个同行找我,说他们公司官网被搜索引擎收录了几万条垃圾页面,标题不是乱码就是“XX产品第 999 页”,老板第一反应是“是不是被黑了”。我说先别慌,很多这种情况不是被黑,而是站内搜索页、筛选参数、旧 CMS 生成的无意义 URL 被爬虫翻出来抓走了。
处理这事,别上来就删库,按“日志定位、确认死链、批量提交、堵住源头”四步走。
第一步:把日志当成门卫登记簿
Nginx 或 Apache 的访问日志,就像公司门卫的登记簿:谁来过、几点来、访问了哪个 URL、返回了什么状态码。重点看最近 30 天的记录,先按 UA 把百度、谷歌、必应的爬虫筛出来,再用 Excel 透视或者小脚本,按 URL 路径和参数分组。
比如你发现 /search?q=...、/product/list?page=999、/tag/...、/index.php?m=... 这几类 URL