之前网站被黑，修复了 现在有40%的百度蜘蛛在爬404页面。
大家都是怎么处理的？
1 回答
0支持 / 0反对
这个需要一定的周期的，因为蜘蛛不知道他已经爬取记录的链接是否是404，所有都有重新过一遍，你可以在robots里面写哪些页面不爬取，也可以在百度站长后台提交404链接
不交僧道，便是好人。
请登录后再回答问题!
yebi
发表于 2024-10-09 20:28:32 之前网站被黑，修复了 现在有40%的百度蜘蛛在爬404页面。
大家都是怎么处理的？
这个需要一定的周期的，因为蜘蛛不知道他已经爬取记录的链接是否是404，所有都有重新过一遍，你可以在robots里面写哪些页面不爬取，也可以在百度站长后台提交404链接